数据仓库是面向分析的数据存储和查询系统，将来自多个业务系统的数据整合到统一的分析平台中。Hive是Hadoop生态的SQL查询引擎，Presto/Trino是高性能的交互式查询引擎，Snowflake和BigQuery是云原生数据仓库的代表，提供了弹性扩展和按需计费的能力。
面试练习
数据仓库 相关面试题
这个分类下已有 651 道面试题，读完相关文章后可以直接练习。
简单 174
困难 189
中等 288
多选 142
简答 158
单选 215
判断 136
Kerberos安全环境下Presto与Hive Metastore完成认证集成，常见GSS安全令牌异常与票据缓存过期问题反复出现，详细梳理客户端配置和Principal映射关系逻辑
本文从真实故障场景切入，用生活化语言讲解 Kerberos 环境下 Presto 与 Hive Metastore 的认证集成。文章先解释 Kerberos 票据和 Principal 的含义，然后给出 krb5.conf、hive.properties、keytab 配置示例，重点分析 _HOST 占位符的映射逻辑。针对反复出现的 GSSException、Defective token detected、票据缓存过期等问题，整理出常见报错原因和排查步骤，包括 klist、kinit、kdestroy 等命令的使用方法。内容覆盖服务端 Principal 与客户端 Principal 的关系、KDC 票据生命周期、续期策略、时间同步要求、主机名解析规则、常见误区和注意事项。最后总结应用场景、技术优缺点，帮助数据平台工程师快速定位配置问题，减少 Kerberos 票据过期对 Presto 查询的影响。在共享的BigQuery部署中为不同业务线提供独立数据空间，如何用标签与动态SQL实现行级安全隔离，同时保证查询性能不受影响？
在共享BigQuery部署中，多业务线共用一套数据环境已成为降本增效的常见选择。如何在同一个项目或数据集里为不同业务线提供独立的数据空间，同时保证互不越权？本文介绍一套基于标签与动态SQL的行级安全隔离方案：用业务线标签标记每一行数据，用安全视图结合SESSION_USER自动过滤当前用户可见行，用动态SQL生成带标签条件的查询，配合日期分区和聚簇排序机制，让BigQuery在扫描阶段就尽可能跳过无关数据。文章包含建立明细表、用户标签映射表、授权视图、动态SQL脚本等详细SQL示例，并分析了该方案在应用场景、技术优缺点、权限配置、性能优化和日常维护上的注意事项。通过合理设计，既能实现各业务线数据隔离，又能保留跨业务线分析的灵活性，适合正在治理共享数据仓访问边界的团队参考。BigQuery既要支撑交互式看板又要跑深夜批处理，到底如何通过优先级和项目配额隔离工作负载，才能避免相互争抢资源？
本文深入浅出地介绍了BigQuery同时支撑交互式看板和深夜批处理任务时，因工作负载互相争抢资源而导致性能下降的问题。文章先用日常厨房做比喻，解释slot计算资源与查询优先级的关系，然后重点讲解两个核心工具：查询优先级（interactive/batch）与项目配额（project quota）。通过一个完整的Python示例，演示如何分别为看板项目和批处理项目创建BigQuery客户端、设置对应的优先级，并说明如何在GCP配额页面配置并发查询数的上限。同时文章评析了这种隔离方式的优缺点、适用场景和注意事项，包括批处理等待时间不可控、项目配额是硬性限制等风险。适合GCP管理员、数据工程师、后端开发者阅读，帮助大家在无需引入复杂架构的情况下，用最简单的手段化解资源争抢问题，保障看板响应速度和批处理任务的稳定运行。BigQuery中的ROW_NUMBER与LAG别乱用，窗口函数在去重和环比计算中的隐含陷阱，从PARTITION BY边界到排序稳定性，结合实际案例深入剖析执行细节。
本文针对BigQuery中ROW_NUMBER、LAG窗口函数的使用陷阱展开，结合电商用户访问统计的实际案例，剖析PARTITION BY边界错误、排序不稳定等问题，讲解去重和环比计算的正确逻辑，帮开发者避开窗口函数的隐形坑，提升SQL准确性。使用Trino统一查询Hudi与Iceberg数据湖表时，需要重点关注小文件合并策略与快照隔离级别的差异，选择合适的读取模式进而避免数据重复或丢失
在大数据分析场景中，当企业需要同时查询Hudi实时数据湖和Iceberg历史数据湖时，选择Trino作为统一查询引擎能大幅提升分析效率，但这一方案存在小文件碎片和快照隔离两大核心问题：小文件会拖慢查询速度，快照设置不当会导致数据重复或丢失。本文从实际业务场景出发，详细拆解Trino合并Hudi与Iceberg小文件的策略选择，对比两者快照隔离级别的差异，结合完整的SQL示例和配置代码，帮助不同基础的开发者避开跨湖查询的常见坑点，实现高效且稳定的统一数据查询。通过Presto分析MongoDB中的嵌套文档时，ObjectId字段参与过滤会带来额外转换开销，利用字段抽取与投影下推能显著降低扫描成本并提升响应速度
本文针对Presto分析MongoDB嵌套文档时，ObjectId过滤导致的性能问题，详解字段抽取与投影下推的优化方案，通过实际业务场景与代码示例，展示优化效果，帮助开发者提升查询速度、降低开销。大规模Hive查询频繁触发FetchTask却依旧慢如蜗牛，深入存储层定位ORC文件谓词下推失效的原因
很多大数据开发和数据分析师在使用Hive处理ORC格式数据时，常遇到查询慢、FetchTask占比高的问题，核心原因往往是ORC文件的谓词下推失效。本文结合电商用户行为表的真实案例，用通俗的语言讲解如何从执行计划、ORC元数据定位失效原因，包括类型不匹配、未开启ORC统计信息、过滤列用函数这几个常见坑，还给出具体的修复方案和验证方法，帮助不同基础的开发者快速解决Hive查询慢的问题，提升大数据分析效率。如何提升BigQuery在大数据仓库中的可用性
这篇博客针对大数据仓库中BigQuery常见的可用性问题，比如查询缓慢、资源浪费、数据安全风险、数据丢失等，给出了实用可落地的提升方法。内容涵盖分区聚类的正确用法、SQL查询优化技巧、精细化权限管理、数据备份容灾策略，搭配了详细的示例，适配不同基础的开发者阅读，帮助解决BigQuery在实际使用中的痛点，提升大数据仓库的稳定性、效率和安全性。实时同步与离线批处理共用Snowflake虚拟仓库时，不同查询之间的计算资源争抢难以避免，需要利用仓库大小与超时机制设计隔离方案。
本文聚焦Snowflake中实时同步与离线批处理共用虚拟仓库时的资源争抢痛点，以奶茶店操作台的生活化比喻切入，搭配具体的Snowflake SQL配置示例，详细讲解如何通过设置不同大小的虚拟仓库实现物理资源隔离，结合查询超时机制进一步优化资源利用效率，同时全面分析该方案的适用场景、优势与潜在不足，给出可落地的注意事项与实操建议，帮助不同技术基础的开发者快速掌握Snowflake资源隔离的实用技巧，解决日常数据处理中的延迟问题，提升数据同步与批处理的稳定性，降低不必要的计算成本动态数据脱敏和行级安全作用在相同查询上时，Snowflake权限评估的先后顺序直接影响结果可见性，配置不当可能导致脱敏规则被绕过。
本文围绕Snowflake中动态数据脱敏与行级安全叠加时的权限顺序问题展开，通过具体示例演示执行顺序对结果的影响，分析应用场景、优缺点及注意事项，帮助开发者规避脱敏规则绕过的风险。跨地域机房部署Presto联邦查询时，网络往返延迟会显著影响广播Join的数据传输和交换内存消耗，需要根据物理拓扑选择合适的Join分发策略
本文深入介绍了跨地域机房部署Presto联邦查询时，网络往返延迟如何影响Join性能的问题。文章从北京Hive订单表关联上海MySQL客户表的真实场景切入，用通俗易懂的语言解释了广播Join和分区Join两种Join分发策略的区别。广播Join会让远端表数据重复发送到所有Worker，导致交换内存消耗增大；分区Join则按Join Key哈希分桶，减少跨机房重复传输。文章还提供了完整的Presto/Trino SQL示例，包括使用SET SESSION切换Join分布类型、通过EXPLAIN查看分布式执行计划、用CTE过滤数据减少网络传输、以及定时同步维表到本地等方法。同时总结了适合广播Join和分区Join的物理拓扑场景、数据倾斜注意事项、Exchange内存风险等。本文适合需要优化跨地域Presto查询性能的数据工程师和架构师阅读。BigQuery脚本与存储过程的高级用法：构建复杂ETL流程中的变量与循环
本文详解BigQuery变量与循环的高级用法，结合完整示例教你构建复杂ETL流程，涵盖动态参数、批量处理、脏数据修复等场景，适合不同基础开发者学习。INFORMATION_SCHEMA频繁查询拖慢系统？元数据访问模式优化技巧
本文针对INFORMATION_SCHEMA频繁查询拖慢系统的问题，从元数据原理出发，分析常见坑点，结合Java、MySQL等技术栈的实际示例，讲解缓存元数据、优化查询条件、剥离业务逻辑等实用优化技巧，帮助开发者提升系统性能。dbt与Snowflake配合时模型依赖顺序错误导致的增量加载全量覆盖
本文围绕dbt与Snowflake配合时模型依赖顺序错误导致的增量加载全量覆盖问题展开，通过真实生鲜电商踩坑场景还原，详细解析了dbt的DAG依赖规则、Snowflake增量加载的隐形前提，给出了错误代码示例和正确的模型写法，还提供了可视化DAG、前置检查、调度配置等解决方法，帮助不同基础的开发者理解并避免数据误覆盖，保障数仓数据的准确性，让dbt与Snowflake的增量同步更稳定可靠针对时间序列数据的表设计优化：分区策略如何避免分区爆炸与查询退化
本文针对时间序列数据的表设计痛点，讲解如何通过分区策略解决分区爆炸与查询退化问题，结合MySQL示例，详细介绍冷热分区、哈希分区的组合应用，适合各层级开发者学习。生产环境中Presto集群频繁节点失联的根因分析及基于超时的高可用加固方案实践
本文结合电商公司Presto集群节点失联的真实场景，深入拆解了生产环境中Presto频繁节点失联的三大核心根因：超时参数设置过严、节点资源争抢导致假死、网络波动引发TCP连接异常，并针对这些根因提出了基于超时的高可用加固方案，包括关键超时参数调优、节点状态监控增强、自动重连机制优化等。方案通过真实的Shell监控脚本和Presto配置示例，帮助不同基础的开发者快速掌握排查和解决Presto节点失联问题的方法，兼顾稳定性和故障响应速度，适用于所有使用Presto做实时大数据查询的生产环境，有效减少业务中断风险。大数据仓库中BigQuery的数据一致性保障方法
本文详解大数据仓库BigQuery中保障数据一致性的实用方法，结合生活化案例与完整的BigQuery SQL、命令行示例，覆盖原子事务、主键约束、分区时序、流式插入四大核心方案，分析各方法的应用场景、优缺点及落地注意事项，帮助不同基础的开发者快速掌握BigQuery数据一致性保障技巧，解决批量导入、实时写入、跨表关联等场景下的数据重复、时序混乱等问题，确保业务数据的准确性与可靠性，降低数据分析和业务系统的出错风险。大数据仓库里使用BigQuery时标准SQL语法的常见错误及纠正
本文深入解析大数据仓库中使用BigQuery标准SQL时最常见的语法错误，包括表名写法、日期函数、类型转换、GROUP BY规则、WHERE与HAVING混淆、NULL值处理、子查询别名、分区表过滤等，并通过完整代码示例演示正确写法。内容通俗易懂，适合从MySQL等传统数据库迁移到BigQuery的开发者阅读，帮助读者快速提升BigQuery查询效率，避免全表扫描和额外费用。涵盖应用场景、优缺点及注意事项，是一篇实用的BigQuery SQL避坑指南。Hive数据仓库的备份与恢复策略
本文详细讲解Hive数据仓库的备份与恢复核心逻辑，从Hive两大核心部分（元数据、HDFS数据）的备份策略出发，结合具体的Shell、MySQL、Hive操作示例，覆盖全量备份、增量备份方法，以及误删表、元数据损坏等场景的恢复步骤，分析各策略优缺点与应用场景，帮助不同基础的开发者快速掌握Hive数据安全防护技能，避免数据丢失带来的业务损失。
第 1 / 16 页