DE • Pipeline Design • Data Modeling • System Design

DE Pipeline Design:Snowflake、Databricks、Uber 常考什么

面向 DE 候选人的 pipeline design 公司题型地图,覆盖 Snowflake、Databricks、Uber、Pinterest、Rippling 等数据工程面试中的 CDC、backfill、数据质量和 SLA。

Data Engineer Pipeline 设计与 ETL 数仓全景图
Data Engineer Pipeline 设计与 ETL 数仓全景图

💡 核心要点 (Key Takeaways)

  • DE 面试真正考的是生产数据链路:正确性、延迟、成本、回填和消费方契约。
  • Snowflake / Databricks 更偏数据平台和建模;Uber / Pinterest 更偏事件、实验和业务对象。
  • Pipeline design 必须讲 source、ingestion、storage、transform、quality、serving 和 observability。

免费获取轮次诊断正在备战 Databricks Data Engineer (DE) 面试?免费获取 Databricks Data Engineer (DE) 轮次诊断:发你的当前轮次与倒计时,我们先定位卡点,再决定下一步。

Databricks 面试全攻略 →

DE 不是只会 SQL 就够

DE 面试里,SQL 往往只是入口。面试官会继续问数据从哪里来、多久到、schema 变了怎么办、迟到数据怎么补、历史怎么回填、下游口径怎么保证一致。准备时要把 SQL 和 pipeline 一起练。

公司题型差异

不同公司的 DE 题型有明显倾向。Snowflake 常见 SQL、SaaS analytics pipeline、quota、ACL 和 metrics;Databricks 更偏 storage、metadata、query path、数据平台性能;UberPinterest 会围绕事件流、marketplace、pin / policy 数据和实验指标。

  • Snowflake:raw/staging/mart、schema evolution、CDC、SCD、query cost。
  • Databricks:storage layout、metadata service、replication、query performance。
  • Uber:event ingestion、time window、switchback experiment、guardrail metrics。
  • Pinterest:violation records、date range aggregation、pin graph、policy filter。

Pipeline Design 的标准回答层次

一个完整回答至少覆盖七层:source、ingestion、storage、transform、quality、serving、observability。每层都要讲一个取舍,比如 stream vs batch、append-only vs upsert、强一致 vs 最终一致、实时指标 vs 离线准确性。

💡 Databricks 的完整准备路线:OA / Phone / VO 各轮考什么、怎么练,公司攻略页整理成了清单。

Databricks 面试全攻略 →

最容易被追问的细节

迟到数据、幂等、回填、schema evolution、数据质量、成本和 SLA 是 DE 面试最常见的追问。只说 Airflow + Spark + warehouse 会显得像工具使用者,而不是 pipeline owner。

  • 迟到数据:watermark、重算窗口、event time、processing time。
  • 回填:分区、资源隔离、幂等写入、下游通知。
  • 质量:schema check、volume anomaly、null ratio、referential integrity。
  • SLA:延迟、准确性、重试、告警、oncall 和 incident 复盘。

一周冲刺建议

如果目标是 DE VO,建议先准备一个你自己的端到端 pipeline 项目,再用 Snowflake / Databricks / Uber 风格题做三轮 mock。每轮 mock 都强制补一个 failure mode 和一个 backfill 方案。

回答顺序:先需求、再估算、后架构

很多候选人拿到 pipeline design 题会直接开始画架构图,但面试官想先听到的是你怎么澄清需求。一个可靠的顺序:先花 5-8 分钟澄清需求,再花 2-3 分钟做量级估算,然后是 15 分钟左右的架构,最后用 failure mode 和 backfill 收尾。澄清阶段至少要问清四件事:数据延迟要求是分钟级还是小时级;主要消费方是谁,报表、API 还是模型训练;正确性容忍度如何,错了能不能事后重算;记录是 append-only 还是有更新语义。估算阶段不用精确,但要给量级:每天事件量、单条记录大小、存储增长速度、峰值与均值的比例,并说明你的假设。架构阶段不要画满每个组件,每一层只讲一个选型和一个理由,面试官看的是取舍能力,不是你能画多少框。

三个高频失分点,mock 后逐条自查

mock 结束后不要只看答案对错,逐条查三件事。第一,是否工具先行:一上来就说 Airflow 或 Spark,却没有解释为什么选这条路,面试官会把你当工具使用者,先讲需求再讲工具。第二,是否全程 happy path:自己没提任何失败场景,面试官就会追问「source 挂了怎么办」「schema 变了怎么办」,你应该主动给出至少一条失败路径和对应处理。第三,是否提到下游:消费方契约、口径一致性和变更通知有没有讲,这是 pipeline owner 和脚本跑者的分界线。如果同一个失分点连续两轮 mock 都出现,说明是答题模板的固定缺口,应重写模板对应部分,而不是再刷几道题。

  • 自查:延迟、消费方、正确性容忍度、更新语义四项是否都澄清过?
  • 自查:是否给出了量级估算,并明确说出假设?
  • 自查:是否主动提了一条失败路径和一个 backfill 方案?
  • 自查:是否提到下游契约与口径一致性?
Editorial & Verification

📋 资料来源与审校说明

首次发布,提供面试准备方法、题型拆解和复盘建议。 2026-08-26: 新增「回答顺序:先需求、再估算、后架构」「三个高频失分点,mock 后逐条自查」两个 section,补全 45 分钟答题顺序框架与 mock 自查清单。

  • 公开面经信号和岗位能力模型:用于归纳题型和常见追问,不复刻候选人私人信息。
  • Interview Support Pro 模拟面试复盘:用于总结候选人在表达、项目深挖和 follow-up 中的高频卡点。
DW
Data Engineering
David Wang·前 Netflix / Databricks Staff DE

8 年+数据工程经验,曾在 Netflix 数据平台团队和 Databricks 担任 Staff DE,主导过日处理 TB 级数据的基础设施项目,擅长把抽象的 DE 面试题拆解为 pipeline 设计、容量估算、容错策略等可训练动作。

累计辅导 500+ 数据工程候选人Stanford, CS 硕士
本文由 David Wang 审校与整理

📚 推荐延伸阅读 (Related Guides)

DE 面试考什么 2026:SQL、Pipeline、Data Modeling 全轮次拆解

回答「DE 面试考什么 2026」:SQL、Pipeline Design、Data Modeling 与 DE Coding 的题型方向与核心方法,常见挂点与 7/14/30 天准备路线,适合 Data Engineer、Analytics Engineer 等数据岗位候选人。

PayPal DE 面经 2026:SQL、Pipeline 和 Fraud Data

PayPal DE 面经 2026:拆解 SQL(对账口径、金额精度)、数据工程 Coding 与 Pipeline / Fraud Data System Design 考点,附 VO 4 轮结构、常见挂点和 7/14/30 天准备路线。

DE Pipeline Design 只会说 Airflow 怎么办

Data Engineer pipeline design 面试痛点拆解,帮助候选人从工具罗列转向数据源、建模、调度、质量、回填、SLA 和消费方契约。

🏢 公司面试全攻略

公司攻略

Databricks 面经与面试全攻略 2026

查看 Databricks 的 OA / Phone / VO / 系统设计全流程准备路线 →

代面服务

Databricks 代面(代面试)服务

Databricks 代面(对口型)$499/轮 起,多轮连面有打包价。

💼 完整服务与价格我们提供 OA 代写($199 起)VO 辅助($299 起)VO 代面($499 起)30 分钟免费咨询:按目标岗位、公司与轮次匹配具备相关经验的导师,覆盖 Coding、System Design、ML Design 与 BQ;具体导师与背景以接单前书面确认为准。

查看服务详情 →
已复制微信号!