Uber DS Experiment：Switchback 和 Guardrail 怎么讲

💡 核心要点 (Key Takeaways)

• Uber marketplace 实验不能只套普通 user-level A/B test。
• 要能解释 switchback、geo/time bucket、干扰、seasonality 和 carryover。
• Guardrail metric、ramp 和 rollback 是实验题的核心追问。

为什么 Uber 实验题特殊

Uber 的乘客、司机、商家、区域和时间窗口会互相影响。如果只做普通用户随机，treatment 可能改变供需关系，从而污染 control。面试官想看你是否理解 marketplace interference。

Switchback 怎么解释

Switchback 是按 geo/time window 切换 treatment 和 control，适合供需互相影响的场景。回答时要说明 window 长度、区域划分、carryover effect、seasonality、样本量和跨区流动。

• Assignment：按城市/区域和时间窗口分配。
• Primary metric：完成率、ETA、取消率、转化或收益。
• Guardrail：司机收入、等待时间、投诉、价格波动。
• Analysis：处理时间趋势、天气、节假日和跨区污染。

Guardrail 和 rollout

实验不是显著就上线。要先定义安全指标和停损阈值，灰度时逐步 ramp，发现投诉、延迟、收入或供需失衡异常时 rollback。这个部分能体现 DS 候选人的产品和风险意识。

三组场景轮换

准备 Uber DS 时，建议用 3 个场景做 mock：派单策略、定价策略、推荐/排序策略。每个场景都回答为什么普通 A/B 不够、如何分桶、看什么指标、什么时候停。

为什么普通 A/B test 会失效

在双边或多边 marketplace 里，一个用户的 treatment 会影响另一个用户的体验。比如新的派单策略让 treatment 区域司机更快接单，control 区域可能因为司机被吸走而变差；价格实验也会改变供需平衡。面试官想听的是你能否识别 interference，而不是机械套 user-level randomization。

指标体系怎么搭

Uber 场景的指标要同时覆盖乘客、司机、平台和安全。Primary metric 可以是完成率、ETA、转化或贡献利润，但必须配 guardrail：司机收入、取消率、等待时间、投诉、价格波动、供需失衡和区域公平性。只看单一转化指标，很容易给出伤害长期生态的建议。

• 乘客侧：ETA、完成率、取消率、价格感知、投诉。
• 司机侧：利用率、收入、空驶时间、接单体验。
• 平台侧：gross booking、margin、供需平衡、长期留存。
• 安全侧：异常投诉、极端等待、区域差异和 rollback 阈值。

面试回答示例结构

可以这样组织答案：先说明为什么存在干扰，再选择 switchback 或 geo experiment；定义 bucket 的城市/区域和时间窗口；设置 primary metric 和 guardrail；说明如何处理 seasonality、天气、节假日和跨区流动；最后给 ramp、监控和 rollback 规则。这个结构能覆盖统计、产品和业务风险。

统计细节的常见追问

Switchback 的统计比普通 user-level A/B 复杂，面试官会追问这几个点：随机化单元是区域×时间窗口，同一窗口内的样本高度相关，有效样本量小于原始数据量，power 估算要考虑窗口内相关（AR1 结构）。窗口长度是核心 trade-off：太短则 carryover 污染重、方差大；太长则切换次数少、随机化不充分。面试中能把这个 trade-off 定性讲清楚就够，不需要现场推导公式。

• 有效样本量：同窗口请求相关，n_eff 小于 n，实际 power 比直觉低。
• Carryover：切换后上一 treatment 的效果会残留，用 washout 窗口或加长窗口缓解。
• 季节性：按小时和星期几做分层或协变量控制，同周同时段对比。
• 异质性：分区域、分用户群分析，总体效应可能是正负效果的平均，会掩盖局部伤害。

混杂因素和外部冲击怎么答

面试官问「如果 treatment 区域当天突然下雨怎么办」，标准答法分三步：先命名威胁（这是 confounder / validity threat），再给处理方案，最后说怎么报告。设计层面，switchback 的时间随机化能控制对两组共同生效的冲击（全市降雨），但局部性、不对称冲击是残留风险；分析层面，把天气、节假日、交通事件作为协变量加入，或分层估计；报告层面，说明哪些窗口受冲击影响，给出区间而不是单点估计。关键姿态是承认威胁存在并有预案，而不是假装问题不存在。

• 设计层：时间随机化天然控制共同时间冲击；局部不对称冲击（单区域暴雨）是风险点。
• 分析层：加天气、节假日、重大事件协变量；剔除异常窗口后做敏感性分析。
• 报告层：明确受冲击窗口占比，给效应区间，不报单一数字。
• 极端情况：冲击大到无法控制时，明说「本轮实验作废，重跑」，这也是加分项。