题目重点：拆曝光到点击到下单漏斗，核随机化与实验功效，处理小用户层和多重探索。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 先问CTR是click/impression还是点击用户/曝光用户，CVR是order/click还是order/exposure，分析单位与随机化单位一致。
- 用户随机分组，订单有成熟归因窗口；下例为自拟漏斗，不提供虚构真实实验p值。
- 观察不到显著变化不是证明零效应，若要等价结论必须预先定义可忽略差异与相应检验。
解题路线
- 先核样本量比、曝光埋点、点击去重、分组一致性和订单延迟。UI改了事件触发点可能只增加记录点击，不增加用户真实意图；实验被缓存/跨端污染也会失效。
- 同口径且每次转化需点击的简单漏斗下order/exposure=(click/exposure)×(order/click)。若整体下单不变而点击变多，新增点击可能低意图；但要给误触率/退出/路径证据，不能只凭漏斗推因果。
- 在随机化单位上估计差异与置信区间。用户多次曝光时不能当独立伯努利样本虚增n，应聚合每用户指标或用cluster方法；点击后CVR还条件于处理影响的点击人群，两组点击用户不可直接作同人群因果比较。
- 按预注册主指标和护栏判断，再估算最小可检测效应/功效与成熟窗口。原指标效果CI宽时增加有效样本/时间，但不能看p值随时停止且用固定样本阈值；序贯方法需预先定义。
- 小层二元结果可用适合随机化设计的精确/置换方法或报告精确区间；用户等级若定义于实验后会有偏差。层样本少不是换一个检验就增加信息，贝叶斯分层借力也要展示先验/敏感性。
- 总体分层效果按目标流量权重汇总，并核各层曝光变化导致的Simpson混合；探索很多等级/指标时控制多重比较或用后续实验确认，不挑最好看的小层发布。
手动走一遍
虚构同样10,000次曝光：旧UI 1,000点击/100订单，新UI 1,200点击/100订单，CTR10%→12%，order/exposure均1%，order/click10%→8.33%。若所谓CVR指click后比率则其实下降；所以没查分母就解释“CVR不动”会错。
规模与取舍
聚合成本O(事件数)，状态按用户/实验/窗口增长；分层分析复杂度还受层数与bootstrap/置换次数影响。低样本主要是统计信息限制，非计算速度限制。
易错点与追问
容易失分的边界
- CVR分母不明。
- 每次曝光独立计样本。
- 不显著说没效果。
- 实验后分层造成选择偏差。
- 小层反复试方法挑显著。
继续深挖
- 比率指标如何按用户重采样？
- 订单延迟怎样确定成熟窗口？
- 小层要上线时怎样给不确定性？
- 发现误触如何设计下一次验证？
