题目重点：设计新广告排序实验，在收入、体验和广告主价值之间建立预先决策规则。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 训练比较新旧ranking策略，预算/竞价市场有干扰，随机化unit需根据用户/广告主及共享auction说明。主指标可为净收入，但guardrail用户体验与广告主有效结果。
解题路线
- 提前明确假设、主要收入指标分母、观察窗口、MDE和样本量。每user/session收入避免把增加广告次数和排序效果混为同一原因，曝光/填充量单独监测。
- 按稳定user随机分配并记录actual exposure，ITT保留分配群体；检查SRM、日志完整性、各组流量与曝光资格。只分析点击用户会引入选择偏差。
- 体验guardrails看organic engagement、hide/report、latency、retention；广告主看转化/成本与分布，平台收入涨可能消耗长期用户/广告主价值。
- 共享广告预算和拍卖竞争使组间相互影响，必要时隔离市场/预算或cluster实验，说明外推限制。不假设普通user split总能估全市场均衡。
- 统计显著与经济/产品有意义分开，guardrail非劣界限预先定；固定期或有效序贯方案，不能每日peek看到显著就停。多指标多切片需要预先主次与验证。
手动走一遍
新排序收入+2%且显著，retention下降超过既定容忍范围，不能仅凭收入pass全量上线。若延迟变坏引起有机参与下降，应先修正或分阶段验证，而不是事后移除guardrail。
规模与取舍
样本量由用户级收入重尾方差、目标提升与观察窗决定，不给无依据固定百分比流量。长期指标成熟慢，短期proxy需验证；auction干扰的设计成本须纳入时间预算。
易错点与追问
容易失分的边界
- 显著主指标自动覆盖guardrail损害。
- 多次查看与挑选群体报告导致假阳性。
继续深挖
- 收入提升但广告主转化价值降低，平台短期与长期目标如何权衡？
- 如何评估新算法对广告供给/竞价策略的长期反馈？
