题目重点：条件于零模型的尾概率、统计量方向与效应大小，解释多重选择和低功效。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 先固定H0、采样/随机化模型、统计量T与单/双侧极端定义；没有这些就没有一个唯一p值。
- 频率检验p不是Pr(H0|data)，不提供真实面经实验p或商业显著收益。
解题路线
- p=在H0模型和设计成立条件下，得到观察统计量同样或更极端结果的概率；条件在模型而不是对H0本身的后验概率。
- α是事先规则的长期一类错误水平；p≤α可按该规则拒绝H0，但不把p当这一结论错的概率。离散检验p可保守，不需每种零模型都精确均匀。
- 显著性不等于效应大小/实用价值，报告效应估计、区间、样本与模型假设。大n可检出极小差，小n不显著可能功效不足，不证明等价。
- 挑指标/子群/停止时间后用单次固定p阈值会增加误报；完整报告选择流程，预注册或采用匹配的多重/序贯程序，不只显示最小p。
- 原模型若独立性/分组/缺失机制错，算术正确的p仍无法解释原业务；先核设计，再讨论选择检验。Bayesian posterior需另给prior与likelihood，不能把1−p直接代替。
手动走一遍
自拟10次独立公平硬币全正面：单侧P(至少10正)=1/1024；双侧按同样极端全正/全反为2/1024。不是“硬币公平概率0.00195”。观察方向之后临时改成单侧也不同于预先定义的检验。
规模与取舍
取决于统计量和校准：解析计算、数值分布、置换/模拟各有成本。p定义无固定运行大O；模拟还须报告Monte Carlo精度与次数。
易错点与追问
容易失分的边界
- p等于H0为真概率。
- 1−p是效果存在概率。
- 显著就业务价值大。
- 不显著证明完全相同。
- 看完数据改单侧/子群。
继续深挖
- 区间和p有什么对应条件？
- 离散检验为何可能保守？
- 复合H0怎样校准？
- 多次看实验如何保持错误控制？
技术参考
- ASA p-value 声明：p值解释与误用原则参考；硬币算例自拟。
