题目重点：把研究动机转成任务假设、可证伪实验、算力成本和错误分解，避免空泛声称模型会推理。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- ‘Reasoning’先按任务操作化：多步决策、长链约束、工具使用或可验证数学/代码问题；不能把回答变长直接等同推理变强。
- 文章提供研究讨论框架，不替原候选人声称做过具体实验；真实贡献、基线和实验结果应由本人给证据。
解题路线
- 先提出可证伪问题：现有模型在什么任务、什么分布或什么失败模式下不足？更长 test-time compute 或中间状态是否有望改善，成本是多少？
- 建立强基线：同底模、相同数据与预算下比较直接回答、更多采样/自一致、检索/工具和分步方案；控制 prompt 与评测泄漏，不让额外预算悄悄成为唯一变量。
- 评价分任务正确率、步骤/工具有效性、校准、鲁棒性、延迟/token 成本和安全边界；若有可验证答案，用独立 verifier，而非只看模型自述思考过程。
- 报告结果时给正负样本与误差分类：哪些问题需要搜索或规划，哪些只是信息不足，哪些因长链误差累积更差。讨论何时不值得增加推理预算。
- 回答个人研究进展用‘假设→我负责的设计/实现→对照→结果/置信度→下一步’；即使结果为负也可清楚解释学到什么。
手动走一遍
训练例：代码修复任务需要跨文件约束。比较直接生成与先定位依赖再改代码，两组用同一模型、相同测试集与相近 token 预算；以隐藏测试通过率、错误改动数和总时延评价。如果只在公开样例好转，不能宣称推理能力提升。
规模与取舍
研究成本由样本数×每样本采样次数×平均 token/工具调用量决定；多步方法常增加延迟与计算，必须报告质量—成本曲线而非单一准确率。题目没有模型/样本规模，无法填固定数值。
易错点与追问
容易失分的边界
- 认为输出更长就证明‘reasoning’更强。
- 不同方案预算和工具权限不一致仍直接比较。
- 只让模型自己给自己判分，缺独立 verifier。
- 把真实缺知识的问题误判成缺推理。
- 编造未公开的论文或候选人实验结论。
继续深挖
- 哪些任务不值得增加 test-time compute？
- 如何判断收益来自推理步骤还是更多采样预算？
- 长链中间步骤不可观测时怎样评估？
- 负结果如何改变下一轮研究假设？
