题目重点：解释surrogate和局部KL约束，区分理论单调改进与实际近似算法保证。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 训练旧策略固定采样，有限动作概率支持；讨论经典TRPO，不编特定训练超参。
解题路线
- 策略梯度大步更新可能改变访问状态分布，使旧数据的优势估计失效。TRPO将新策略与旧策略差异限制在信赖域，以让局部代理目标更可信。
- 常见代理为E_old[(πθ/πold)Aold]，约束旧数据状态上的平均KL≤δ。目标是增大有优势动作概率，但不能任意远离旧策略。
- 局部近似用梯度和KL二阶曲率/Fisher，解受约束步长；共轭梯度和Hessian-vector product避免显式存P×P矩阵，再line search检查实际代理与KL。
- 理论界有分布、优势和最大KL等条件；实务平均KL、有限采样和优化近似不等价严格所有状态保证。不能把论文理论动机写成每次训练reward必升。
- δ、阻尼与line search限制稳定性/速度，数据不足、价值估计差和支持不匹配仍会失败。复杂二阶流程是PPO采用较简单一阶近似策略的背景。
- 验证代理改善、KL、entropy、value误差和真实评估回报，发生回报下降先检查估计/约束与数据，不只调δ盲重跑。
手动走一遍
新策略将某动作从0.1增到0.9，旧数据优势估计可能不足支持如此大改动；TRPO尝试限制概率分布差异，而非给每个参数一个相同最大改变量。
规模与取舍
参数P的全矩阵O(P²)不可取；HVP/共轭梯度按若干次前后向成本，line search多次评估。环境采样与value训练另计。
易错点与追问
容易失分的边界
- KL约束等同参数欧氏距离。
- 平均KL实践等同最坏状态理论界。
- 每次实际reward必升。
继续深挖
- Fisher为何自然出现？
- 共轭梯度如何不存矩阵？
- PPO clip与KL约束差别？
技术参考
- TRPO paper：技术语义参考，具体题目按本文约定。
