Amazon AS：GRPO，组内相对奖励怎样替代 Critic？

题意与假设

这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。

• 明确问DeepSeek提出的GRPO算法；版本和实现未给，本文以2024 DeepSeekMath outcome supervision为参考，不把后续变体套成原题。
• 同一prompt由固定old policy采G个完整回复，每个有一个可比较标量reward；group标准差定义与epsilon需明确，教学使用总体标准差。
• 不嵌入未经运行的伪训练代码；优势与clip使用手算例，完整训练要管理旧策略、参考策略、mask和采样状态。

解题路线

1. 原算法用同一问题的多回复分数估计baseline，省去单独value/critic模型。教学写A_i=(r_i−mean(r))/(std(r)+epsilon)，outcome监督下可把这一序列优势赋到其有效生成token；组内好坏是相对的，不能据A正负判断答案绝对正确。
2. 更新时每token比率u=exp(logπθ−logπ_old)，使用min(uA,clip(u,1−ε_clip,1+ε_clip)A)作为被最大化的surrogate。A应作为固定采样统计量，old log概率不能随当前梯度一同更新；裁剪正负优势行为不同，PPO核心另见q130。
3. 参考策略KL项约束策略漂移，old policy用于importance ratio，reference用于锚定，两者角色不同。DeepSeekMath给出token KL估计方式；实现时必须说明sample分布与梯度合同，不能把任何sample logratio都叫无偏完整KL。
4. 一组全同分时std=0，常见训练处理是优势设零或epsilon稳定；奖励相同的组没有相对奖励信号。G=1同样无法形成有意义组内比较。若很多组全错，可调整题难度/采样多样性/奖励密度并检查reward，不从“零梯度”推模型已最优。
5. 每个回复先按有效token数平均，再对G个回复平均，是一种长度权重合同；把所有token混成一次平均会给长回复更大总权重。长输出、截断、EOS与padding的mask错误可能改变策略。不同变体的归一化选择必须区分版本。
6. 无critic节约相应模型训练/内存，但G个rollout和策略/参考前向仍昂贵；结果奖励可被格式/长度/漏洞投机。验收用独立题集、真实正确率与资源成本，不能只看训练reward。论文参考：https://arxiv.org/abs/2402.03300。

手动走一遍

同一prompt四回复reward=[0,0,1,1]，均值0.5、总体std0.5，忽略epsilon时A=[−1,−1,1,1]。clip ε=0.2：正优势回复u=1.3，surrogate min(1.3,1.2)=1.2；负优势回复u=0.7，min(−0.7,−0.8)=−0.8。全[1,1,1,1]时A应按约定置0，相对目标没有提升信号，但若含KL项总梯度不一定为零。

规模与取舍

B个prompt、G回复、平均T生成token需要约BGT rollout token；序列生成自回归成本与批利用率有关。策略/参考打分和多epoch更新额外计账；省critic不意味着整体比任何PPO实现快固定倍数。

易错点与追问

容易失分的边界

• group在不同prompt之间混算。
• sample std与population std不声明。
• 全同reward除零。
• 负优势裁剪方向写反。
• old/reference混为一个角色。
• 删除critic就忽略rollout成本。

继续深挖

• 全错组怎样提供有效学习信号？
• group size增加在质量与成本间如何选择？
• 为何sequence平均与token平均不等价？
• reference KL与old ratio分别控制什么？