题目重点：明确谁产生数据、谁被优化，解释分布偏移、重要性权重与离线支持集。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 训练用行为策略μ采轨迹，目标策略π被评估/优化；不把online/offline与on/off policy等同。
解题路线
- on-policy在当前（或最近固定）目标策略产生的数据上估计/更新；off-policy允许用不同μ的数据学习π，关键是目标期望分布与采样分布是否相同。
- online是持续与环境交互，offline是仅用固定数据；一个off-policy算法也可online收数据，on-policy短期复用同batch不因此变成任意历史replay算法。
- 若用μ采样却直接当π的数据，动作/状态分布不一致会偏。重要性比π(a|s)/μ(a|s)可校正特定期望，但长轨迹比值方差大，且μ=0处无法凭重加权创造数据。
- 价值学习可用Bellman目标和replay等方式处理不同策略，但目标、函数逼近、bootstrap的组合也有稳定风险；不能说off-policy必然更好样本效率且永远稳定。
- PPO从旧策略采样并在若干epoch中用比率限制变化，通常归为on-policy家族；不要因πnew与πold稍有差异就说它可无限训练任何陈旧数据。
- LLM偏好离线pair数据与在线rollout是不同训练管线，先说数据如何生成/更新、有哪些覆盖与反馈偏差，再命名算法。
手动走一遍
μ总选A，从未选B，想评估π经常选B，仅靠日志不能可靠知道B回报；μ(B)=0使权重无定义。新策略采样更多B可补覆盖，但已变在线探索。
规模与取舍
数据复用省交互但增存储/分布校正成本；重要性估计方差随策略差异和轨迹长度可能增长，不能只计样本数。
易错点与追问
容易失分的边界
- off-policy等于offline。
- π/μ校正可解决没有覆盖的动作。
- PPO可以无限复用旧batch。
继续深挖
- 状态分布偏移如何处理？
- replay何时会过陈旧？
- 离线评估怎样识别支持集缺口？
