Amazon AS：RL 的基本成分，状态、动作、奖励和策略怎样连起来？

题意与假设

这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。

• 题目明确问RL共同基本成分有哪些，没有具体环境；本文以两步任务为教学例，不把原项目补成机器人或游戏。
• 标准MDP包含状态S、动作A、转移P、奖励R及折扣γ，episode初始/终止合同也要给；可能的部分可观测任务需额外讨论。
• 教学有限episodic任务可以γ=1；无限期有界奖励时γ<1便于保证折扣return有界，不把所有RL统一要求γ<1。

解题路线

1. Agent观察状态或观测，按policy π(a|s)选动作，环境给下一个状态与reward。转移/奖励可随机，策略也可随机；动作不仅输出一个预测，还影响以后状态及拿到的数据。
2. 目标是期望累计回报G_t=Σγ^k r_(t+k+1)，不是每步最大reward。Vπ(s)是从状态按π运行的期望return，Qπ(s,a)额外条件首动作，advantage比较动作相对状态价值。
3. 模型指转移/奖励模型，用于planning；model-free不要求显式学环境模型，仍可学习value或policy。value-based、policy-gradient、actor-critic是算法组织方式，不是MDP额外必须有三个模型。
4. 探索让agent试不确定动作获取信息，利用按现估计选高回报动作。离线固定日志无法任意探索，分布外动作价值可能被误估；评估必须看数据支持范围和行为策略。
5. 若当前观测不是Markov，例如看不到隐藏系统状态，要维护历史/belief或用记忆策略。不能把任意UI截图称完整state后直接推MDP假设已满足。
6. 奖励是设计选择，可能与真实目标偏离；点击奖励可诱发只求点击，成功奖励可能被漏洞作弊。检查终止、truncation、不可逆操作与任务成功指标，不以training return独自验收。教材参考：https://www.incompleteideas.net/book/bookdraft2018mar21.pdf。

手动走一遍

任务第一步可选立即退出得2，或准备得0并进入第二步成功得5。γ=0.9时准备策略return=0+0.9×5=4.5，高于退出2；贪心即时reward却会退出。若成功只有30%且失败0，准备期望1.35，当前假设下退出更优。这是透明教学环境，不代表原面试案例。

规模与取舍

表格MDP存转移可达O(|S|²|A|)，稀疏环境按非零边计；神经策略成本由模型与rollout决定。样本需求不能只用环境状态个数推出，稀疏奖励/探索难度常成为主要风险。

易错点与追问

容易失分的边界

• reward和return混用。
• policy等于value。
• model-free没有任何模型。
• 观测自动满足Markov。
• 离线日志能自由探索。
• 训练奖励等同业务成功。

继续深挖

• terminal与time-limit truncation怎样影响bootstrap？
• 状态不可观测怎样设计belief？
• γ改变会怎样改变最佳动作？
• 离线RL怎样约束分布外动作？