题目重点：比较因果生成与双向掩码理解，并把模型结构与指标选择联系起来。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 讨论经典GPT式decoder-only与BERT式encoder，不把所有新模型简化成固定品牌结构。
解题路线
- 两者都用Transformer基本块，核心区别是attention可见性与训练目标。GPT式用因果mask预测下一个token；BERT式使用双向上下文重建被mask的token。
- 因果模型适合逐token生成；双向编码适合整段表示、分类与检索，但通常不能直接照搬为自回归解码器。目标与微调方式也影响实际能力。
- 逐层解释embedding/position、attention、FFN、residual/norm，不只说GPT decoder、BERT encoder。缺少mask时训练可偷看目标，loss低也没意义。
- 下游任务选评估：分类precision/recall、检索Recall@K、生成质量/幻觉/延迟，不能把pretraining loss当全部产品结果。
手动走一遍
分类一整段文本时，双向模型每位置可以利用后文；自动补全第i词时，只允许使用此前词。若生成训练把真实未来词放进可见上下文，离线效果被泄漏夸大，线上不可复现。
规模与取舍
标准dense attention随长度T算术二次；自回归逐步生成还有decode次数与cache成本。架构名称不能给出固定延迟。
易错点与追问
容易失分的边界
- GPT一定只有某个固定层数。
- BERT无法用于任何生成相关系统。
- 双向可见性用于next-token而不遮目标。
继续深挖
- encoder表示如何pooling？
- 同一模型怎样通过任务头适配检索？
