题目重点：在算力和显存约束下设计多模态视频描述服务，拆分可降成本的阶段。
题意与假设
这道练习题保留了面经中值得训练的核心约束，并将需要澄清的条件单独列出。现场拿到变体时，先和面试官确认这些条件。
- 未给硬件/峰值QPS/视频时长/实时性；用符号预算，不编造固定GPU数量。
- 先确认离线批处理还是在线caption，输出语言/粒度和质量要求。
解题路线
- 流程拆上传解码、采帧/切片、视觉encoder、LLMprefill/decode、结果存储；每段记录耗时、队列等待和内存峰值。
- 显存包含权重、激活、KVcache、workspace和batch，不只参数。采帧、降分辨率、短prompt、限制输出长度和量化各有质量代价。
- 动态batch提高吞吐但增加排队；按视频长度分桶、防长任务阻塞，设置admission control和任务超时。离线队列可重试但必须按jobID幂等。
- 模型压缩/量化、encoder结果缓存和多GPU分片按瓶颈选择；每项都验证字幕质量、时序与小物体识别，不能只测均值。
手动走一遍
长视频先切片生成局部caption再汇总，减少单请求token峰值；汇总可能失去跨片段关系，需要专门评价。同视频换输出语言可复用兼容视觉特征，缓存key含视频内容hash、采帧和encoder版本。
规模与取舍
设到达λ、单GPU稳定吞吐μ，至少需λ/μ量级容量再加冗余与峰值；不能在接近100%利用率承诺低尾延迟。显存随视觉tokens、batch和decode长度增长。
易错点与追问
容易失分的边界
- 只按模型权重估显存。
- 不区分排队时间与计算时间。
- 压帧/量化不验质量。
继续深挖
- prefill与decode如何分开调度？
- 在线和离线任务怎样隔离资源？
