Applied Scientist · VO ML Scenario

Amazon ML:预测 Query 与商品相关性,怎样超越 Cosine Similarity?

定义人工相关性等级,区分语义/词法/结构约束、点击偏差和多阶段检索排序。

题目重点:定义人工相关性等级,区分语义/词法/结构约束、点击偏差和多阶段检索排序。

题意与假设

这道练习题保留了面经中值得训练的核心约束,并将需要澄清的条件单独列出。现场拿到变体时,先和面试官确认这些条件。

  • 目标是query商品相关性等级或排序,不等同商品销量/用户点击倾向。
  • 输入query、商品文本和结构化属性,可选用户上下文;训练标签、SKU去重/缺货政策需要确认。

解题路线

  1. 先定义相关性:精确满足、可替代、附件/关联、不相关等等级,并用标注规范处理品牌/型号/尺寸/否定词。查询“iPhone15 case”与手机本体词法相似,却不满足case意图。
  2. 词法BM25/字段匹配抓型号等稀有精确词,双塔语义召回表达近义,属性过滤处理不可妥协的尺寸/兼容条件。cosine只是相似特征,不能证明购买兼容性。
  3. 多阶段先召回候选再用更强cross-encoder或feature ranker评分;全库逐query-product跨编码不可承诺低时延。商品可离线编码,query在线编码;新商品更新与索引版本需管。
  4. 人工等级可用pointwise分类/回归,或构造pairwise/listwise排序目标。点击日志受位置/曝光/促销影响,未经校正不能视为真相关性;用受控随机曝光或倾向方法时明确识别假设。
  5. 数据按query模板/时间/近重复商品分割,负样本含容易随机项和真实难混淆项。训练只看easy negatives可能离线漂亮而线上混型号;困难负样本也可能误标可替代商品。
  6. 评Recall@候选K与最终nDCG/MRR分别定位召回漏与排序错,分长尾、品牌型号、语言、类目切片。线上看满意搜索/退货相关护栏及尾延迟,CTR不能替代相关性证据。

手动走一遍

query“USB-C 65W charger”:属性解析功率与接口,过滤不兼容,再召回排序;描述重复“65W”但实际规格只有20W应触发数据质量/硬属性校验,不靠embedding相似度通过。

规模与取舍

全库cosine打分O(Nd),ANN召回改变召回/速度取舍;重排C候选用cross-encoder成本随每对token长度增长。索引/特征存储、更新与峰值流量需要正式规模再预算。

易错点与追问

容易失分的边界

  • 点击概率当相关性。
  • 相似文本忽略硬兼容。
  • 只测重排不测召回。
  • random negatives掩盖型号错误。
  • 默认全库cross-encoder免费。

继续深挖

  • 多个可替代商品怎样标注?
  • 新商品与长尾query如何评估?
  • 型号词分词失效怎么补?
  • 品牌/销量信号怎样防压制相关新品?
✓已复制微信号!