在线蒸馏灵活却太慢，离线缓存高效却不够灵活，LinkedIn 如何取舍？

摘要

LinkedIn 公开了 AI 职位搜索背后的训练基础设施：一条多教师蒸馏流水线，把 80 亿与 17 亿参数的教师模型压缩进一个 6 亿参数的排序模型，NDCG@10 由 0.7583 升至 0.9432。为加快迭代，团队基于 SGLang 让教师模型直接在训练循环中提供服务，并叠加离线缓存、FSDP2 与 H200 集群等优化，训练整体提速约 8 倍，系统已在美国区自然语言职位搜索投产。