Read, Don't Write: 重塑大模型评价体系，构建全自动、可进化的“探测式”评测管线｜QCon上海

摘要

阿里巴巴高级技术专家孙鹏在 QCon 上海站分享的方案 BoRP 换了个思路做模型评测：不让 LLM 写评语，而是用对比表示提取与 PLS 回归直接读取隐状态里的满意度信号。它把评测成本降低 97%，人类对齐度超过生成式 LLM-as-a-Judge，并已在万亿级流量的 A/B 测试中落地。