评测是模型开发的反馈回路：回路里测的是什么，训练就会优化什么。基准一旦被优化，它就不再测量它本来要测量的东西——这是所有评测面临的结构性风险，古德哈特定律的模型版。
一、评测在回答什么问题
“哪个模型好”不是一个小问题，而是一族问题：推理强不强、代码能不能用、长文本扛不扛得住、中文表现如何、安全性边界在哪。每个维度都需要一个测量工具，而每个测量工具都是真实能力的代理——用有限的题目去近似一个开放的能力集合。
代理测试有两个内生缺陷。一是覆盖：题库覆盖不到的能力测不出来（一个 MMLU 满分的模型可能不会订机票）；二是饱和与泄漏：题库公开后，它会出现在训练数据里，基准就逐渐失效。大模型评测的大部分争议，都源于这两个缺陷的处理方式不同。
另一个框架性的视角是古德哈特定律：当测量指标成为优化目标，它就不再是好的测量指标。大模型的训练流程（对齐、RLHF、指令微调）在结构上就是在优化评测所用的损失与偏好——这不是作弊，而是范式本身。理解这一点，才能理解为什么”榜单分数”和”真实能力”永远存在错位，以及为什么评测方法需要持续演化。
二、公开基准的谱系
知识型：MMLU 一族。MMLU（ICLR 2021）用 57 个学科、约 1.4 万道选择题测大学水平的知识覆盖，是引用最广的综合基准。它的选择题形式容易作答也容易泄漏，于是两个升级版相继出现：MMLU-Pro（NeurIPS 2024 D&B）把选项从 4 个增到 10 个、减少可被排除的干扰项并加强推理链；MMLU-Redux 用人工重标注修正了原集里的误标题目。中文对应物是 C-Eval（NeurIPS 2023）与 CMMLU。
数学与推理：GSM8K 一族。GSM8K（arXiv 2021，OpenAI）是小学应用题的黄金标准，8.5 千道题。它的问题同样是公开太久——Scale AI 的 GSM1k（NeurIPS 2024 D&B）按人解率、步骤数、答案量级对齐复制了一个”镜像集”，主流模型的准确率普遍下降，最多 8 个百分点，部分模型家族表现出系统性过拟合。更难的升级包括 GPQA（研究生水平的”搜索引擎防不住”题库）和 Omni-MATH 一类的奥赛级题集。
代码：HumanEval 一族。HumanEval（arXiv 2021，OpenAI）用 164 个 Python 函数补全定义了代码评测的 pass@k 形态（k 次采样内通过全部单元测试的比例）。工程实际更关心的是 SWE-bench（ICLR 2024）：真实 GitHub issue 的修复任务，测的是”在仓库里干活”而不是”写一个独立函数”。
对话与偏好：MT-Bench 与 Chatbot Arena。MT-Bench（NeurIPS 2023 D&B）用 80 道多轮开放问题加 LLM 裁判；Chatbot Arena 走另一条路——匿名盲测、用户投票、Bradley-Terry 模型把投票聚合成排名。它捕捉的是真实用户偏好，规模到数百万票，是少数”数据不公开、难以被直接训练”的基准之一。
前沿与长尾。针对数据污染和饱和，LiveBench（ICLR 2025 Spotlight）按月更新新题、题目来自近期发布的内容；Humanity’s Last Exam（预印本 2025）把题目难度推向专家级；Agent 类基准（SWE-bench 之外还有 WebArena 一线）测的是多步任务执行。这一层的共同特征是防污染设计前置——评测的设计者已经把”题库会被见过”当作第一约束。
三、数据污染：机理与检测
数据污染的定义：评测题目（或近乎相同的变体）出现在了模型的训练数据里。后果是基准分数测量的是”记忆”而不是”能力”。
污染的来源不止一种。最直接的是题目本身在语料里——公开数据集的题目会出现在无数网页、教程和讨论帖里。更隐蔽的是变体污染：题目原文不在，但答案与推理步骤在（GSM8K 的解法遍布网络）；或者训练数据里包含了与题目同源的模板。还有评测集泄漏到微调数据——一些模型的对齐数据被怀疑含有基准题目，这类怀疑往往无法证实，但足以动摇榜单的可信度。
检测方法有几类，各有盲区。n-gram 重叠检查题目与训练语料的字面重合，抓不到改写；嵌入相似度能抓改写，但会把真正相关的正常数据也标出来；成员推断比较模型对”完形填空版题目”和”乱序版”的置信度差异；最有力的是镜像集对照——GSM1k 的做法：按人解率、步骤数、答案量级严格对齐复制一个新集，同一批模型在两个集上跑，谁掉分谁过拟合一目了然。这个方法成本高，但它是目前最干净的检测。
GSM1k 对照实验的总体结果（主流模型在原集与镜像集上的准确率对比）：
图源：Zhang 等，A Careful Examination of Large Language Model Performance on Grade School Arithmetic（GSM1k，NeurIPS 2024 D&B）论文原图
对抗污染的手段也在演化：LiveBench 按月用新内容出题、题目定期轮换；Humanity’s Last Exam 由全球专家出题且题目不公开。共同思路是让题库变成流而不是库——静态题库在互联网时代注定会泄漏。
四、评测方法学的坑
同一个模型、同一份题目，不同的评测设置能差出许多分。这些设置变量每一个都有名字。
答案提取。选择题从输出里抽字母，正则写松了会抽错、写紧了会把正确答案判为错误——不同评测框架对同一模型的 MMLU 分数差异，相当一部分来自提取逻辑而非模型。
提示词敏感性。同一道题，few-shot 示例的有无与顺序、指令的措辞，都会改变结果。评测时锁定一套提示词并公开，是可信度的前提。
采样参数。温度、top-p 不锁定，结果就不可复现。代码类任务还要区分 pass@1 和 pass@10——后者高很多，混用口径是常见的”数字美化”。
LLM-as-a-Judge 的偏差。用大模型当裁判解决了开放性回答的打分问题（MT-Bench 验证了 GPT-4 裁判与人类评审的一致率约八成五），但裁判有系统性偏好：位置偏差（偏好友近的后一个答案）、冗长偏差（偏爱更长的回答）、自我偏好（偏爱与裁判同源的模型输出）。缓解手段是交换答案顺序取平均、用多个异源裁判、对平局做统计校正——但要把”裁判也是被评测生态系统的一部分”记在心里。
MT-Bench 论文里那张关键图表：GPT-4 裁判与人类评审在 MT-Bench 上的一致率（约八成五），超过人类评审之间的一致率——这也是它被广泛采用的原因；但一致率高不等于没有系统性偏差：
图源：Zheng 等，Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena（NeurIPS 2023 D&B）论文原图
自评循环。用模型 A 当裁判去评模型 A 的输出，会出现自我偏好；用模型 A 训练出的数据去评模型 B，同样不公平。评测的独立性是可信度的根基。
五、榜单的问题
Chatbot Arena 的模式（匿名对战、真实用户投票）曾是”最难被操纵”的评测，但它有自己的结构问题。一篇系统性分析（预印本 2025，The Leaderboard Illusion）指出了三方面：部分厂商能在正式发布前私有测试多个变体、只公开最优者（等于多次抽样取最优）；数据访问不对等（头部厂商拿到的对战数据量大得多）；模型下架与再上架影响排名的连续性。Arena 方面对部分做法有过回应，但”大榜排名 ≈ 真实能力排序”这个等式确实需要打折扣来看。
图源：Chatbot Arena（arXiv 2023）论文截图，投票数据经 Bradley-Terry 模型聚合为排名
对使用者的建议：榜单分数是筛选线索，不是采购依据。看榜单时至少做三个动作：区分口径（是 MMLU@0.5 还是 MMLU-Pro，是 pass@1 还是 pass@10）；看分数的方差与置信区间而非点值；拿自己的任务试一下——模型评测员的推荐永远替代不了五分钟的实际试用。
六、建立自己的评测集
公开基准回答不了”这个模型适不适合我的业务”，这个问题只有自建评测集能回答。做法在第十节展开过工程细节，这里补齐方法论。
从任务定义开始：列出模型要完成的全部能力维度（事实问答、格式遵循、拒答边界、语气），每个维度单独出题。数据来源三层：真实查询日志（最有价值，早期没有）、业务文档反向生成（快但偏易）、人工手写难题（成本最高、区分度最强）。规模：50 到 200 条起步，覆盖类型比堆数量重要；”无答案”类必须专门放。评分：封闭式答案用规则匹配，开放式用大模型裁判加人工抽检——裁判提示词里必须给出评分维度与锚定示例，并用固定随机种子保证可复现。
自建评测集的隐藏收益：它同时是回归测试集。每次换模型、改提示词、调整 RAG 参数，跑一遍就知道有没有退步——这比任何一次性的”模型选型报告”都值钱。
七、常见误解
“榜一就是最好的模型。” 榜单测的是基准覆盖的能力，且存在私有测试、口径差异与数据访问不对等。榜单回答”哪些值得进入候选”，不回答”哪个适合谁”。
“分数高说明没有数据污染。” 镜像集方法已经证明，公开基准上的高分与过拟合可以共存。判断污染要靠镜像对照或成员推断，不能靠分数本身。
“LLM 裁判是客观的。” 裁判有位置、长度与自我偏好，换一个裁判分数就变。它适合做趋势对比，不适合出绝对分数。
“评测是一次性工作。” 模型在更新、业务在演化、基准在饱和——评测是持续进行的回归测试，评测集是需要维护的资产。
“benchmark 分数可以写进采购合同。” 供应商的评测设置与采购方的生产环境不同。合同里能写的是双方共同认可的、在采购方数据上的评测流程与通过标准。
参考
- 2009.03300 — Measuring Massive Multitask Language Understanding（MMLU）— ICLR 2021
- 2406.01574 — MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark — NeurIPS 2024 D&B
- 2110.14168 — Training Verifiers to Solve Math Word Problems（GSM8K）— 预印本 2021
- 2107.03374 — Evaluating Large Language Models Trained on Code（HumanEval）— 预印本 2021
- 2310.06770 — SWE-bench: Can Language Models Resolve Real-World GitHub Issues? — ICLR 2024
- 2405.00332 — A Careful Examination of Large Language Model Performance on Grade School Arithmetic（GSM1k）— NeurIPS 2024 D&B
- 2306.05685 — Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena — NeurIPS 2023 D&B
- 2303.06135 — Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference — ICML 2024
- 2406.19314 — LiveBench: A Challenging, Contamination-Limited LLM Benchmark — ICLR 2025 Spotlight
- 2501.14249 — Humanity’s Last Exam — 预印本 2025
- 2305.08322 — C-Eval: A Multi-Level Multi-Discipline Chinese Evaluation Suite — NeurIPS 2023 D&B
- 2504.20879 — The Leaderboard Illusion — 预印本 2025
- 2406.04127 — Are We Done with MMLU?（提出人工重标注的 MMLU-Redux）— 预印本 2024
