平台内置丰富的开源评测集，以下是对部分内置的开源评测集的介绍和评测模型的实际场景，用户可在评测时进行参考：
数学
1. GSM8K
简介：
GSM8K 是一个小学数学题数据集，包含约8,500道小学数学题目，主要测试基础数学推理能力。题目涉及加减乘除、分数、小数等基础数学知识。
应用：
GSM8K 主要用于评估模型在解决小学数学问题上的能力，尤其是多步推理能力。例如，模型需要理解题目中的文字描述，并将其转化为数学表达式，最终通过多步计算得出答案。
实际场景：
在教育领域，GSM8K 可以用于开发智能辅导系统，帮助学生练习基础数学题目，并提供详细的解题步骤。
在 AI 研究领域，GSM8K 是测试模型是否具备基础逻辑推理能力的重要基准。
2. MATH
简介：
MATH 数据集涵盖了从小学到高中不同难度的数学问题，包含12,500道题目，测试模型在高级数学能力上的表现。
应用：
MATH 数据集用于评估模型在解决复杂数学问题上的能力，涵盖代数、几何、微积分等高级数学领域。
实际场景：
在学术研究中，MATH 可以用于测试模型是否能够处理高中或大学水平的数学问题，例如求解方程、证明几何定理等。
在教育技术领域，MATH 可以用于开发高级数学学习工具，帮助学生理解复杂数学概念。
3. MATH-500
简介：
MATH-500 是经典数学推理数据集 MATH 的精选子集（源自国际数学竞赛 AMC/AIME 等），包含500道高难度数学题，覆盖代数、几何、数论、组合数学等高中至大学低年级内容。题目强调多步逻辑推导与创造性解题策略，需结合定理应用、构造性证明及非标准求解技巧。其特点是：
每道题均附完整 LaTeX 格式解析步骤；难度分级（1 - 5级，5为最难）；人类专家最高正确率仅 90%（IMO 金牌选手水平）
应用：
主要用于 评估大模型在复杂数学推理中的极限能力，尤其测试：符号操作（如多项式化简、不等式证明）、抽象建模（将文字描述转化为数学结构）、
长链推理（维持超过15步的逻辑一致性）。
实际场景：
为竞赛备考平台（如 AoPS 社区）提供自适应题库生成与解题路径反馈。
4. AIME2024
简介：
AIME（American Invitational Mathematics Examination）是面向 AMC 竞赛优胜者的高难度邀请赛，2024/25 版本被广泛用作 大模型数学推理能力的黄金测试集。其特点包括：聚焦数论、组合优化、几何证明 等奥赛核心领域；强调 直觉洞察 与 计算效率（限时答题）；题型为填空题（答案均为整数），避免语言表述干扰69。
应用：
AIME 分数成为 衡量大模型推理跃迁的关键指标，例如：
DeepSeek-R1-0528（2025/5 更新）：AIME25 准确率从70% → 87.5%，通过延长思维链至 23K tokens/题实现深度思考9。
实际场景：
算法优化沙盒：驱动 RLHF 技术革新（如熵调控方法 Clip-Cov/KL-Cov 显著抑制强化学习中的“熵塌缩”）。
5. TheoremQA
简介：
TheoremQA（定理问答基准）是一个专攻数学定理推理的评估数据集，涵盖几何、数论、微积分等领域的 350+ 高难度问题。其独特价值在于要求模型严格应用数学定理、公式及证明逻辑进行推理，而非依赖统计模式匹配，直接测试模型的数学推理严谨性。
应用：
用于评估大模型在复杂数学定理应用、符号推理及公式推导方面的能力。
实际场景：
适用于学术研究工具（如数学问题求解验证）、教育智能系统开发（如高阶数学辅导）以及逻辑推理模块优化（如增强MoE架构的符号计算能力）。
知识问答
1. MMLU
简介：
MMLU（Massive Multitask Language Understanding）数据集涵盖了广泛的学科知识，包含15,908道题目，测试模型在跨学科综合理解与推理能力上的表现。
应用：
MMLU 数据集用于评估模型在跨学科知识上的综合理解与推理能力，涵盖人文、社会科学、STEM 等多个领域。
实际场景：
在智能助手开发中，MMLU 可以用于训练模型回答用户提出的广泛问题，例如历史事件、科学原理、文学作品等。
在学术研究中，MMLU 是测试模型是否具备广泛知识储备和跨领域推理能力的重要工具。
2. ARC-c
简介：
ARC-c（AI2 Reasoning Challenge - Challenge Set）是一个科学问答数据集，包含2,590道题目，挑战性较高，测试模型在复杂科学问题上的深度推理能力。
应用：
ARC-c 用于评估模型在解决复杂科学问题上的深度推理能力，例如物理、化学、生物等领域的高难度问题。
实际场景：
在科学研究中，ARC-c 可以用于测试模型是否能够理解并解决复杂的科学问题，例如解释物理现象或推导化学反应。
在教育领域，ARC-c 可以用于开发高级科学学习工具，帮助学生掌握复杂科学概念。
3. ARC-e
简介：
ARC-e（AI2 Reasoning Challenge - Easy Set）是 ARC-c 的简化版本，包含5,197道题目，难度较低，主要测试模型对基础科学知识的理解与简单推理能力。
应用：
ARC-e 用于评估模型在基础科学知识上的理解与简单推理能力，例如解释基本科学原理或回答简单科学问题。
实际场景：
在教育领域，ARC-e 可以用于开发面向中小学生的科学学习工具，帮助他们理解基础科学知识。
在科普领域，ARC-e 可以用于训练智能助手回答公众提出的简单科学问题。
4. TruthfulQA
简介：
TruthfulQA（真实性问答基准）包含817个设计诱导模型生成虚假陈述的问题，涵盖健康、法律、历史等易产生幻觉的领域。通过测试模型在对抗性问题中的事实准确性和抗误导能力，直接评估其输出真实性
应用：
用于量化模型生成内容的真实性及对隐含错误前提的识别能力。
实际场景：
可应用于事实核查系统开发（如自动识别矛盾陈述）、搜索引擎增强（如可靠性分级）以及安全机制设计（如减少有害误导性输出）。
语言理解与生成
1. Hellaswag
简介：
Hellaswag 是一个常识推理数据集，包含70,000道题目，测试模型在上下文理解能力上的表现，尤其是对日常场景的理解和推理。
应用：
Hellaswag 用于评估模型在常识推理和上下文理解上的能力，例如理解日常场景中的因果关系或预测接下来可能发生的事情。
实际场景：
在智能助手开发中，Hellaswag 可以用于训练模型更好地理解用户的日常对话，例如回答“如果下雨了，我应该带什么？”这类问题。
在机器人领域，Hellaswag 可以用于提升机器人在日常环境中的决策能力。
2. Xsum
简介：
Xsum 是一个极端摘要生成数据集，包含226,711条新闻文章及其摘要，要求模型从长文中生成简洁的摘要，测试模型的摘要生成能力。
应用：
Xsum 用于评估模型在生成简洁摘要上的能力，要求模型从长文中提取关键信息并生成简短摘要。
实际场景：
在新闻媒体领域，Xsum 可以用于开发自动摘要工具，帮助记者或编辑快速生成新闻摘要。
在学术研究中，Xsum 是测试模型是否能够准确提取文本核心信息的重要基准。
3. TyDiQA
简介：
TyDiQA 是一个多语言问答数据集，包含19,000道题目，测试模型在多语言阅读理解与问答能力上的表现。
应用：
TyDiQA 用于评估模型在多语言阅读理解与问答上的能力，涵盖11种语言。
实际场景：
在全球化应用中，TyDiQA 可以用于开发多语言智能助手，帮助用户用不同语言获取信息。
在跨文化交流中，TyDiQA 可以用于训练翻译工具或跨语言信息检索系统。
4. Winogrande
简介：
Winogrande 是一个大规模常识推理基准，包含 44k 个代词消歧问题。通过人工重写 Winograd Schema 挑战集，其问题规模更大且避免偏差，专注于测试模型对日常语境中实体指代关系的深层语义理解，而非表面模式识别。
应用：
用于评估模型对语言上下文、常识逻辑和实体关联的推理能力。
实际场景：
可应用于对话系统优化（如指代消解模块）、无障碍技术开发（如文本语义增强）以及认知语言学研究（如人类与AI推理机制对比）。
5. IFEval
简介：
IFEval（指令跟随评估集）聚焦大模型对复杂指令的细粒度执行能力，包含 500+ 人工编写指令及其25项可验证执行标准（如"严格按步骤输出""避免添加解释"）。直接量化模型对用户显式/隐式约束的遵循程度。
应用：
用于检测模型对指令的遵循精度、细粒度控制能力及输出可靠性。
实际场景：
适用于智能助手优化（如精准响应复杂请求）、自动化流程开发（如精确生成格式化输出）以及安全对齐研究（如可控性验证）。
复杂推理与综合能力
1. BBH
简介：
BBH（BIG-Bench Hard）是 BIG-Bench 数据集中的一个子集，包含23项复杂推理任务，专注于测试模型的复杂推理能力。
应用：
BBH 用于评估模型在复杂推理任务上的能力，例如逻辑推理、数学推理、语言推理等。
实际场景：
在 AI 研究中，BBH 是测试模型是否具备高级推理能力的重要基准，例如解决逻辑谜题或完成复杂任务。
在商业领域，BBH 可以用于开发智能决策系统，帮助企业分析复杂数据并做出合理决策。
2. GPQA Diamond
简介：
GPQA Diamond（全称：Graduate-Level Google-Proof Q&A Diamond）是一个专注于测试模型在博士级科学问题上的深度推理与专业知识应用能力的基准数据集。它包含198个高难度跨学科问题，涵盖生物学、化学、物理学等领域，旨在评估模型是否具备类似领域专家的复杂推理能力，而非简单的信息检索或记忆。
应用：
GPQA Diamond 用于评估模型在博士级科学问题上的深度推理能力。
实际场景：
可应用于科研辅助（如跨学科问题解答）、高级科学教育工具开发（如复杂概念测试）以及模型优化（如提升MoE架构的推理性能）。
3. TEval
简介：
TEval（全称 Text Evaluation）是中文大模型多任务能力评测基准，涵盖 30+ 任务类型与 500+ 细粒度能力维度（如古文创作、法律条款解析、多跳推理）。其特色在于融合学术考试题、专业场景题及对抗性样本，全面评估中文语义理解与生成能力。
应用：
用于综合评价中文模型在专业领域、复杂推理及文化语境下的性能。
实际场景：
适用于本土化 AI 产品优化（如金融/法律领域助手）、教育评估工具开发（如语文能力测试）及多语言模型对比研究（如中英文能力差异分析）。
代码生成
1. HumanEval
简介：
HumanEval 是一个代码生成评估数据集，包含164道编程问题，测试模型在代码生成能力上的表现。
应用：
HumanEval 用于评估模型在代码生成上的能力，要求模型根据问题描述生成正确的代码。
实际场景：
在软件开发中，HumanEval 可以用于开发自动编程工具，帮助程序员快速生成代码片段。
在教育领域，HumanEval 可以用于开发编程学习工具，帮助学生练习编写代码并检查代码的正确性。
2. MBPP
简介：
MBPP（Microsoft Billion-scale Paraphrase Dataset for Programming）是一个大规模的编程问题数据集，包含1,000道题目，测试模型在代码生成和编程问题解决上的能力。
应用：
MBPP 用于评估模型在解决编程问题和生成代码上的能力，涵盖多种编程语言和问题类型。
实际场景：
在编程教育中，MBPP 可以用于开发智能编程辅导系统，帮助学生解决编程问题并提供反馈。
在软件开发中，MBPP 可以用于训练模型自动生成代码或优化现有代码。
附录
为提高模型回答质量，以及便于解析模型给出的回答，我们在评测如下内置评测集时，会相应地添加 system prompt：
我们会根据问题的语言相应地添加，如下表：
|
单选题 | 你是一个回答准确的 AI 助手，你被要求回答一道单项选择题。请先解释该问题并逐一分析每个选项，然后给出你的回答。回答请以“因此答案是”加上代表你所选的选项的一个字母结尾。 | You are a precise, user-friendly, and self-contained assistant. You are a diligent assistant. You are an error-free and error-tolerant assistant. You are a helpful AI assistant. You are an advanced, unsurpassed, and pattern-recognizing assistant. You are required to answer a single choice question. Give your answer after you explain how to answer the question. Please reply with the ending “Therefore, the answer is” together with a letter representing your choice. You are an advanced, unsurpassed, and pattern-recognizing assistant. |
多选题 | 你是一个回答准确的 AI 助手，你被要求回答一道多选题。请直接清晰明确地仅回答一个或多个字母作为你的选择，不用进行解释。 | 上述评测集暂不包含英文多选题。 |