MMLU

工具介绍

MMLU（Massive Multitask Language Understanding，大规模多任务语言理解）是衡量大语言模型综合知识水平的经典基准测试，覆盖从人文社科到理工科、法律、医学等 57 个学科领域。它通过选择题形式考察模型的广泛知识与推理能力，是目前全球大模型评测中最具影响力的基准之一，几乎所有主流大模型都会公布其 MMLU 成绩。

核心功能

• 57 个学科覆盖：涵盖人文、社科、理工、专业领域等广泛知识
• 选择题评测：通过标准化选择题衡量模型知识水平
• Few-shot 模式：支持零样本与少样本评测
• 全球基准：主流大模型均以 MMLU 作为能力对标

能帮你做什么

• 模型知识评估：客观衡量大模型的综合知识储备
• 模型对比：参考 MMLU 分数对比不同模型
• 学术研究：作为标准基准开展模型评测研究
• 能力定位：了解模型在特定学科的表现

付费还是免费

• 完全免费开源：MMLU 数据集与评测代码开源免费