AGI-Eval

工具介绍

AGI-Eval 是上海交通大学、同济大学、华东师范大学、DataWhale 等高校和机构合作发布的大模型基准测试与评测框架。它以全面、开放、公平为原则，覆盖多学科知识与推理能力，帮助研究者和开发者客观评估大语言模型的真实水平，是中文大模型评测领域的重要参考工具。

核心功能

• 多学科评测：覆盖数学、逻辑、常识、代码、人文社科等多学科维度
• 多任务覆盖：支持问答、推理、生成等多种任务类型评估
• 标准化评测流程：提供统一的数据集与评测脚本，结果可复现、可对比
• 开放数据：数据集与工具开源，社区可扩展与贡献

能帮你做什么

• 模型能力评估：研究者客观评估自研或开源大模型的综合能力
• 模型选型对比：开发者对比不同模型的学科表现，辅助选型决策
• 学术研究：高校与研究机构基于统一基准开展模型评测研究
• 能力短板分析：通过分科成绩定位模型的薄弱环节

付费还是免费

• 完全免费开源：AGI-Eval 基准与工具开源免费，可在 GitHub 获取