工具介绍
C-Eval 是适用于大语言模型的多层次多学科中文评估套件,由上海交通大学、清华大学和爱丁堡大学研究人员联合推出。它涵盖从基础到高级的多学科选择题,覆盖人文、社科、理工等领域,是目前中文大模型评测中最具影响力的基准之一,帮助研究者全面衡量模型的中文知识与推理能力。
核心功能
- 多学科覆盖:涵盖人文、社科、理工、其他四大类共 52 个学科
- 多层次难度:题目分为初中、高中、大学、职业等多个难度层级
- 标准化评测:提供统一评测脚本与榜单,结果可复现
- Few-shot 评测:支持零样本与少样本两种评测模式
能帮你做什么
- 模型评测:研究者衡量中文大模型的知识储备与推理能力
- 模型对比:开发者对比不同模型的 C-Eval 分数辅助选型
- 学术研究:高校机构基于统一基准开展中文模型评测研究
- 能力定位:分学科成绩帮助定位模型优势与短板
付费还是免费
- 完全免费开源:C-Eval 数据集与评测代码开源免费,可在 GitHub 获取

AGI-Eval
AGI-Eval是上海交通大学、同济大学、华东师范大学、DataWhale等高校和机构合作发布的大模型评测社区,旨在打造

AI大学堂
AI大学堂是科大讯飞打造的在线AI学习平台,专注于人工智能领域的知识传授与技能培养。基于强大的星火大模型技术,为不同基础

AMiner
AMiner是具备我国自主知识产权的智能科技情报大数据挖掘服务平台,融合广泛而丰富的科研资源,包括6000万学者、3.2

BigModel
BigModel 是智谱推出的企业级大模型开放平台(MaaS),专注于为开发者提供 GLM 系列全栈大模型能力。BigM

CMMLU
CMMLU是综合性的中文评估基准,专门用在评估语言模型在中文语境下的知识和推理能力,涵盖从基础学科到高级专业水平的67个

Cohere
Cohere 是一家总部位于加拿大的企业级 AI 公司,为企业提供自然语言处理(NLP)与大语言模型相关的 API 服务
