模型评测

大模型评测基准与排行榜（共收录 20 个工具）

• AGI-Eval — AGI-Eval 大模型评测社区（官网）
• Artificial Analysis — 独立大模型评测机构，性能、价格、速度全维度对比（官网）
• C-Eval — 全面的中文基础模型多学科评估套件（官网）
• CMMLU — 综合性的中文大模型多任务语言理解评测基准（官网）
• Epoch AI — AI 发展趋势与算力研究机构，数据可视化丰富（官网）
• FlagEval — 智源研究院推出的大模型评测平台（天秤）（官网）
• H2O EvalGPT — H2O.ai 推出的基于 Elo 评分的大模型评测工具（官网）
• HELM — 斯坦福大学推出的语言模型整体评估框架（官网）
• LiveBench — 无污染的大模型基准测试，题目持续更新（官网）
• LLMEval3 — 复旦大学 NLP 实验室推出的大模型评测基准（官网）
• LMArena — AI 模型匿名对战评测平台，用户盲评投票生成大模型竞技场排行榜（官网）
• MagicArena — 字节跳动推出的视觉生成模型竞技场（官网）
• MMBench — 全方位的多模态大模型评测基准（官网）
• MMLU — 大规模多任务语言理解基准，覆盖 57 个学科（官网）
• Open LLM Leaderboard — Hugging Face 推出的开源大模型评测排行榜（官网）
• OpenCompass — 上海人工智能实验室推出的大模型开源开放评测体系（司南）（官网）
• PubMedQA — 生物医学研究问答评测数据集（官网）
• Scale Leaderboard — Scale AI 的私有数据集模型排行榜（官网）
• SuperCLUE — 中文通用大模型综合性测评基准（官网）
• SWE-bench — AI 编程能力权威基准，真实 GitHub issue 修复测试（官网）