BIG-Bench Hard
AI 基准测试结果和模型表现
类型: percentageLanguage
已记录的结果
28
平均分数
70.89%
分数范围
44.30% - 89.20%
领先模型
89.20% - Gemini 1.5 Pro 001
分数变化趋势
按日期绘制的单项基准测试分数。
模型结果
| 组织 | 模型 | 报告时间 | 最高分数 | 信息 | 自行报告 | 来源 |
|---|---|---|---|---|---|---|
| Gemini 1.5 Pro 001 | 2024年5月23日 | 89.20% | inferred alias from gemini-1.5-pro | 是 | 来源 | |
| Gemini 1.5 Pro Exp (2024-08-01) | 2024年8月01日 | 89.20% | inferred alias from gemini-1.5-pro | 是 | 来源 | |
| Gemini 1.5 Pro Exp (2024-08-27) | 2024年8月27日 | 89.20% | inferred alias from gemini-1.5-pro | 是 | 来源 | |
| Gemini Robotics ER 1.5 Preview | 2025年9月25日 | 89.20% | inferred family alias from gemini-1.5-pro (score=0.3717; benches=23) | 是 | 来源 | |
| LearnLM 1.5 Pro Experimental | 2024年11月19日 | 89.20% | inferred family alias from gemini-1.5-pro (score=0.3700; benches=23) | 是 | 来源 | |
| Gemini 1.5 Flash 001 | 2024年5月23日 | 85.50% | inferred alias from gemini-1.5-flash | 是 | 来源 | |
| Gemini 1.5 Flash Preview | 2024年5月14日 | 85.50% | inferred alias from gemini-1.5-flash | 是 | 来源 | |
| Phi 3.5 MoE instruct | 2024年8月23日 | 79.10% | - | 是 | 来源 | |
| Phi 4 Mini | 2025年2月01日 | 70.40% | - | 是 | 来源 | |
| Granite 3.0 8B Instruct | - | 69.13% | inferred high-confidence family alias from granite-3.3-8b-instruct (score=0.4911; benches=14) | 是 | 来源 | |
| Granite 3.1 8B Instruct | - | 69.13% | inferred high-confidence family alias from granite-3.3-8b-instruct (score=0.4911; benches=14) | 是 | 来源 | |
| Granite 3.2 8B Instruct | - | 69.13% | inferred high-confidence family alias from granite-3.3-8b-instruct (score=0.4911; benches=14) | 是 | 来源 | |
| Granite 3.2 8B Instruct Preview | - | 69.13% | inferred high-confidence family alias from granite-3.3-8b-instruct (score=0.4687; benches=14) | 是 | 来源 | |
| Granite 3.3 2B Instruct | 2025年4月16日 | 69.13% | inferred family alias from granite-3.3-8b-instruct (score=0.3627; benches=14) | 是 | 来源 | |
| Granite 3.3 8B Instruct | 2025年4月16日 | 69.13% | - | 是 | 来源 | |
| Granite Guardian 3.0 8B | - | 69.13% | inferred family alias from granite-3.3-8b-instruct (score=0.4062; benches=14) | 是 | 来源 | |
| Granite Guardian 3.1 8B | - | 69.13% | inferred family alias from granite-3.3-8b-instruct (score=0.4062; benches=14) | 是 | 来源 | |
| Granite Guardian 3.3 8B | - | 69.13% | inferred high-confidence family alias from granite-3.3-8b-instruct (score=0.5071; benches=14) | 是 | 来源 | |
| Granite Speech 3.2 8B | - | 69.13% | inferred family alias from granite-3.3-8b-instruct (score=0.4062; benches=14) | 是 | 来源 | |
| Granite Speech 3.3 8B | - | 69.13% | inferred high-confidence family alias from granite-3.3-8b-instruct (score=0.5071; benches=14) | 是 | 来源 | |
| Phi 3 Mini 128K Instruct | - | 69% | inferred family alias from phi-3.5-mini-instruct (score=0.3533; benches=31) | 是 | 来源 | |
| Phi 3.5 mini instruct | 2024年8月23日 | 69% | - | 是 | 来源 | |
| Granite 4.0 Micro | 2025年10月02日 | 55.70% | inferred high-confidence family alias from granite-4.0-tiny-preview (score=0.4700; benches=12) | 是 | 来源 | |
| Granite 4.0 Small | 2025年10月02日 | 55.70% | inferred high-confidence family alias from granite-4.0-tiny-preview (score=0.4700; benches=12) | 是 | 来源 | |
| Granite 4.0 Tiny | 2025年10月02日 | 55.70% | inferred alias from granite-4.0-tiny-preview | 是 | 来源 |
