MGSM
AIベンチマーク結果とモデルの性能
種類: percentageMath
記録された結果
40
平均スコア
79.07%
スコアの範囲
47.90% - 92.30%
最上位モデル
92.30% - Llama 4 Maverick
スコアの推移
日付ごとの個別ベンチマークスコアです。
モデル結果
| 組織 | モデル | 報告日 | 最高スコア | 情報 | 自己申告 | 出典 |
|---|---|---|---|---|---|---|
| Llama 4 Maverick | 2025年4月05日 | 92.30% | - | はい | 出典 | |
| o3 mini | 2025年1月30日 | 92% | - | はい | 出典 | |
| Llama 2 70B Chat | 2023年6月20日 | 91.10% | inferred family alias from llama-3.3-70b-instruct (score=0.3129; benches=9) | はい | 出典 | |
| o1 preview | 2024年9月12日 | 90.80% | - | はい | 出典 | |
| Llama 4 Scout | 2025年4月05日 | 90.60% | - | はい | 出典 | |
| GPT 4o (2024-05-13) | 2024年5月13日 | 90.50% | - | はい | 出典 | |
| GPT 4 Turbo Preview (1106) | 2023年11月06日 | 88.50% | inferred version-family alias from gpt-4-turbo-2024-04-09 | はい | 出典 | |
| Gemini 1.5 Pro 001 | 2024年5月23日 | 87.50% | inferred alias from gemini-1.5-pro | はい | 出典 | |
| Gemini 1.5 Pro Exp (2024-08-01) | 2024年8月01日 | 87.50% | inferred alias from gemini-1.5-pro | はい | 出典 | |
| Gemini 1.5 Pro Exp (2024-08-27) | 2024年8月27日 | 87.50% | inferred alias from gemini-1.5-pro | はい | 出典 | |
| Gemini Robotics ER 1.5 Preview | 2025年9月25日 | 87.50% | inferred family alias from gemini-1.5-pro (score=0.3717; benches=23) | はい | 出典 | |
| LearnLM 1.5 Pro Experimental | 2024年11月19日 | 87.50% | inferred family alias from gemini-1.5-pro (score=0.3700; benches=23) | はい | 出典 | |
| GPT 4o Mini Audio Preview | 2024年12月17日 | 87% | inferred modality/version alias from gpt-4o-mini-2024-07-18 | はい | 出典 | |
| GPT 4o Mini Realtime Preview | 2024年12月17日 | 87% | inferred modality/version alias from gpt-4o-mini-2024-07-18 | はい | 出典 | |
| GPT 4o Mini Search Preview | 2025年3月11日 | 87% | inferred modality/version alias from gpt-4o-mini-2024-07-18 | はい | 出典 | |
| GPT 4o Mini Transcribe (2025-12-15) | 2025年12月15日 | 87% | inferred modality/version alias from gpt-4o-mini-2024-07-18 | はい | 出典 | |
| GPT 4o Mini Transcribe (2025-03-20) | 2025年3月20日 | 87% | inferred modality/version alias from gpt-4o-mini-2024-07-18 | はい | 出典 | |
| GPT 4o Mini TTS (2025-12-15) | 2025年12月15日 | 87% | inferred modality/version alias from gpt-4o-mini-2024-07-18 | はい | 出典 | |
| GPT 4o Mini TTS (2025-03-20) | 2025年3月20日 | 87% | inferred modality/version alias from gpt-4o-mini-2024-07-18 | はい | 出典 | |
| Llama 3.2 90B Vision Instruct | - | 86.90% | inferred high-confidence family alias from llama-3.2-90b-instruct (score=0.5873; benches=13) | はい | 出典 | |
| Qwen 3 235B A22B | - | 83.53% | - | はい | 出典 | |
| Gemini 1.5 Flash 001 | 2024年5月23日 | 82.60% | inferred alias from gemini-1.5-flash | はい | 出典 | |
| Gemini 1.5 Flash Preview | 2024年5月14日 | 82.60% | inferred alias from gemini-1.5-flash | はい | 出典 | |
| Granite 4.1 8B | 2026年4月29日 | 82.32% | 8-shot | はい | 出典 | |
| Phi 1 | - | 80.60% | inferred family alias from phi-4 (score=0.3100; benches=13) | はい | 出典 |
