SWE Bench Pro
AI 基准测试结果和模型表现
类型: percentage
已记录的结果
40
平均分数
58.65%
分数范围
46% - 80.30%
领先模型
80.30% - Claude Fable 5
分数变化趋势
按日期绘制的单项基准测试分数。
模型结果
| 组织 | 模型 | 报告时间 | 最高分数 | 信息 | 自行报告 | 来源 |
|---|---|---|---|---|---|---|
| Claude Fable 5 | 2026年6月09日 | 80.30% | Higher of Mythos 5 / Fable 5 in Anthropic's launch table | 是 | 来源 | |
| Claude Mythos 5 | 2026年6月09日 | 80.30% | Higher of Mythos 5 / Fable 5 in Anthropic's launch table | 是 | 来源 | |
| Claude Opus 5 | 2026年7月24日 | 79.20% | Adaptive thinking at max effort; default sampling settings; average of 5 trials | 是 | 来源 | |
| Claude Mythos Preview | 2026年4月07日 | 77.80% | - | 是 | 来源 | |
| Fugu Ultra | 2026年6月22日 | 73.70% | Sakana Fugu product page benchmark table. | 是 | 来源 | |
| Claude Opus 4.8 | 2026年5月28日 | 69.20% | Max effort; avg 5 trials | 是 | 来源 | |
| Claude Opus 4.7 | 2026年4月16日 | 64.30% | - | 是 | 来源 | |
| Claude Sonnet 5 | 2026年6月30日 | 63.20% | SWE-bench Pro; standard configuration; average over five trials | 是 | 来源 | |
| Qwen 3.8 27B | 2026年8月14日 | 61.70% | - | 是 | 来源 | |
| Muse Spark 1.1 | 2026年7月09日 | 61.50% | Diverse software engineering | 是 | 来源 | |
| Qwen 3.7 Max | 2026年5月21日 | 60.60% | SWE-Pro; refined benchmark; internal agent scaffold | 是 | 来源 | |
| Laguna S 2.1 | 2026年7月21日 | 59.40% | public dataset mean pass@1 | 是 | 来源 | |
| MiniMax M3 | 2026年6月01日 | 59% | - | 是 | 来源 | |
| Fugu | 2026年6月22日 | 59% | Sakana Fugu product page benchmark table. | 是 | 来源 | |
| GPT 5.5 | 2026年4月23日 | 58.60% | Public | 是 | 来源 | |
| GLM 5.1 | 2026年4月07日 | 58.40% | - | 是 | 来源 | |
| GPT 5 Pro | 2025年8月07日 | 57.70% | inferred family alias from gpt-5.4 (score=0.4083; benches=19) | 是 | 来源 | |
| GPT 5 Search API | 2025年10月14日 | 57.70% | inferred family alias from gpt-5.4 (score=0.3050; benches=19) | 是 | 来源 | |
| GPT 5.4 | 2026年3月05日 | 57.70% | Public | 是 | 来源 | |
| GPT 5.3 Codex | 2026年2月05日 | 56.80% | Public; xhigh reasoning | 是 | 来源 | |
| Qwen 3.6 Plus | 2026年4月01日 | 56.60% | - | 是 | 来源 | |
| GPT 5.2 Codex | 2025年12月18日 | 56.40% | - | 是 | 来源 | |
| MiniMax M2.7 | 2026年3月18日 | 56.20% | - | 是 | 来源 | |
| MiMo V2.5 | 2026年4月23日 | 56.10% | Hugging Face evaluation result | 是 | 来源 | |
| GPT 5.2 | 2025年12月11日 | 55.60% | - | 是 | 来源 |
