SWE Bench Pro
Ergebnisse von KI-Benchmarks und Modellleistung
Typ: percentage
Erfasste Ergebnisse
40
Durchschnittspunktzahl
58.65%
Punktzahlbereich
46% - 80.30%
Führendes Modell
80.30% - Claude Fable 5
Punktzahlen im Zeitverlauf
Einzelne Benchmark-Punktzahlen nach Datum.
Modellergebnisse
| Organisation | Modelle | Gemeldet am | Höchste Punktzahl | Info | Selbst gemeldet | Quelle |
|---|---|---|---|---|---|---|
| Claude Fable 5 | 09. Juni 2026 | 80,30 % | Higher of Mythos 5 / Fable 5 in Anthropic's launch table | Ja | Quelle | |
| Claude Mythos 5 | 09. Juni 2026 | 80,30 % | Higher of Mythos 5 / Fable 5 in Anthropic's launch table | Ja | Quelle | |
| Claude Opus 5 | 24. Juli 2026 | 79,20 % | Adaptive thinking at max effort; default sampling settings; average of 5 trials | Ja | Quelle | |
| Claude Mythos Preview | 07. Apr. 2026 | 77,80 % | - | Ja | Quelle | |
| Fugu Ultra | 22. Juni 2026 | 73,70 % | Sakana Fugu product page benchmark table. | Ja | Quelle | |
| Claude Opus 4.8 | 28. Mai 2026 | 69,20 % | Max effort; avg 5 trials | Ja | Quelle | |
| Claude Opus 4.7 | 16. Apr. 2026 | 64,30 % | - | Ja | Quelle | |
| Claude Sonnet 5 | 30. Juni 2026 | 63,20 % | SWE-bench Pro; standard configuration; average over five trials | Ja | Quelle | |
| Qwen 3.8 27B | 14. Aug. 2026 | 61,70 % | - | Ja | Quelle | |
| Muse Spark 1.1 | 09. Juli 2026 | 61,50 % | Diverse software engineering | Ja | Quelle | |
| Qwen 3.7 Max | 21. Mai 2026 | 60,60 % | SWE-Pro; refined benchmark; internal agent scaffold | Ja | Quelle | |
| Laguna S 2.1 | 21. Juli 2026 | 59,40 % | public dataset mean pass@1 | Ja | Quelle | |
| MiniMax M3 | 01. Juni 2026 | 59 % | - | Ja | Quelle | |
| Fugu | 22. Juni 2026 | 59 % | Sakana Fugu product page benchmark table. | Ja | Quelle | |
| GPT 5.5 | 23. Apr. 2026 | 58,60 % | Public | Ja | Quelle | |
| GLM 5.1 | 07. Apr. 2026 | 58,40 % | - | Ja | Quelle | |
| GPT 5 Pro | 07. Aug. 2025 | 57,70 % | inferred family alias from gpt-5.4 (score=0.4083; benches=19) | Ja | Quelle | |
| GPT 5 Search API | 14. Okt. 2025 | 57,70 % | inferred family alias from gpt-5.4 (score=0.3050; benches=19) | Ja | Quelle | |
| GPT 5.4 | 05. März 2026 | 57,70 % | Public | Ja | Quelle | |
| GPT 5.3 Codex | 05. Feb. 2026 | 56,80 % | Public; xhigh reasoning | Ja | Quelle | |
| Qwen 3.6 Plus | 01. Apr. 2026 | 56,60 % | - | Ja | Quelle | |
| GPT 5.2 Codex | 18. Dez. 2025 | 56,40 % | - | Ja | Quelle | |
| MiniMax M2.7 | 18. März 2026 | 56,20 % | - | Ja | Quelle | |
| MiMo V2.5 | 23. Apr. 2026 | 56,10 % | Hugging Face evaluation result | Ja | Quelle | |
| GPT 5.2 | 11. Dez. 2025 | 55,60 % | - | Ja | Quelle |