SWE Bench Pro
AI बेंचमार्क के परिणाम और मॉडल का प्रदर्शन
प्रकार: percentage
दर्ज परिणाम
40
औसत स्कोर
58.65%
स्कोर सीमा
46% - 80.30%
अग्रणी मॉडल
80.30% - Claude Fable 5
समय के साथ स्कोर
तारीख के अनुसार दिखाए गए अलग-अलग बेंचमार्क स्कोर।
मॉडल परिणाम
| संगठन | मॉडल | रिपोर्ट किया गया | सबसे ऊँचा स्कोर | जानकारी | स्व-रिपोर्ट किया गया | स्रोत |
|---|---|---|---|---|---|---|
| Claude Fable 5 | 09 जून 2026 | 80.30% | Higher of Mythos 5 / Fable 5 in Anthropic's launch table | हाँ | स्रोत | |
| Claude Mythos 5 | 09 जून 2026 | 80.30% | Higher of Mythos 5 / Fable 5 in Anthropic's launch table | हाँ | स्रोत | |
| Claude Opus 5 | 24 जुल॰ 2026 | 79.20% | Adaptive thinking at max effort; default sampling settings; average of 5 trials | हाँ | स्रोत | |
| Claude Mythos Preview | 07 अप्रैल 2026 | 77.80% | - | हाँ | स्रोत | |
| Fugu Ultra | 22 जून 2026 | 73.70% | Sakana Fugu product page benchmark table. | हाँ | स्रोत | |
| Claude Opus 4.8 | 28 मई 2026 | 69.20% | Max effort; avg 5 trials | हाँ | स्रोत | |
| Claude Opus 4.7 | 16 अप्रैल 2026 | 64.30% | - | हाँ | स्रोत | |
| Claude Sonnet 5 | 30 जून 2026 | 63.20% | SWE-bench Pro; standard configuration; average over five trials | हाँ | स्रोत | |
| Qwen 3.8 27B | 14 अग॰ 2026 | 61.70% | - | हाँ | स्रोत | |
| Muse Spark 1.1 | 09 जुल॰ 2026 | 61.50% | Diverse software engineering | हाँ | स्रोत | |
| Qwen 3.7 Max | 21 मई 2026 | 60.60% | SWE-Pro; refined benchmark; internal agent scaffold | हाँ | स्रोत | |
| Laguna S 2.1 | 21 जुल॰ 2026 | 59.40% | public dataset mean pass@1 | हाँ | स्रोत | |
| MiniMax M3 | 01 जून 2026 | 59% | - | हाँ | स्रोत | |
| Fugu | 22 जून 2026 | 59% | Sakana Fugu product page benchmark table. | हाँ | स्रोत | |
| GPT 5.5 | 23 अप्रैल 2026 | 58.60% | Public | हाँ | स्रोत | |
| GLM 5.1 | 07 अप्रैल 2026 | 58.40% | - | हाँ | स्रोत | |
| GPT 5 Pro | 07 अग॰ 2025 | 57.70% | inferred family alias from gpt-5.4 (score=0.4083; benches=19) | हाँ | स्रोत | |
| GPT 5 Search API | 14 अक्टू॰ 2025 | 57.70% | inferred family alias from gpt-5.4 (score=0.3050; benches=19) | हाँ | स्रोत | |
| GPT 5.4 | 05 मार्च 2026 | 57.70% | Public | हाँ | स्रोत | |
| GPT 5.3 Codex | 05 फ़र॰ 2026 | 56.80% | Public; xhigh reasoning | हाँ | स्रोत | |
| Qwen 3.6 Plus | 01 अप्रैल 2026 | 56.60% | - | हाँ | स्रोत | |
| GPT 5.2 Codex | 18 दिस॰ 2025 | 56.40% | - | हाँ | स्रोत | |
| MiniMax M2.7 | 18 मार्च 2026 | 56.20% | - | हाँ | स्रोत | |
| MiMo V2.5 | 23 अप्रैल 2026 | 56.10% | Hugging Face evaluation result | हाँ | स्रोत | |
| GPT 5.2 | 11 दिस॰ 2025 | 55.60% | - | हाँ | स्रोत |