SWE Bench Multilingual
AI बेंचमार्क के परिणाम और मॉडल का प्रदर्शन
प्रकार: percentageCode
दर्ज परिणाम
35
औसत स्कोर
67.61%
स्कोर सीमा
39.33% - 89.50%
अग्रणी मॉडल
89.50% - Claude Opus 5
समय के साथ स्कोर
तारीख के अनुसार दिखाए गए अलग-अलग बेंचमार्क स्कोर।
मॉडल परिणाम
| संगठन | मॉडल | रिपोर्ट किया गया | सबसे ऊँचा स्कोर | जानकारी | स्व-रिपोर्ट किया गया | स्रोत |
|---|---|---|---|---|---|---|
| Claude Opus 5 | 24 जुल॰ 2026 | 89.50% | 300 problems across 9 programming languages; adaptive thinking at max effort; average of 5 trials | हाँ | स्रोत | |
| Claude Mythos Preview | 07 अप्रैल 2026 | 87.30% | - | हाँ | स्रोत | |
| Claude Opus 4.7 | 16 अप्रैल 2026 | 80.50% | - | हाँ | स्रोत | |
| Laguna S 2.1 | 21 जुल॰ 2026 | 78.50% | mean pass@1 | हाँ | स्रोत | |
| Qwen 3.7 Max | 21 मई 2026 | 78.30% | Internal agent scaffold | हाँ | स्रोत | |
| Claude Sonnet 5 | 30 जून 2026 | 78.30% | SWE-bench Multilingual; standard configuration; average over five trials | हाँ | स्रोत | |
| Beam | 05 अक्टू॰ 2026 | 78% | Reflection-reported launch score. Source row: SWEBench Multilingual. Accessed 2026-10-05T22:51:12.456Z. Harness, reasoning effort, sampling and trial count are not specified per row. Not independently reproduced. | हाँ | स्रोत | |
| Claude Opus 4.6 | 05 फ़र॰ 2026 | 77.83% | - | हाँ | स्रोत | |
| MiniMax M2.7 | 18 मार्च 2026 | 76.50% | - | हाँ | स्रोत | |
| Claude Opus 4.5 | 24 नव॰ 2025 | 76.20% | Avg@5 | हाँ | स्रोत | |
| Claude Sonnet 4.6 | 17 फ़र॰ 2026 | 75.90% | - | हाँ | स्रोत | |
| Qwen 3.6 Plus | 01 अप्रैल 2026 | 73.80% | - | हाँ | स्रोत | |
| Kimi K2.5 | 27 जन॰ 2026 | 73% | - | हाँ | स्रोत | |
| MiniMax M2.1 | 23 दिस॰ 2025 | 72.50% | Outperforms Claude Sonnet 4.5 (68%) and DeepSeek V3.2 (70.2%) | हाँ | स्रोत | |
| Seed 2.0 Pro | 14 फ़र॰ 2026 | 71.70% | Seed2 official benchmark table | SWE Multilingual | हाँ | स्रोत | |
| MiMo V2 Flash | 16 दिस॰ 2025 | 71.70% | - | हाँ | स्रोत | |
| MiMo V2 Pro | 18 मार्च 2026 | 71.70% | - | हाँ | स्रोत | |
| MiMo V2 TTS (Free) | 18 मार्च 2026 | 71.70% | inferred modality/version alias from mimo-v2-pro | हाँ | स्रोत | |
| Qwen 3.5 397B A17B | 16 फ़र॰ 2026 | 69.30% | - | हाँ | स्रोत | |
| GLM 4.7 | 22 दिस॰ 2025 | 66.70% | - | हाँ | स्रोत | |
| Seed 2.0 Lite | 14 फ़र॰ 2026 | 64.40% | Seed2 official benchmark table | SWE Multilingual | हाँ | स्रोत | |
| Laguna XS 2.1 | 02 जुल॰ 2026 | 63.10% | mean pass@1 | हाँ | स्रोत | |
| Kimi K2 Thinking | 06 नव॰ 2025 | 61.10% | inferred alias from kimi-k2-thinking-0905 | हाँ | स्रोत | |
| DeepSeek OCR 2 | - | 57.90% | inferred family alias from deepseek-v3.2-exp (score=0.3809; benches=14) | हाँ | स्रोत | |
| DeepSeek V3.2 Exp | 29 सित॰ 2025 | 57.90% | - | हाँ | स्रोत |
