AutomationBench
AI बेंचमार्क के परिणाम और मॉडल का प्रदर्शन
प्रकार: percentageAgents
दर्ज परिणाम
10
औसत स्कोर
31.42%
स्कोर सीमा
13.50% - 54.80%
अग्रणी मॉडल
54.80% - DeepSeek V4.1 Flash
समय के साथ स्कोर
तारीख के अनुसार दिखाए गए अलग-अलग बेंचमार्क स्कोर।
मॉडल परिणाम
| संगठन | मॉडल | रिपोर्ट किया गया | सबसे ऊँचा स्कोर | जानकारी | स्व-रिपोर्ट किया गया | स्रोत |
|---|---|---|---|---|---|---|
| DeepSeek V4.1 Flash | 10 सित॰ 2026 | 54.80% | Instruct model; reasoning_effort=100; Pass@1 | हाँ | स्रोत | |
| Gemini 4 Carbon | 28 अक्टू॰ 2026 | 53.90% | Google-reported launch evaluation; Zapier; source chart: https://storage.googleapis.com/gweb-uniblog-publish-prod/images/gemini_4_carbon__evals-table.original.png; methodology: deepmind.google/models/evals-methodology/gemini-4-carbon | हाँ | स्रोत | |
| Gemini 4 Argon | 13 अक्टू॰ 2026 | 51.30% | Google-reported launch evaluation; source chart: https://storage.googleapis.com/gweb-uniblog-publish-prod/original_images/gemini-4-argon_table_blog.gif | हाँ | स्रोत | |
| Kimi K3 | 16 जुल॰ 2026 | 30.80% | 600-task public subset; otherwise follows the official GitHub setup. | हाँ | स्रोत | |
| Claude Opus 5 | 24 जुल॰ 2026 | 26% | Private held-out evaluation set; max effort | हाँ | स्रोत | |
| DeepSeek V4 Flash 0731 | 31 जुल॰ 2026 | 25.10% | Public subset; DeepSeek-V4-Flash-0731 | हाँ | स्रोत | |
| Claude Fable 5 | 09 जून 2026 | 17.40% | Higher of Mythos 5 / Fable 5 in Anthropic's launch table | हाँ | स्रोत | |
| Claude Mythos 5 | 09 जून 2026 | 17.40% | Higher of Mythos 5 / Fable 5 in Anthropic's launch table | हाँ | स्रोत | |
| Claude Sonnet 5 | 30 जून 2026 | 13.50% | Zapier leaderboard private held-out tasks; max effort | हाँ | स्रोत |
