AutomationBench

Name: AutomationBench
Keywords: AutomationBench, AIベンチマーク, モデル評価, AIベンチマークランキング, AIモデルの性能

AIベンチマーク結果とモデルの性能

種類: percentageAgents

31.42%

13.50% - 54.80%

54.80% - DeepSeek V4.1 Flash

スコアの推移

日付ごとの個別ベンチマークスコアです。

モデル結果

組織	モデル	報告日	最高スコア	情報	自己申告	出典
DeepSeek	DeepSeek V4.1 Flash	2026年9月10日	54.80%	Instruct model; reasoning_effort=100; Pass@1	はい	出典
Google	Gemini 4 Carbon	2026年10月28日	53.90%	Google-reported launch evaluation; Zapier; source chart: https://storage.googleapis.com/gweb-uniblog-publish-prod/images/gemini_4_carbon__evals-table.original.png; methodology: deepmind.google/models/evals-methodology/gemini-4-carbon	はい	出典
Google	Gemini 4 Argon	2026年10月13日	51.30%	Google-reported launch evaluation; source chart: https://storage.googleapis.com/gweb-uniblog-publish-prod/original_images/gemini-4-argon_table_blog.gif	はい	出典
Moonshot	Kimi K3	2026年7月16日	30.80%	600-task public subset; otherwise follows the official GitHub setup.	はい	出典
Anthropic	Claude Opus 5	2026年7月24日	26%	Private held-out evaluation set; max effort	はい	出典
DeepSeek	DeepSeek V4 Flash 0731	2026年7月31日	25.10%	Public subset; DeepSeek-V4-Flash-0731	はい	出典
Anthropic	Claude Fable 5	2026年6月09日	17.40%	Higher of Mythos 5 / Fable 5 in Anthropic's launch table	はい	出典
Anthropic	Claude Mythos 5	2026年6月09日	17.40%	Higher of Mythos 5 / Fable 5 in Anthropic's launch table	はい	出典
Anthropic	Claude Sonnet 5	2026年6月30日	13.50%	Zapier leaderboard private held-out tasks; max effort	はい	出典

公開データの正確性にご協力ください