Confabulations
AIベンチマーク結果とモデルの性能
種類: numerical
記録された結果
61
平均スコア
18.79
スコアの範囲
10.34 - 40.26
最上位モデル（最低スコア）
10.34 - GPT 5
スコアの推移
日付ごとの個別ベンチマークスコアです。
モデル結果
| 組織 | モデル | 報告日 | 最高スコア | 情報 | 自己申告 | 出典 |
|---|---|---|---|---|---|---|
| GPT 5 | 2025年8月07日 | 10.34 | Medium reasoning; Confab 10.9%; non-response 9.8% | いいえ | 出典 | |
| Gemini 2.5 Pro Preview (2025-05-06) | 2025年5月06日 | 10.62 | Confab 5.9%; non-response 15.3% | いいえ | 出典 | |
| Gemini 2.5 Pro Experimental (2025-03-25) | 2025年3月25日 | 10.80 | 2025-03-25; Confab 4.0%; non-response 17.6% | いいえ | 出典 | |
| GLM 4.5 | 2025年7月28日 | 11.30 | Confab 7.9%; non-response 14.7% | いいえ | 出典 | |
| o1 | 2024年12月17日 | 11.74 | Medium reasoning; Confab 10.9%; non-response 12.6% | いいえ | 出典 | |
| Qwen 3 30B A3B | - | 12.28 | Confab 12.9%; non-response 11.7% | いいえ | 出典 | |
| Grok 4 | 2025年7月10日 | 12.41 | Confab 4.0%; non-response 20.9% | いいえ | 出典 | |
| Gemini 2.0 Flash Thinking Exp (2025-01-21) | 2025年1月21日 | 12.43 | Confab 14.9%; non-response 10.0% | いいえ | 出典 | |
| DeepSeek R1 | - | 12.65 | Confab 17.3%; non-response 8.0% | いいえ | 出典 | |
| o1 preview | 2024年9月12日 | 13.04 | Confab 18.3%; non-response 7.8% | いいえ | 出典 | |
| GPT 5 Mini | 2025年8月07日 | 13.28 | Medium reasoning; Confab 21.8%; non-response 4.8% | いいえ | 出典 | |
| Gemini 1.5 Pro 002 | 2024年9月24日 | 13.54 | Confab 16.8%; non-response 10.2% | いいえ | 出典 | |
| GPT 4.5 Preview | 2025年2月27日 | 13.64 | Confab 11.9%; non-response 15.4% | いいえ | 出典 | |
| Grok 3 Mini Beta | 2025年2月19日 | 14.04 | Low reasoning; Confab 10.9%; non-response 17.2% | いいえ | 出典 | |
| Grok 3 Beta | 2025年2月19日 | 14.19 | No reasoning; Confab 17.8%; non-response 10.6% | いいえ | 出典 | |
| o3 Pro | 2025年6月10日 | 14.22 | Medium reasoning; Confab 23.4%; non-response 5.1% | いいえ | 出典 | |
| o3 | 2025年4月16日 | 14.38 | High reasoning; Confab 24.8%; non-response 4.0% | いいえ | 出典 | |
| DeepSeek R1 (2025-05-28) | 2025年5月28日 | 14.56 | Confab 12.9%; non-response 16.2% | いいえ | 出典 | |
| Claude Sonnet 4 | 2025年5月21日 | 14.85 | No reasoning; Confab 5.4%; non-response 24.2% | いいえ | 出典 | |
| GPT 4o (2024-08-06) | 2024年8月06日 | 15.34 | Confab 22.3%; non-response 8.4% | いいえ | 出典 | |
| QwQ 32B | - | 15.57 | 16K; Confab 25.2%; non-response 5.9% | いいえ | 出典 | |
| Qwen 3 235B A22B | - | 15.61 | Confab 23.3%; non-response 8.0% | いいえ | 出典 | |
| GPT OSS 120b | 2025年8月05日 | 15.65 | Medium reasoning; Confab 23.3%; non-response 8.0% | いいえ | 出典 | |
| o4 Mini | 2025年4月16日 | 15.79 | High reasoning; Confab 26.7%; non-response 4.8% | いいえ | 出典 | |
| Ernie 4.5 300B A47B | - | 15.97 | Confab 25.2%; non-response 6.7% | いいえ | 出典 |
