MMLU
Resultados de benchmarks de IA e desempenho dos modelos
Tipo: percentage
Resultados registrados
140
Pontuação média
78.55%
Faixa de pontuação
41.90% - 90.80%
Modelo líder
90.80% - GPT 4.5 Preview
Pontuações ao longo do tempo
Pontuações individuais do benchmark exibidas por data.
Resultados de modelos
| Organização | Modelos | Data informada | Maior pontuação | Informações | Declarado pelo provedor | Fonte |
|---|---|---|---|---|---|---|
| GPT 4.5 Preview | 27 de fev. de 2025 | 90,80% | - | Sim | Fonte | |
| o1 preview | 12 de set. de 2024 | 90,80% | - | Sim | Fonte | |
| Qwen 3 VL 235B A22B Thinking | - | 90,60% | - | Sim | - | |
| GPT OSS 120b | 05 de ago. de 2025 | 90% | High Reasoning Effort | Sim | Fonte | |
| GPT OSS Safeguard 120b | 29 de out. de 2025 | 90% | inferred high-confidence family alias from gpt-oss-120b (score=0.5102; benches=7) | Sim | Fonte | |
| LongCat Flash Chat | - | 89,71% | inferred high-confidence family alias from longcat-flash-chat (score=0.4667; benches=16) | Sim | Fonte | |
| Kimi K2 (2025-09-05) | 05 de set. de 2025 | 89,50% | EM | Sim | Fonte | |
| Gemini 2.5 Pro Preview (2025-06-05) | 05 de jun. de 2025 | 89,20% | - | Sim | Fonte | |
| Qwen 3 VL 235B A22B Instruct | - | 88,80% | - | Sim | - | |
| GPT 4o (2024-05-13) | 13 de mai. de 2024 | 88,70% | - | Sim | Fonte | |
| Qwen 3 VL 32B Thinking | - | 88,70% | - | Sim | - | |
| Gemini 2.5 Pro Preview (2025-05-06) | 06 de mai. de 2025 | 88,60% | Lite | Sim | Fonte | |
| DeepSeek OCR | 20 de out. de 2025 | 88,50% | inferred family alias from deepseek-v3 (score=0.3000; benches=20) | Sim | Fonte | |
| DeepSeek V2 (2024-06-28) | 28 de jun. de 2024 | 88,50% | inferred family alias from deepseek-v3 (score=0.4159; benches=20) | Sim | Fonte | |
| DeepSeek V4 | - | 88,50% | inferred high-confidence family alias from deepseek-v3 (score=0.5818; benches=20) | Sim | Fonte | |
| Gemini 2.0 Flash | 05 de fev. de 2025 | 88,40% | Lite | Sim | Fonte | |
| Gemini 2.5 Flash Preview (2025-04-17) | 17 de abr. de 2025 | 88,40% | Lite | Sim | Fonte | |
| Gemini 2.5 Flash Preview (2025-05-20) | 20 de mai. de 2025 | 88,40% | Lite | Sim | Fonte | |
| Qwen 3 235B A22B | - | 87,81% | - | Sim | Fonte | |
| Kimi K2 (2025-07-11) | 11 de jul. de 2025 | 87,80% | EM | Sim | Fonte | |
| Qwen 3 VL 30B A3B Thinking | - | 87,60% | - | Sim | - | |
| Grok 2 | 13 de ago. de 2024 | 87,50% | - | Sim | Fonte | |
| Kimi K1.5 | 20 de jan. de 2025 | 87,40% | - | Sim | Fonte | |
| o3 mini | 30 de jan. de 2025 | 86,90% | - | Sim | Fonte | |
| GPT 4 Turbo Preview (1106) | 06 de nov. de 2023 | 86,50% | inferred version-family alias from gpt-4-turbo-2024-04-09 | Sim | Fonte |
