HumanEval
نتائج معايير الذكاء الاصطناعي وأداء النماذج
النوع: percentage
النتائج المسجلة
82
متوسط النقاط
82.66%
نطاق النقاط
39.70% - 92.90%
النموذج المتصدر
92.90% - Mistral Small 3.2
النقاط بمرور الوقت
نقاط المعيار الفردية معروضة حسب التاريخ.
نتائج النماذج
| المؤسسة | النماذج | تاريخ الإبلاغ | أعلى نقطة | معلومات | مُبلَّغ عنها ذاتيًا | المصدر |
|---|---|---|---|---|---|---|
| Mistral Small 3.2 | ٢٠ يونيو ٢٠٢٥ | ٩٢٫٩٠٪ | Pass@5 | نعم | المصدر | |
| o1 mini | ١٢ سبتمبر ٢٠٢٤ | ٩٢٫٤٠٪ | - | نعم | المصدر | |
| Mistral Large 2.1 | ١٨ نوفمبر ٢٠٢٤ | ٩٢٪ | inferred version-family alias from mistral-large-2-2407 | نعم | المصدر | |
| Mistral OCR 2 | ٢٢ مايو ٢٠٢٥ | ٩٢٪ | inferred family alias from mistral-large-2-2407 (score=0.3100; benches=5) | نعم | المصدر | |
| Qwen 2.5 Coder 32B Instruct | - | ٩١٫٥٠٪ | inferred high-confidence family alias from qwen2.5-vl-32b (score=0.4641; benches=28) | نعم | المصدر | |
| Qwen 2.5 VL 32B Instruct | ٢٤ مارس ٢٠٢٥ | ٩١٫٥٠٪ | - | نعم | المصدر | |
| Qwen 2.5 VL 3B Instruct | - | ٩١٫٥٠٪ | inferred high-confidence family alias from qwen2.5-vl-32b (score=0.4914; benches=28) | نعم | المصدر | |
| GPT 4o (2024-05-13) | ١٣ مايو ٢٠٢٤ | ٩٠٫٢٠٪ | - | نعم | المصدر | |
| Granite 3.0 8B Instruct | - | ٨٩٫٧٣٪ | inferred high-confidence family alias from granite-3.3-8b-instruct (score=0.4911; benches=14) | نعم | المصدر | |
| Granite 3.1 8B Instruct | - | ٨٩٫٧٣٪ | inferred high-confidence family alias from granite-3.3-8b-instruct (score=0.4911; benches=14) | نعم | المصدر | |
| Granite 3.2 8B Instruct | - | ٨٩٫٧٣٪ | inferred high-confidence family alias from granite-3.3-8b-instruct (score=0.4911; benches=14) | نعم | المصدر | |
| Granite 3.2 8B Instruct Preview | - | ٨٩٫٧٣٪ | inferred high-confidence family alias from granite-3.3-8b-instruct (score=0.4687; benches=14) | نعم | المصدر | |
| Granite 3.3 2B Instruct | ١٦ أبريل ٢٠٢٥ | ٨٩٫٧٣٪ | inferred family alias from granite-3.3-8b-instruct (score=0.3627; benches=14) | نعم | المصدر | |
| Granite 3.3 8B Instruct | ١٦ أبريل ٢٠٢٥ | ٨٩٫٧٣٪ | - | نعم | المصدر | |
| Granite Guardian 3.0 8B | - | ٨٩٫٧٣٪ | inferred family alias from granite-3.3-8b-instruct (score=0.4062; benches=14) | نعم | المصدر | |
| Granite Guardian 3.1 8B | - | ٨٩٫٧٣٪ | inferred family alias from granite-3.3-8b-instruct (score=0.4062; benches=14) | نعم | المصدر | |
| Granite Guardian 3.3 8B | - | ٨٩٫٧٣٪ | inferred high-confidence family alias from granite-3.3-8b-instruct (score=0.5071; benches=14) | نعم | المصدر | |
| Granite Speech 3.2 8B | - | ٨٩٫٧٣٪ | inferred family alias from granite-3.3-8b-instruct (score=0.4062; benches=14) | نعم | المصدر | |
| Granite Speech 3.3 8B | - | ٨٩٫٧٣٪ | inferred high-confidence family alias from granite-3.3-8b-instruct (score=0.5071; benches=14) | نعم | المصدر | |
| Gemini Diffusion | ٢٠ مايو ٢٠٢٥ | ٨٩٫٦٠٪ | Pass@1 | نعم | المصدر | |
| DeepSeek V2.5 (2024-09-05) | ٠٥ سبتمبر ٢٠٢٤ | ٨٩٪ | inferred alias from deepseek-v2.5 | نعم | المصدر | |
| DeepSeek V2.5 (2024-12-10) | ١٠ ديسمبر ٢٠٢٤ | ٨٩٪ | inferred alias from deepseek-v2.5 | نعم | المصدر | |
| Granite 4.1 30B | ٢٩ أبريل ٢٠٢٦ | ٨٨٫٤١٪ | pass@1 | نعم | المصدر | |
| LongCat Flash Chat | - | ٨٨٫٤١٪ | inferred high-confidence family alias from longcat-flash-chat (score=0.4667; benches=16) | نعم | المصدر | |
| Llama 2 70B Chat | ٢٠ يونيو ٢٠٢٣ | ٨٨٫٤٠٪ | inferred family alias from llama-3.3-70b-instruct (score=0.3129; benches=9) | نعم | المصدر |
