BIG-Bench Hard
نتائج معايير الذكاء الاصطناعي وأداء النماذج
النوع: percentageLanguage
النتائج المسجلة
28
متوسط النقاط
70.89%
نطاق النقاط
44.30% - 89.20%
النموذج المتصدر
89.20% - Gemini 1.5 Pro 001
النقاط بمرور الوقت
نقاط المعيار الفردية معروضة حسب التاريخ.
نتائج النماذج
| المؤسسة | النماذج | تاريخ الإبلاغ | أعلى نقطة | معلومات | مُبلَّغ عنها ذاتيًا | المصدر |
|---|---|---|---|---|---|---|
| Gemini 1.5 Pro 001 | ٢٣ مايو ٢٠٢٤ | ٨٩٫٢٠٪ | inferred alias from gemini-1.5-pro | نعم | المصدر | |
| Gemini 1.5 Pro Exp (2024-08-01) | ٠١ أغسطس ٢٠٢٤ | ٨٩٫٢٠٪ | inferred alias from gemini-1.5-pro | نعم | المصدر | |
| Gemini 1.5 Pro Exp (2024-08-27) | ٢٧ أغسطس ٢٠٢٤ | ٨٩٫٢٠٪ | inferred alias from gemini-1.5-pro | نعم | المصدر | |
| Gemini Robotics ER 1.5 Preview | ٢٥ سبتمبر ٢٠٢٥ | ٨٩٫٢٠٪ | inferred family alias from gemini-1.5-pro (score=0.3717; benches=23) | نعم | المصدر | |
| LearnLM 1.5 Pro Experimental | ١٩ نوفمبر ٢٠٢٤ | ٨٩٫٢٠٪ | inferred family alias from gemini-1.5-pro (score=0.3700; benches=23) | نعم | المصدر | |
| Gemini 1.5 Flash 001 | ٢٣ مايو ٢٠٢٤ | ٨٥٫٥٠٪ | inferred alias from gemini-1.5-flash | نعم | المصدر | |
| Gemini 1.5 Flash Preview | ١٤ مايو ٢٠٢٤ | ٨٥٫٥٠٪ | inferred alias from gemini-1.5-flash | نعم | المصدر | |
| Phi 3.5 MoE instruct | ٢٣ أغسطس ٢٠٢٤ | ٧٩٫١٠٪ | - | نعم | المصدر | |
| Phi 4 Mini | ٠١ فبراير ٢٠٢٥ | ٧٠٫٤٠٪ | - | نعم | المصدر | |
| Granite 3.0 8B Instruct | - | ٦٩٫١٣٪ | inferred high-confidence family alias from granite-3.3-8b-instruct (score=0.4911; benches=14) | نعم | المصدر | |
| Granite 3.1 8B Instruct | - | ٦٩٫١٣٪ | inferred high-confidence family alias from granite-3.3-8b-instruct (score=0.4911; benches=14) | نعم | المصدر | |
| Granite 3.2 8B Instruct | - | ٦٩٫١٣٪ | inferred high-confidence family alias from granite-3.3-8b-instruct (score=0.4911; benches=14) | نعم | المصدر | |
| Granite 3.2 8B Instruct Preview | - | ٦٩٫١٣٪ | inferred high-confidence family alias from granite-3.3-8b-instruct (score=0.4687; benches=14) | نعم | المصدر | |
| Granite 3.3 2B Instruct | ١٦ أبريل ٢٠٢٥ | ٦٩٫١٣٪ | inferred family alias from granite-3.3-8b-instruct (score=0.3627; benches=14) | نعم | المصدر | |
| Granite 3.3 8B Instruct | ١٦ أبريل ٢٠٢٥ | ٦٩٫١٣٪ | - | نعم | المصدر | |
| Granite Guardian 3.0 8B | - | ٦٩٫١٣٪ | inferred family alias from granite-3.3-8b-instruct (score=0.4062; benches=14) | نعم | المصدر | |
| Granite Guardian 3.1 8B | - | ٦٩٫١٣٪ | inferred family alias from granite-3.3-8b-instruct (score=0.4062; benches=14) | نعم | المصدر | |
| Granite Guardian 3.3 8B | - | ٦٩٫١٣٪ | inferred high-confidence family alias from granite-3.3-8b-instruct (score=0.5071; benches=14) | نعم | المصدر | |
| Granite Speech 3.2 8B | - | ٦٩٫١٣٪ | inferred family alias from granite-3.3-8b-instruct (score=0.4062; benches=14) | نعم | المصدر | |
| Granite Speech 3.3 8B | - | ٦٩٫١٣٪ | inferred high-confidence family alias from granite-3.3-8b-instruct (score=0.5071; benches=14) | نعم | المصدر | |
| Phi 3 Mini 128K Instruct | - | ٦٩٪ | inferred family alias from phi-3.5-mini-instruct (score=0.3533; benches=31) | نعم | المصدر | |
| Phi 3.5 mini instruct | ٢٣ أغسطس ٢٠٢٤ | ٦٩٪ | - | نعم | المصدر | |
| Granite 4.0 Micro | ٠٢ أكتوبر ٢٠٢٥ | ٥٥٫٧٠٪ | inferred high-confidence family alias from granite-4.0-tiny-preview (score=0.4700; benches=12) | نعم | المصدر | |
| Granite 4.0 Small | ٠٢ أكتوبر ٢٠٢٥ | ٥٥٫٧٠٪ | inferred high-confidence family alias from granite-4.0-tiny-preview (score=0.4700; benches=12) | نعم | المصدر | |
| Granite 4.0 Tiny | ٠٢ أكتوبر ٢٠٢٥ | ٥٥٫٧٠٪ | inferred alias from granite-4.0-tiny-preview | نعم | المصدر |
