MBPP
AI बेंचमार्क के परिणाम और मॉडल का प्रदर्शन
प्रकार: numericalGeneral
दर्ज परिणाम
34
औसत स्कोर
7.88
स्कोर सीमा
0.67 - 87.30
अग्रणी मॉडल
87.30 - Granite 4.1 8B
समय के साथ स्कोर
तारीख के अनुसार दिखाए गए अलग-अलग बेंचमार्क स्कोर।
मॉडल परिणाम
| संगठन | मॉडल | रिपोर्ट किया गया | सबसे ऊँचा स्कोर | जानकारी | स्व-रिपोर्ट किया गया | स्रोत |
|---|---|---|---|---|---|---|
| Granite 4.1 8B | 29 अप्रैल 2026 | 87.30 | pass@1 | हाँ | स्रोत | |
| Granite 4.1 30B | 29 अप्रैल 2026 | 85.45 | pass@1 | हाँ | स्रोत | |
| Granite 4.1 3B | 29 अप्रैल 2026 | 71.16 | pass@1 | हाँ | स्रोत | |
| Llama 3.3 Nemotron Super 49B v1 | 18 मार्च 2025 | 0.91 | - | हाँ | स्रोत | |
| Llama 3.3 Nemotron Super 49B V1.5 | - | 0.91 | inferred version-family alias from llama-3.3-nemotron-super-49b-v1 | हाँ | स्रोत | |
| Qwen 72B | - | 0.88 | inferred family alias from qwen-2.5-72b-instruct (score=0.3060; benches=14) | हाँ | स्रोत | |
| Llama 3.1 Nemotron Nano 4B V1.1 | - | 0.85 | inferred high-confidence family alias from llama-3.1-nemotron-nano-8b-v1 (score=0.5523; benches=7) | हाँ | स्रोत | |
| Llama 3.1 Nemotron Nano 8B V1 | 18 मार्च 2025 | 0.85 | - | हाँ | स्रोत | |
| Qwen 2.5 Coder 32B Instruct | - | 0.84 | inferred high-confidence family alias from qwen2.5-vl-32b (score=0.4641; benches=28) | हाँ | स्रोत | |
| Qwen 2.5 VL 32B Instruct | 24 मार्च 2025 | 0.84 | - | हाँ | स्रोत | |
| Qwen 2.5 VL 3B Instruct | - | 0.84 | inferred high-confidence family alias from qwen2.5-vl-32b (score=0.4914; benches=28) | हाँ | स्रोत | |
| Qwen 14B | - | 0.82 | inferred family alias from qwen-2.5-14b-instruct (score=0.3060; benches=16) | हाँ | स्रोत | |
| Qwen 3 235B A22B | - | 0.81 | - | हाँ | स्रोत | |
| Phi 3.5 MoE instruct | 23 अग॰ 2024 | 0.81 | - | हाँ | स्रोत | |
| Qwen 2 Math 72B | - | 0.80 | inferred high-confidence family alias from qwen2-72b-instruct (score=0.4667; benches=17) | हाँ | स्रोत | |
| Qwen 2 Math RM 72B | - | 0.80 | inferred family alias from qwen2-72b-instruct (score=0.3917; benches=17) | हाँ | स्रोत | |
| Qwen 7B | - | 0.79 | inferred family alias from qwen-2.5-7b-instruct (score=0.3083; benches=14) | हाँ | स्रोत | |
| Codestral (2025-07-30) | 30 जुल॰ 2025 | 0.78 | inferred version-family alias from codestral-22b | हाँ | स्रोत | |
| Codestral (2024-05-29) | 29 मई 2024 | 0.78 | inferred modality/version alias from codestral-22b | हाँ | स्रोत | |
| Codestral (2025-01-13) | 13 जन॰ 2025 | 0.78 | inferred modality/version alias from codestral-22b | हाँ | स्रोत | |
| Llama 4 Maverick | 05 अप्रैल 2025 | 0.78 | - | हाँ | स्रोत | |
| Gemini Diffusion | 20 मई 2025 | 0.76 | - | हाँ | स्रोत | |
| Qwen 2.5 Coder 3B | - | 0.73 | inferred family alias from qwen2.5-omni-7b (score=0.3000; benches=45) | हाँ | स्रोत | |
| Qwen 2.5 Coder 7B | - | 0.73 | inferred high-confidence family alias from qwen2.5-omni-7b (score=0.4700; benches=45) | हाँ | स्रोत | |
| Qwen 2.5 Math 7B | - | 0.73 | inferred high-confidence family alias from qwen2.5-omni-7b (score=0.4767; benches=45) | हाँ | स्रोत |
