Trois LLM de 7 milliards de paramètres, trois épreuves

01 · Le protocole

Mesurer la même chose pour tous

Trois modèles de 7 milliards de paramètres, servis localement par Ollama sur des GPU Kaggle : LLaMA 2 (Meta), Mistral (Mistral AI) et DeepSeek-R1 distillé dans Qwen, orienté raisonnement. Chaque réponse brute est enregistrée avec la réponse extraite, puis les métriques sont recalculées à partir de ces fichiers : les résultats se vérifient sans relancer les modèles.

Épreuve	Tâche	Protocole
GSM8K	problèmes de maths de niveau collège, 500 questions	8-shot, extraction de la réponse numérique finale
HellaSwag	choisir la fin la plus logique parmi 4, 500 questions	0-shot, le modèle renvoie un indice
HumanEval	compléter une fonction Python, 164 problèmes	0-shot, code exécuté dans un processus isolé contre les tests unitaires (pass@1)

Fig. 1 — Les questions viennent des jeux d'origine (GSM8K, HellaSwag et HumanEval, licence MIT) et les réponses affichées sont celles que les trois modèles ont réellement produites pendant mes exécutions : rien n'est rejoué ici. À vous de faire mieux.

02 · Les résultats

Aucun modèle ne gagne partout

HumanEvalcode Python, 164 problèmes, pass@1

DeepSeek-R1 7B78,0 %

Mistral 7B31,7 %

LLaMA 2 7B9,1 %

HellaSwagsens commun, 500 questions, 0-shot

DeepSeek-R1 7B51,8 %

Mistral 7B61,2 %

LLaMA 2 7B24,1 %

GSM8Kmaths, 500 questions, 8-shot

DeepSeek-R1 7B47,6 %

Mistral 7B44,0 %

LLaMA 2 7B5,0 %

Fig. 2 — Exactitude sur chaque épreuve, axe de 0 à 100 %. Le meilleur modèle de chaque épreuve est mis en évidence.

DeepSeek-R1 domine le code avec 128 problèmes résolus sur 164. Mistral est le plus fort en sens commun et offre le meilleur compromis entre précision et temps de réponse. LLaMA 2 reste loin derrière sur les trois épreuves.

03 · Sous le score

Ce qu'un pourcentage cache

Sur GSM8K, DeepSeek-R1 obtient 47,6 %. Mais son raisonnement est si long qu'il n'a produit une réponse exploitable que pour 258 questions sur 500 ; parmi elles, 92 % sont justes. Le score mélange donc deux choses très différentes : la qualité du raisonnement, excellente, et la capacité à conclure dans le format attendu, médiocre. Le tout pour un temps d'inférence environ 100 fois plus élevé que celui des deux autres modèles.

Les erreurs de code racontent la même histoire. En relisant les messages d'erreur de chaque échec :

Modèle	Échecs	Erreur la plus fréquente
DeepSeek-R1	36	`NameError` (27), dont 22 où la fonction demandée est absente du code rendu
Mistral	112	`AssertionError` (76) : le code tourne mais donne un mauvais résultat ; 17 `IndentationError`
LLaMA 2	149	`AssertionError` (90), puis `NameError` (33), dont 20 fois `List` utilisé sans import