Qu'est-ce qu'un LLM (Large Language Model) ?

Un LLM (Large Language Model), ou grand modèle de langage, est un réseau de neurones entraîné sur des quantités massives de texte — livres, articles, pages web, code source — pour apprendre les structures statistiques du langage. Une fois entraîné, un LLM peut générer du texte, répondre à des questions, résumer des documents, traduire, écrire du code et réaliser un large spectre de tâches linguistiques.

Architecture et fonctionnement

Les LLM modernes reposent sur l'architecture Transformer, introduite par Google en 2017 dans l'article "Attention Is All You Need". Le mécanisme central est l'attention : pour chaque mot (ou token) d'une séquence, le modèle calcule l'importance relative de tous les autres tokens. C'est ce qui lui permet de capturer des relations de sens à longue distance dans un texte.

L'entraînement d'un LLM se déroule en deux phases principales :

Le pré-entraînement (pre-training). Le modèle apprend à prédire le mot suivant dans une séquence, sur des corpus contenant des centaines de milliards de tokens. Cette phase nécessite des milliers de GPU pendant plusieurs semaines et représente un investissement de plusieurs dizaines de millions de dollars pour les modèles les plus grands. C'est pendant cette phase que le modèle acquiert sa compréhension du langage, ses connaissances factuelles et ses capacités de raisonnement.

L'alignement (fine-tuning + RLHF). Le modèle pré-entraîné est ensuite affiné pour suivre des instructions et produire des réponses utiles et sûres. Cette étape utilise des techniques comme le RLHF (Reinforcement Learning from Human Feedback) où des annotateurs humains évaluent et classent les réponses du modèle. C'est l'alignement qui transforme un modèle de prédiction de texte brut en un assistant conversationnel.

La taille compte — mais pas seulement

Le terme "Large" dans LLM fait référence au nombre de paramètres du modèle. GPT-3, sorti en 2020, comptait 175 milliards de paramètres. Les modèles actuels atteignent plusieurs centaines de milliards, voire plus d'un trillion de paramètres pour les architectures MoE (Mixture of Experts).

Mais la course aux paramètres n'est pas le seul facteur de performance. Les recherches récentes montrent que la qualité des données d'entraînement, la durée du pré-entraînement et les techniques d'alignement comptent autant, sinon plus. Le modèle Llama 3 de Meta, avec 70 milliards de paramètres, rivalise avec des modèles bien plus grands grâce à un entraînement plus long sur des données mieux filtrées. Mistral, startup française, a démontré qu'un modèle de 7 milliards de paramètres pouvait surpasser des modèles dix fois plus grands sur certaines tâches.

Capacités émergentes

Un phénomène marquant des LLM est l'émergence de capacités qui n'ont pas été explicitement programmées. Au-delà d'un certain seuil de taille et de données, les modèles développent des aptitudes inattendues : raisonnement multi-étapes, résolution de problèmes mathématiques, compréhension de l'ironie, génération de code fonctionnel. Ces capacités émergentes sont ce qui distingue les LLM des modèles de langage classiques.

Limites connues

Les LLM présentent des limites qu'il faut comprendre pour les utiliser efficacement :

• Les hallucinations. Un LLM peut générer des informations factuellement fausses avec un ton parfaitement assuré. C'est un problème structurel lié à la nature probabiliste du modèle, qui prédit des séquences de tokens plausibles plutôt que des faits vérifiés.
• La fenêtre de contexte. Chaque LLM a une capacité limitée de tokens qu'il peut traiter en une seule requête. Les modèles récents offrent des fenêtres de 100 000 à 1 million de tokens, mais la qualité d'attention se dégrade souvent sur les très longs contextes.
• Les connaissances figées. Un LLM ne sait que ce qu'il a appris pendant l'entraînement. Pour accéder à des informations récentes ou à des données propriétaires, il faut des techniques comme le RAG (Retrieval-Augmented Generation).
• Les biais. Les LLM reproduisent et parfois amplifient les biais présents dans leurs données d'entraînement.

L'écosystème des LLM en 2025-2026

Le marché se structure autour de plusieurs catégories :

• Modèles propriétaires : GPT-4o et o1 (OpenAI), Claude (Anthropic), Gemini (Google DeepMind). Accessibles via API, ils offrent les meilleures performances sur les benchmarks généralistes.
• Modèles open-source/open-weight : Llama (Meta), Mistral (Mistral AI), Qwen (Alibaba), Command R (Cohere). Ils permettent un déploiement on-premise et un contrôle total des données.
• Modèles spécialisés : des modèles fine-tunés pour le code (StarCoder, CodeLlama), la médecine, le juridique ou d'autres domaines.

Cette diversité donne aux entreprises un véritable choix architectural. Les approches d'IA agentique, qui combinent plusieurs LLM avec des outils externes via des protocoles comme MCP, représentent la direction actuelle du marché.