Qu'est-ce qu'un Compound AI System ?

Un Compound AI System (système d'IA composé) est une architecture qui combine plusieurs composants — modèles de langage, modules de recherche, outils logiciels, bases de données, code déterministe — pour accomplir une tâche que chaque composant seul ne pourrait pas réaliser avec la même qualité. Le concept a été formalisé par des chercheurs du Berkeley AI Research (BAIR) lab début 2024, en réaction à la tendance dominante du "tout-LLM".

L'argument contre le modèle unique

L'approche naïve de l'IA générative consiste à envoyer une question à un LLM et à lui faire confiance pour la réponse. Cette approche atteint rapidement ses limites :

• Le LLM ne dispose pas de données à jour (ses connaissances s'arrêtent à sa date d'entraînement).
• Il ne peut pas effectuer de calculs fiables (les opérations arithmétiques complexes génèrent des erreurs).
• Il ne peut pas interroger des systèmes externes (bases de données, APIs).
• Il hallucine quand l'information lui manque.

Plutôt que d'attendre un modèle hypothétique qui résoudrait tous ces problèmes, l'approche Compound AI Systems propose d'assembler des composants spécialisés, chacun excellent dans son domaine.

Anatomie d'un Compound AI System

Un système composé typique comprend plusieurs couches :

Le LLM comme raisonneur. Le modèle de langage joue le rôle de moteur de raisonnement et de génération de texte. Il comprend les intentions de l'utilisateur, planifie les étapes nécessaires et formule les réponses. Mais il ne fait pas tout seul.

Le retriever. Un module de recherche sémantique ou un système RAG fournit au LLM des informations contextuelles tirées de documents, de bases vectorielles ou de knowledge graphs. Le retriever comble le manque de connaissances à jour du modèle.

Les outils (tools). Des fonctions logicielles que le LLM peut appeler : calculatrice, interpréteur de code, client API, requêteur SQL. Ces outils apportent des capacités déterministes là où le LLM serait approximatif.

Les guardrails. Des mécanismes de contrôle en entrée et en sortie qui vérifient la conformité, filtrent les contenus inappropriés et valident la cohérence factuelle (grounding).

L'orchestrateur. Un composant qui coordonne l'ensemble : il décide quel composant appeler, dans quel ordre, et comment combiner les résultats. L'orchestrateur peut être un simple script, un graphe d'exécution (comme LangGraph) ou un agent IA autonome.

Exemples concrets

Un assistant de recherche juridique. L'utilisateur pose une question sur la conformité d'un contrat. L'orchestrateur (1) envoie la question au retriever pour trouver les articles de loi pertinents, (2) transmet ces articles et la question au LLM pour analyse, (3) passe la réponse par un guardrail de vérification factuelle, (4) formate le résultat avec des citations sourcées.

Un système de reporting financier. L'utilisateur demande "Quelle est l'évolution de notre marge brute ce trimestre ?". L'orchestrateur (1) traduit la question en requête SQL via le LLM, (2) exécute la requête sur la base de données, (3) passe les résultats au LLM pour analyse et commentaire, (4) génère un graphique via un outil de visualisation.

Un pipeline RAG avancé. Le système combine recherche sémantique (embeddings), reranking (un modèle spécialisé reclasse les résultats par pertinence), et génération augmentée — trois composants distincts, chacun optimisable indépendamment.

Pourquoi c'est mieux qu'un seul modèle

Optimisation composant par composant. Chaque pièce du système peut être améliorée indépendamment. Le retriever peut passer d'une recherche vectorielle simple à un GraphRAG sans modifier le LLM. Le LLM peut être remplacé par un modèle plus performant sans toucher au reste.

Contrôle et explicabilité. Les étapes intermédiaires sont observables : quels documents ont été récupérés ? Quels outils ont été appelés ? Quelles vérifications ont été faites ? Cette traçabilité facilite le débogage et la conformité réglementaire (AI Act).

Coût maîtrisé. On peut utiliser un modèle léger et économique pour le routage ou la classification, et un modèle puissant uniquement quand le raisonnement complexe est nécessaire.

Fiabilité accrue. Les composants déterministes (calculatrice, SQL) éliminent les approximations du LLM dans les domaines où la précision est requise.

Compound AI Systems et IA agentique

Les agents IA sont une forme de Compound AI System où le LLM joue le rôle d'orchestrateur, décidant dynamiquement quels outils appeler et dans quel ordre. La distinction principale : dans un Compound AI System statique, le flux d'exécution est prédéfini (un graphe fixe) ; dans un système agentique, le LLM détermine le flux à l'exécution en fonction du contexte.

Les architectures multi-agents, où plusieurs agents spécialisés collaborent via des protocoles comme le A2A, représentent l'extension naturelle de cette approche vers des systèmes distribués.

Outillage et frameworks

Plusieurs frameworks facilitent la construction de Compound AI Systems : LangChain et LlamaIndex pour l'assemblage de pipelines RAG, LangGraph et CrewAI pour l'orchestration de flux complexes, DSPy (Stanford) pour l'optimisation automatique des prompts dans un pipeline multi-étapes.