Qu'est-ce que l'évaluation IA (evals) ?

L'évaluation IA (souvent abrégée en "evals") regroupe les pratiques qui permettent de répondre à une question simple mais difficile : est-ce que mon système d'IA fait bien son travail ? Pour les modèles de machine learning classiques, des métriques établies existent (precision, recall, F1-score). Pour les LLM, la question est plus complexe car les sorties sont du texte libre, et la notion de "bonne réponse" est souvent subjective.

Pourquoi l'évaluation des LLM est un défi spécifique

Un modèle de classification renvoie une étiquette parmi un ensemble fixe : on peut comparer directement à la vérité terrain. Un LLM produit du texte en langage naturel, avec une infinité de formulations possibles pour une même réponse correcte. "Paris est la capitale de la France", "La capitale française est Paris" et "C'est Paris qui sert de capitale à la France" sont trois réponses équivalentes mais textuellement différentes.

Cette non-déterminisme rend les approches d'évaluation traditionnelles insuffisantes. L'évaluation IA pour les LLM a dû inventer de nouveaux paradigmes.

Les trois piliers de l'évaluation

1. Les benchmarks standardisés

Les benchmarks mesurent les capacités générales d'un modèle sur des jeux de tests publics. Parmi les plus utilisés :

• MMLU (Massive Multitask Language Understanding) : 57 domaines de connaissances, du droit à la biologie.
• HumanEval : évaluation de la capacité à générer du code fonctionnel.
• GSM8K : raisonnement mathématique sur des problèmes de niveau collège.
• TruthfulQA : mesure la tendance du modèle à générer des affirmations fausses mais plausibles.
• MTEB (Massive Text Embedding Benchmark) : compare la qualité des modèles d'embedding.

Les benchmarks sont utiles pour comparer des modèles entre eux, mais insuffisants pour évaluer un système en production. Un modèle qui excelle sur MMLU peut échouer sur les cas d'usage spécifiques d'une entreprise.

2. Les évaluations automatisées (LLM-as-a-judge)

L'approche "LLM-as-a-judge" utilise un LLM pour évaluer les réponses d'un autre LLM (ou du même modèle). On fournit au modèle juge la question, la réponse générée, éventuellement les sources et les critères d'évaluation, et on lui demande de noter la réponse.

Cette méthode, popularisée par des travaux de recherche en 2023-2024, est devenue un standard de l'industrie. Elle permet d'évaluer des milliers de réponses à faible coût, avec une corrélation raisonnable aux jugements humains quand les critères sont bien définis.

Les critères courants :

• Pertinence : la réponse répond-elle à la question posée ?
• Fidélité (faithfulness) : la réponse est-elle cohérente avec les sources fournies ?
• Complétude : la réponse couvre-t-elle tous les aspects de la question ?
• Concision : la réponse évite-t-elle le remplissage inutile ?
• Ton et style : la réponse respecte-t-elle les consignes de communication ?

3. Les évaluations humaines

Malgré les progrès des evals automatisées, l'évaluation humaine reste le gold standard pour les aspects qualitatifs : le ton est-il naturel ? La réponse inspire-t-elle confiance ? Le raisonnement est-il convaincant ?

Les évaluations humaines sont coûteuses et lentes, donc réservées à un échantillon représentatif. On les combine typiquement avec des evals automatisées : les evals auto couvrent 100 % du trafic, les evals humaines valident un échantillon pour calibrer les evals auto.

Métriques spécifiques au RAG

Les systèmes RAG introduisent des métriques d'évaluation supplémentaires, car la qualité dépend à la fois de la récupération des documents et de la génération de la réponse :

• Context Precision : les documents récupérés sont-ils pertinents pour la question ?
• Context Recall : a-t-on récupéré tous les documents nécessaires ?
• Faithfulness : la réponse générée est-elle fidèle aux documents récupérés (pas d'hallucination) ?
• Answer Relevancy : la réponse répond-elle effectivement à la question ?

Des frameworks comme RAGAS et DeepEval automatisent le calcul de ces métriques et s'intègrent dans les pipelines de LLMOps.

L'évaluation en pratique

Pour un AI Product Manager ou une équipe d'ingénierie, mettre en place une stratégie d'évaluation implique :

1. Définir les critères : qu'est-ce qu'une "bonne réponse" pour ce cas d'usage spécifique ?

2. Construire un jeu de test : un ensemble de questions avec des réponses de référence (gold standard), représentatif des cas d'usage réels.

3. Automatiser les evals : intégrer les évaluations dans le pipeline CI/CD pour détecter les régressions à chaque changement de prompt ou de configuration.

4. Monitorer en production : collecter le feedback utilisateur et les métriques de qualité en continu.

5. Itérer : les critères d'évaluation évoluent avec les retours terrain.

L'évaluation n'est pas une étape finale, c'est un processus continu qui s'intègre dans le cycle de vie LLMOps. Sans évaluation rigoureuse, déployer un LLM en production revient à naviguer sans instruments.