IA en production : réduire les pertes d’information dans les systèmes RAG
Une étude expérimentale sur la sélection documentaire et l’optimisation du contexte transmis aux modèles de langage.
Dans un système RAG, une information peut être correctement retrouvée sans jamais parvenir au modèle de langage. Le moteur de recherche fournit des passages candidats ; l’application en retient une partie pour respecter son budget documentaire. Cette opération d’assemblage détermine ce que le modèle pourra effectivement lire. Une étude Alien6 montre qu’en modifiant la sélection, à plafond constant, il est possible de réduire nettement les pertes de phrases annotées derrière BM25. Le même bénéfice n’est pas démontré avec la recherche dense, et l’amélioration des réponses reste à établir. L’enjeu architectural se situe dans cette articulation entre récupération, sélection et génération.
L’assemblage, un point de perte mesurable
Les expériences s’appuient sur HotpotQA, publié par Yang et ses coauteurs. Chaque question en anglais dispose de dix paragraphes, découpés en passages de trois phrases au maximum. BM25, fondé sur les correspondances lexicales, ou une recherche dense, fondée sur des représentations numériques des textes, en retient dix. Des annotations identifient les phrases de référence et permettent de suivre leur présence dans le contexte transmis. Elles servent à mesurer les pertes, sans être accessibles aux politiques qui choisissent le contenu.
Le diagnostic du budget documentaire, sur 256 questions, fait apparaître une perte après la recherche. BM25 retrouve toutes les phrases annotées pour 228 questions, mais l’assemblage classique ne les conserve intégralement que dans 148 contextes à 512 tokens. Pour 80 questions, l’information annotée est donc disponible parmi les candidats, puis partiellement écartée. Porter le budget à 1 536 tokens permet d’atteindre 228 contextes complets, sans changer le classement. Avec la recherche dense, les comptes passent de 220 à 249 sur les mêmes 256 questions.
Ce que le budget laisse parvenir au modèle
Les deux budgets utilisent le même classement de passages pour chacune des 256 questions. Chaque barre compte les contextes qui conservent toutes les phrases annotées.
Mesure : toutes les phrases annotées transmises, sur 256 questions.
Recherche par mots (BM25)
- 512 tokens de contexte
- 1536 tokens de contexte
Recherche dense
- 512 tokens de contexte
- 1536 tokens de contexte
Questions conservant toutes les phrases annotées ; maximum : 256.
Lire les différences appariées et leur incertitude
Les écarts de proportions sont calculés sur les mêmes questions, en points de pourcentage. Les intervalles sont simultanés à 95 % dans la famille de comparaisons déclarée ; les valeurs p sont corrigées par Holm.
| Recherche | Comparaison | Écart | Intervalle simultané (pp) | p corrigé |
|---|---|---|---|---|
| Recherche par mots (BM25) | 512 tokens de contexte → 1536 tokens de contexte | +31,3 pp | [+24,2 ; +38,7] | < 0,001 |
| Recherche dense | 512 tokens de contexte → 1536 tokens de contexte | +11,3 pp | [+6,6 ; +16,4] | < 0,001 |
Étude du budget : 256 questions, dix paragraphes fournis par question, puis dix passages retrouvés et une sélection suivant le classement. Les deux budgets sont comparés sur les mêmes questions, séparément pour chaque recherche.
La présence des phrases annotées mesure leur conservation textuelle. Ces annotations ne recensent pas toutes les preuves possibles et leur présence ne suffit pas à établir la justesse d’une réponse.
Cette séparation entre éléments retrouvés et éléments transmis rend le diagnostic plus précis. Une mauvaise réponse ne signifie pas nécessairement que la recherche a échoué. Sur le sous-ensemble fixé de 128 questions de génération, BM25 passe également de 60 à 80 correspondances lexicales exactes. Agrandir le contexte peut donc changer les réponses, mais cette mesure lexicale ne suffit pas à conclure sur leur correction factuelle ni sur l’intérêt économique d’un budget supérieur.
Sélectionner plus finement sous un même plafond
La comparaison des stratégies d’assemblage porte sur 256 autres questions, séparées des précédentes par leurs identifiants et les titres de leurs documents supports. Son propre sous-ensemble de génération contient 128 questions. Ces cohortes ne sont pas additionnées. Pour chaque question et chaque moteur, quatre politiques disposent exactement des mêmes dix passages candidats et d’un plafond de 512 tokens.
La politique A conserve des passages entiers selon leur classement. B garde cette unité, mais pénalise la ressemblance avec les passages déjà retenus. C sélectionne des phrases originales dans l’ordre hérité du classement et du texte source, sans nouveau classement sémantique. D travaille sur ces mêmes phrases, en combinant un score question–phrase calculé par cosinus d’embeddings et une pénalité de redondance. Aucun texte n’est réécrit, et les réponses attendues ne participent jamais à la sélection.
Cette dernière règle reprend le principe de Maximal Marginal Relevance, proposé par Carbonell et Goldstein : équilibrer pertinence et nouveauté par rapport aux éléments déjà choisis. Les poids sont ici égaux et fixés par le protocole. D ajoute simultanément une pertinence calculée à l’échelle de la phrase et une pénalité de redondance ; l’expérience ne mesure donc pas l’effet de MMR isolément.
Le changement de granularité ouvre des possibilités que les passages entiers ne permettent pas : conserver une phrase utile sans embarquer toutes ses voisines, ou intégrer une unité courte dans l’espace restant. Le plafond inclut titres, identifiants et séparateurs. Il est identique, mais son utilisation varie : avec BM25, A transmet en moyenne 479,4 tokens, contre 502,3 pour D. Le test compare ainsi des contenus et des degrés de remplissage différents sous une même contrainte.
Avec BM25, A conserve toutes les annotations dans 136 contextes sur 256, contre 203 pour D. Le gain de 26,17 points de pourcentage est statistiquement établi après correction des huit comparaisons prévues ; l’intervalle simultané à 95 % va de +17,58 à +35,45 points. Ce solde de 67 contextes supplémentaires recouvre 79 gains individuels et 12 pertes. Les politiques B et C, qui atteignent respectivement 126 et 146 contextes complets, ne démontrent pas de gain face à A.
Quatre politiques face aux mêmes passages
À 512 tokens, les quatre politiques reçoivent les mêmes dix passages retrouvés pour chacune des 256 nouvelles questions. Les deux méthodes de recherche restent séparées.
Mesure : toutes les phrases annotées transmises, sur 256 questions.
Avec BM25 : de 136 à 203 contextes sur 256 conservant toutes les phrases annotées, soit +26,17 points.
Recherche par mots (BM25)
- A · Passages classés
- B · MMR sur les passages
- C · Phrases, ordre hérité
- D · Phrases, question et MMR
Recherche dense
- A · Passages classés
- B · MMR sur les passages
- C · Phrases, ordre hérité
- D · Phrases, question et MMR
Questions conservant toutes les phrases annotées ; maximum : 256.
Lire les différences appariées et leur incertitude
Les écarts de proportions sont calculés sur les mêmes questions, en points de pourcentage. Les intervalles sont simultanés à 95 % dans la famille de comparaisons déclarée ; les valeurs p sont corrigées par Holm.
| Recherche | Comparaison | Écart | Intervalle simultané (pp) | p corrigé |
|---|---|---|---|---|
| Recherche par mots (BM25) | A · Passages classés → B · MMR sur les passages | -3,9 pp | [-9,0 ; +1,2] | 0,320 |
| Recherche par mots (BM25) | A · Passages classés → C · Phrases, ordre hérité | +3,9 pp | [-0,8 ; +8,6] | 0,248 |
| Recherche par mots (BM25) | C · Phrases, ordre hérité → D · Phrases, question et MMR | +22,3 pp | [+13,7 ; +30,9] | < 0,001 |
| Recherche par mots (BM25) | A · Passages classés → D · Phrases, question et MMR | +26,2 pp | [+17,6 ; +35,5] | < 0,001 |
| Recherche dense | A · Passages classés → B · MMR sur les passages | -1,6 pp | [-4,3 ; +0,8] | 0,438 |
| Recherche dense | A · Passages classés → C · Phrases, ordre hérité | +0,0 pp | [-2,7 ; +2,7] | 1,000 |
| Recherche dense | C · Phrases, ordre hérité → D · Phrases, question et MMR | -4,3 pp | [-10,9 ; +2,3] | 0,433 |
| Recherche dense | A · Passages classés → D · Phrases, question et MMR | -4,3 pp | [-10,9 ; +2,3] | 0,433 |
Étude de sélection : 256 nouvelles questions, distinctes de la cohorte du diagnostic. Le budget de 512 tokens inclut les titres, identifiants, séparateurs et textes transmis. Les quatre politiques sont présentées sans sélection selon le résultat.
La présence des phrases annotées mesure leur conservation textuelle. Ces annotations ne recensent pas toutes les preuves possibles et leur présence ne suffit pas à établir la justesse d’une réponse.
Un bénéfice lié aux candidats du moteur
Dans cette cohorte, BM25 retrouve toutes les annotations pour 223 questions. A en perd une partie lors de l’assemblage dans 87 cas ; D ramène ce nombre à 20. La sélection fine réduit donc une perte précisément localisée entre les candidats et le contexte. La recherche dense présente une autre configuration : elle retrouve toutes les annotations pour 252 questions, et l’assemblage classique les conserve déjà dans 226 contextes. D en conserve 215. Ni une amélioration ni une dégradation n’est statistiquement confirmée pour cette comparaison.
Les deux moteurs produisent des ensembles et des ordres de candidats différents. La sélection de phrases intervient sur cette matière disponible, avec son propre score de proximité à la question. Elle peut écarter un passage encombrant et récupérer plusieurs éléments utiles, mais aussi abandonner une annotation auparavant conservée. La marge de progression et les arbitrages changent donc avec le moteur. Le résultat démontre l’intérêt d’une politique complète derrière BM25, sans identifier une règle universellement supérieure ni le mécanisme causal de chaque gain.
Cette intervention reste distincte des compressions apprises de RECOMP ou des opérations sur les tokens de LongLLMLingua, qui n’ont pas été testées ici. Leur attribuer ces résultats serait injustifié. Une compression qui reformule ou élague le texte demanderait aussi d’évaluer le sens conservé, au-delà de la présence intacte des phrases d’origine.
Une meilleure conservation, des réponses encore incertaines
Sur les 128 questions de génération de la comparaison à 512 tokens, BM25 obtient 62 correspondances lexicales exactes avec A et 71 avec D. L’écart de 7,03 points reste incertain après correction des comparaisons multiples : l’intervalle simultané s’étend de −0,78 à +15,63 points, avec une valeur p corrigée de 0,314. Aucune des seize comparaisons prévues sur l’accord lexical et la non-réponse ne démontre de différence au seuil retenu. Le progrès documentaire ne se prolonge donc pas en un bénéfice établi sur ces réponses.
Les annotations constituent des repères, sans recenser toutes les preuves nécessaires ou suffisantes. Leur présence ne garantit pas que le modèle les utilise correctement ; une correspondance lexicale ne garantit pas davantage la fidélité aux documents. Cette distinction entre contexte, réponse et appui documentaire traverse RAGAs et ARES. Ici, aucune validation sémantique humaine indépendante n’a encore été réalisée. Les conclusions concernent des questions anglaises d’un jeu public et un seul modèle Qwen exécuté localement, pas une diversité de services en production.
Évaluer la chaîne de traitement et ses compromis
Pour un architecte, ces résultats invitent d’abord à localiser la perte avant de remplacer un composant. Un modèle plus puissant ou de nouveaux embeddings ne corrigent pas nécessairement une information retrouvée puis écartée. Le diagnostic exige de conserver le classement des candidats, le contexte exactement transmis et la réponse obtenue. Une information absente des candidats oriente l’analyse vers la recherche ; présente parmi eux mais écartée, vers l’assemblage. Lorsqu’elle atteint le modèle, il reste à examiner son interprétation, les contradictions et la manière dont la réponse est évaluée.
Le moteur de recherche et la politique d’assemblage doivent ensuite être évalués ensemble. Une règle efficace derrière un classement peut l’être moins derrière un autre, même sous le même plafond. Sur une documentation métier, comparer ces associations avec les mêmes questions permettrait de mesurer les gains et les pertes par cas, au-delà d’une moyenne. Les douze pertes observées derrière BM25 rappellent qu’un progrès global ne suffit pas à qualifier tous les usages. Changer le contenu modifie également ses positions et les distracteurs : la conservation des annotations n’explique pas seule le comportement du générateur.
Le coût demande enfin de distinguer préparation et exécution courante. La sélection fine a nécessité 7 341 nouveaux vecteurs de phrases et 40,9 secondes d’appels API, partagées entre les politiques. Après préparation, le temps moyen de sélection BM25 passe de 3,85 millisecondes pour A à 10,14 pour D. Ces durées locales ne donnent ni un prix en euros ni une latence garantie. Elles signalent un travail supplémentaire, à rapporter aux mises à jour documentaires, aux possibilités de cache et aux contraintes du service.
L’amélioration documentaire doit être mise en regard de ce supplément et des réponses effectivement obtenues. L’absence de bénéfice établi sur ces dernières laisse le compromis ouvert. Augmenter le budget et affiner la sélection sont deux interventions à mesurer selon le corpus, le moteur et les erreurs acceptables. L’enseignement d’ingénierie est de rendre observable ce qui disparaît entre recherche et génération, puis d’évaluer séparément la conservation, la qualité des réponses et le coût de leur obtention. Les résultats détaillés et leurs limites d’interprétation permettent de situer cette décision.