Skip to main content
← ArticlesRead in English
·Alien6 Research

Stratégie d'embeddings pour les systèmes RAG avancés

Concevoir une stratégie d’embeddings à partir de mesures : recherche dense et lexicale, re-ranking, résultats sourcés et exemple reproductible de fusion.

RAGEmbeddingsArchitecture

Une stratégie d’embeddings se conçoit à partir des questions, des documents pertinents et des contraintes d’accès. Comparez une base lexicale, une recherche dense et une configuration hybride sur le même jeu tenu à l’écart du réglage. Ajoutez un re-ranking si le gain de pertinence justifie sa latence, puis choisissez dimensions et hébergement selon la qualité mesurée, la mémoire et les coûts d’exploitation.

Cette décision engage l’architecture : changer de modèle implique généralement de reconstruire les vecteurs documentaires et de gérer la compatibilité avec l’encodeur des requêtes. Le protocole d’évaluation compte donc autant que le premier choix de modèle.

Dense vs Sparse : deux philosophies de représentation

Les embeddings denses représentent les textes par des vecteurs de taille fixe. La fonction de similarité et la normalisation dépendent du modèle. Ils peuvent rapprocher des formulations différentes, mais les identifiants exacts et le vocabulaire spécialisé restent à évaluer.

La recherche lexicale et les représentations sparse conservent une information liée aux termes. BM25 est une méthode de classement lexical ; des modèles tels que SPLADE apprennent des représentations pondérées du vocabulaire. Ces approches méritent une place dans l’évaluation des références produit, noms propres et codes techniques.

BGE-M3, décrit en 2024, réunit des modes dense, sparse et multi-vecteurs. C’est une possibilité d’architecture à tester, pas une raison de les déployer systématiquement ensemble.

Bi-encodeurs vs Cross-encodeurs

Un bi-encodeur encode séparément la requête et le document : les vecteurs des documents peuvent être précalculés. La recherche conserve un coût. Un parcours exact dépend du nombre de vecteurs et de leur dimension ; un index approximatif arbitre entre rappel, latence et mémoire. Ce n’est pas, en général, une opération en O(1).

Un cross-encodeur évalue conjointement la requête et le passage. L’appliquer à K candidats demande de scorer ces K paires, avec un coût lié au modèle et à la longueur des séquences. Le schéma courant associe une recherche de candidats à un re-ranking éventuel ; le gain de pertinence doit être vérifié sur le domaine.

Un exemple hybride reproductible

La Reciprocal Rank Fusion combine des classements sans supposer que les scores lexicaux et denses ont la même échelle. L’article SIGIR 2009 décrit la somme des contributions 1 / (k + rang) et évalue une constante de 60.

Les entrées fixées dans cet exemple sont :

dense :   semantic, reference, other
lexical : reference, exact, semantic

Le résultat est reference, semantic, exact, other. Les deux premiers scores de fusion valent 0,032522 et 0,032266, arrondis à six décimales.

Reproduction vérifiée le 12 novembre 2026. Ce jeu synthétique contrôle le calcul de fusion. Il n’exécute aucun modèle et ne démontre aucun gain de qualité de recherche. Pour comparer des configurations, exportez leurs classements sur les mêmes questions de validation, puis mesurez la pertinence et la latence de la fusion.

ColBERT : l’interaction tardive

ColBERT, publié en 2020, conserve des représentations au niveau des tokens et les combine lors de la recherche. Son score MaxSim s’écrit :

Score(Q, D) = somme sur qi du maximum sur dj de (qi · dj)

Cette représentation conserve davantage d’interactions qu’un vecteur documentaire unique, avec des coûts d’indexation et de service supplémentaires. L’intérêt dépend de votre profondeur de recherche et de votre objectif de qualité.

Adaptation au domaine

Un modèle généraliste peut rencontrer des difficultés sur un vocabulaire spécialisé. Il faut d’abord les mesurer. Les options comprennent l’apprentissage contrastif sur des paires requête/document annotées, l’adaptation au domaine et une évolution de l’architecture de recherche.

La Matryoshka Representation Learning, introduite en 2022, permet d’exploiter plusieurs dimensions avec des modèles entraînés pour cela. Tronquer un modèle non prévu à cet effet ou appliquer une PCA constitue une autre expérience.

Résultats de benchmarks datés et limites de comparaison

Les chiffres suivants sont ceux publiés par OpenAI le 25 janvier 2024 dans son annonce des modèles d’embeddings. Ce sont des résultats historiques déclarés par le fournisseur, pas un classement actuel ni une comparaison de coûts.

ModèleMoyenne MIRACL publiéeMoyenne MTEB publiée
text-embedding-ada-00231,461,0
text-embedding-3-small44,062,3
text-embedding-3-large54,964,6

Le papier MTEB, révision de mars 2023, couvre plusieurs familles de tâches et ne trouve pas de méthode dominante partout. Sa moyenne globale ne mesure donc pas directement la qualité de recherche sur vos documents. BEIR, révision d’octobre 2021, donne également des raisons de comparer recherche lexicale, re-ranking et interaction tardive, au-delà des seuls modèles denses.

Recommandations pratiques

  1. Construire un jeu d’acceptation annoté. Inclure paraphrases, références exactes, langues utilisées, questions sans réponse et périmètres d’accès. Séparer le réglage de l’acceptation.
  2. Comparer les coûts complets. Une inférence locale mobilise du calcul, de la mémoire et de l’exploitation ; une API hébergée entraîne des coûts d’usage et d’intégration.
  3. Faire varier un levier à la fois. Conserver corpus, découpage, filtres et évaluation pour comparer les encodeurs ; tester ensuite la fusion ou le re-ranking.
  4. Mesurer par langue. Un résultat agrégé peut masquer un échec sur les langues réellement employées dans l’organisation.
  5. Préparer la migration d’index. Consigner modèle, révision, prétraitements et dimensions ; reconstruire, valider et prévoir le retour arrière avant la bascule.

Les embeddings aident à retrouver les passages utiles. Encore faut-il que ces passages soient transmis au modèle et utilisés dans sa réponse : notre article sur les limites d’un bon score de recherche suit ce qui peut se perdre entre ces étapes. L’offre Alien6 d’architecture IA et de mise en production permet de cadrer le travail d’évaluation puis d’implémentation.