Skip to main content
← ArticlesRead in English
·Alien6 Research

Prompt Engineering vs Fine-Tuning : quelle stratégie choisir

Partir du prompting, utiliser le RAG pour les sources évolutives et fine-tuner un écart de comportement mesuré : critères de décision, sources et évaluation reproductible.

LLMPrompt EngineeringFine-Tuning

Choisissez le prompt engineering lorsqu’un modèle existant sait accomplir la tâche avec des instructions et exemples clairs. Utilisez le RAG pour des réponses fondées sur des sources récentes, privées ou traçables. Testez le fine-tuning lorsqu’un écart de comportement stable subsiste, que des données représentatives sont disponibles et qu’une évaluation indépendante montre un gain utile de qualité, de latence ou de coût. Les trois approches peuvent se combiner.

La décision dépend du problème à corriger. Une procédure introuvable, une sortie JSON irrégulière et une inférence coûteuse demandent des diagnostics différents, même lorsque l’utilisateur les décrit comme une mauvaise réponse.

Le cadre de décision

Trois dimensions structurent le choix :

  1. Stabilité du domaine : à quelle fréquence les connaissances sources et les règles métier évoluent-elles ?
  2. Préparation des données : disposez-vous de cas correctement annotés et représentatifs, séparés entre entraînement et acceptation ?
  3. Contraintes d’exploitation : quelles exigences de qualité, latence, coût, confidentialité et contrôle des accès faut-il respecter ?

Les critères d’acceptation se définissent avant le choix de méthode. Le jeu de test reste à l’écart des itérations de prompt et d’entraînement, et comprend les cas qui exigent une abstention ou une validation humaine.

Quand le prompt engineering suffit

Le prompting constitue une base pertinente lorsque le modèle possède déjà la capacité nécessaire et que l’écart concerne surtout les instructions, le contexte ou la structure de sortie. Commencez par une description versionnée de la tâche, des exemples explicites et un contrat de sortie.

Il n’existe pas de pourcentage universel de qualité atteignable par prompting, ni de nombre d’exemples qui imposerait automatiquement le fine-tuning. Les tokens du prompt ont également un coût d’inférence. La comparaison doit porter sur la tâche réelle.

Une instruction ne fournit pas, à elle seule, une procédure d’entreprise à jour, un accès vérifié aux documents privés ou une référence factuelle fiable. Lorsque la tâche l’exige, il faut fournir des sources autorisées et évaluer la réponse par rapport à ces sources.

Quand fine-tuner

Le fine-tuning mérite une expérimentation lorsqu’un comportement répété et stable reste difficile à obtenir : terminologie, routage, style de sortie contraint ou exécution régulière d’une tâche.

La qualité et la couverture des exemples comptent davantage qu’une promesse générique sur le volume de données. L’acceptation doit porter sur des cas distincts, y compris les catégories difficiles. La confidentialité dépend de l’hébergement et du traitement des données, pas du seul fait de fine-tuner.

Un exemple d’entraînement au format conversationnel pour un routage simple peut s’écrire :

training_example = {
    "messages": [
        {"role": "system", "content": "Classify the request. Return JSON with one label: billing, support, sales, or abstain."},
        {"role": "user", "content": "I cannot sign in after resetting my password."},
        {"role": "assistant", "content": '{"label":"support"}'},
    ]
}

Le format exact dépend de la chaîne d’entraînement retenue. Cet exemple décrit un cas annoté ; il ne lance pas d’entraînement et ne fixe pas le volume nécessaire.

Résultats datés : ce que montrent les travaux publiés

Étude et dateRésultat rapportéPérimètre de la preuve
LoRA, révision d’octobre 2021Jusqu’à 10 000 fois moins de paramètres entraînables et trois fois moins de mémoire GPU dans la comparaison GPT-3 175B décriteAdaptation économe en paramètres ; pas un gain universel de latence ou de qualité
InstructGPT, mars 2022Les évaluateurs préfèrent les sorties du modèle 1,3B à celles de GPT-3 175B sur la distribution de prompts de l’étudeCombinaison d’adaptation supervisée et de retours humains ; pas une preuve que le fine-tuning supervisé seul gagne toujours
QLoRA, mai 2023Fine-tuning d’un modèle 65B sur un GPU de 48 Go dans la configuration décriteFaisabilité mémoire de cette méthode ; pas une promesse de dimensionnement ou de durée d’entraînement

Ces résultats motivent une expérimentation contrôlée. Ils ne prédisent pas le résultat sur vos données, vos annotations ou votre matériel.

Quand utiliser le RAG plutôt que le fine-tuning

BesoinFine-tuningRAG
Style ou comportement répétéPeut adapter le modèleFournit surtout un contexte ; les instructions restent nécessaires
Sources factuelles évolutivesDemande un processus de mise à jour ; fraîcheur non automatiqueLes sources évoluent dans le pipeline documentaire
Grand corpus propriétaireL’entraînement ne constitue pas un système d’accès documentaireRecherche et sélection du contexte sont sa fonction centrale
Traçabilité des sourcesNe fournit pas intrinsèquement de citationsPeut fournir des références, dont il faut vérifier l’usage
Évolution des droitsLes poids du modèle n’appliquent pas les permissions documentairesLa recherche peut appliquer des droits vérifiés si elle est conçue pour cela

La distinction pratique consiste à adapter le comportement par l’entraînement lorsqu’il est justifié, et à fournir les connaissances factuelles changeantes par une recherche contrôlée. Aucune de ces approches ne garantit l’exactitude.

Un exemple d’évaluation reproductible

Le jeu synthétique valide produit 3/3 sorties conformes au schéma et 3/3 labels corrects. Un second jeu contient du texte brut au lieu de JSON, un label erroné et un label non autorisé : il produit 1/3 sorties conformes et 0/3 labels corrects.

Reproduction vérifiée le 12 novembre 2026. Ce sont des contrôles de l’évaluateur, pas les sorties d’un modèle prompté ou fine-tuné. Ils montrent que conformité de format et exactitude de la tâche sont deux mesures distinctes.

Pour une comparaison réelle, exportez les sorties du prompt de référence et du candidat dans un fichier JSON :

{
  "cases": [{"id": "q1", "expected": "support"}],
  "runs": {
    "prompt-v1": {"q1": "{\"label\":\"support\"}"},
    "candidate-v1": {"q1": "{\"label\":\"support\"}"}
  }
}

Utilisez les mêmes cas tenus à l’écart pour les deux méthodes. Mesurez séparément latence et coût sur les vrais appels, conservez les révisions des modèles et des prompts, et publiez la taille de l’échantillon ainsi que les erreurs par catégorie. Ces contrôles ne mesurent ni la fidélité aux sources, ni la sûreté, ni la qualité des réponses ouvertes.

Matrice de coûts comparative

StratégieTravail initialCoûts d’inférence à mesurerMaintenance
PromptingSpécification, exemples, évaluationModèle, tokens d’entrée/sortie, reprisesPrompt et non-régression
RAGIngestion, recherche, droits, évaluationRecherche, re-ranking, contexte et générationCorpus, index et droits
Modèle fine-tuné hébergéPréparation des données, entraînement, évaluationUsage du modèle et éventuels coûts d’hébergementDonnées, versions et non-régression
Modèle fine-tuné auto-hébergéEntraînement et plateforme de serviceCapacité réservée, utilisation et exploitationModèle et infrastructure

Comparez le coût d’une tâche terminée à un niveau de qualité acceptable. Un modèle plus petit peut coûter moins cher, mais l’entraînement, la capacité inutilisée, les reprises et le travail d’ingénierie peuvent modifier le bilan.

La stratégie combinée

Un système peut associer prompts, recherche et modèle adapté. Introduisez chaque composant pour corriger un échec mesuré : établir la base de prompting, ajouter la recherche autorisée pour les sources, puis tester l’adaptation d’un écart stable restant.

La livraison doit s’appuyer sur une évaluation et un retour arrière préparé. Il reste aussi à vérifier combien de demandes le système pourra traiter : notre article sur les pièges de la gestion des quotas LLM explique pourquoi ajouter des ressources ne suffit pas toujours. L’offre Alien6 d’architecture et d’accompagnement IA couvre le cadrage, l’évaluation et l’implémentation de la stratégie retenue.