Prompt Engineering vs Fine-Tuning : quelle stratégie choisir
Partir du prompting, utiliser le RAG pour les sources évolutives et fine-tuner un écart de comportement mesuré : critères de décision, sources et évaluation reproductible.
Choisissez le prompt engineering lorsqu’un modèle existant sait accomplir la tâche avec des instructions et exemples clairs. Utilisez le RAG pour des réponses fondées sur des sources récentes, privées ou traçables. Testez le fine-tuning lorsqu’un écart de comportement stable subsiste, que des données représentatives sont disponibles et qu’une évaluation indépendante montre un gain utile de qualité, de latence ou de coût. Les trois approches peuvent se combiner.
La décision dépend du problème à corriger. Une procédure introuvable, une sortie JSON irrégulière et une inférence coûteuse demandent des diagnostics différents, même lorsque l’utilisateur les décrit comme une mauvaise réponse.
Le cadre de décision
Trois dimensions structurent le choix :
- Stabilité du domaine : à quelle fréquence les connaissances sources et les règles métier évoluent-elles ?
- Préparation des données : disposez-vous de cas correctement annotés et représentatifs, séparés entre entraînement et acceptation ?
- Contraintes d’exploitation : quelles exigences de qualité, latence, coût, confidentialité et contrôle des accès faut-il respecter ?
Les critères d’acceptation se définissent avant le choix de méthode. Le jeu de test reste à l’écart des itérations de prompt et d’entraînement, et comprend les cas qui exigent une abstention ou une validation humaine.
Quand le prompt engineering suffit
Le prompting constitue une base pertinente lorsque le modèle possède déjà la capacité nécessaire et que l’écart concerne surtout les instructions, le contexte ou la structure de sortie. Commencez par une description versionnée de la tâche, des exemples explicites et un contrat de sortie.
Il n’existe pas de pourcentage universel de qualité atteignable par prompting, ni de nombre d’exemples qui imposerait automatiquement le fine-tuning. Les tokens du prompt ont également un coût d’inférence. La comparaison doit porter sur la tâche réelle.
Une instruction ne fournit pas, à elle seule, une procédure d’entreprise à jour, un accès vérifié aux documents privés ou une référence factuelle fiable. Lorsque la tâche l’exige, il faut fournir des sources autorisées et évaluer la réponse par rapport à ces sources.
Quand fine-tuner
Le fine-tuning mérite une expérimentation lorsqu’un comportement répété et stable reste difficile à obtenir : terminologie, routage, style de sortie contraint ou exécution régulière d’une tâche.
La qualité et la couverture des exemples comptent davantage qu’une promesse générique sur le volume de données. L’acceptation doit porter sur des cas distincts, y compris les catégories difficiles. La confidentialité dépend de l’hébergement et du traitement des données, pas du seul fait de fine-tuner.
Un exemple d’entraînement au format conversationnel pour un routage simple peut s’écrire :
training_example = {
"messages": [
{"role": "system", "content": "Classify the request. Return JSON with one label: billing, support, sales, or abstain."},
{"role": "user", "content": "I cannot sign in after resetting my password."},
{"role": "assistant", "content": '{"label":"support"}'},
]
}Le format exact dépend de la chaîne d’entraînement retenue. Cet exemple décrit un cas annoté ; il ne lance pas d’entraînement et ne fixe pas le volume nécessaire.
Résultats datés : ce que montrent les travaux publiés
| Étude et date | Résultat rapporté | Périmètre de la preuve |
|---|---|---|
| LoRA, révision d’octobre 2021 | Jusqu’à 10 000 fois moins de paramètres entraînables et trois fois moins de mémoire GPU dans la comparaison GPT-3 175B décrite | Adaptation économe en paramètres ; pas un gain universel de latence ou de qualité |
| InstructGPT, mars 2022 | Les évaluateurs préfèrent les sorties du modèle 1,3B à celles de GPT-3 175B sur la distribution de prompts de l’étude | Combinaison d’adaptation supervisée et de retours humains ; pas une preuve que le fine-tuning supervisé seul gagne toujours |
| QLoRA, mai 2023 | Fine-tuning d’un modèle 65B sur un GPU de 48 Go dans la configuration décrite | Faisabilité mémoire de cette méthode ; pas une promesse de dimensionnement ou de durée d’entraînement |
Ces résultats motivent une expérimentation contrôlée. Ils ne prédisent pas le résultat sur vos données, vos annotations ou votre matériel.
Quand utiliser le RAG plutôt que le fine-tuning
| Besoin | Fine-tuning | RAG |
|---|---|---|
| Style ou comportement répété | Peut adapter le modèle | Fournit surtout un contexte ; les instructions restent nécessaires |
| Sources factuelles évolutives | Demande un processus de mise à jour ; fraîcheur non automatique | Les sources évoluent dans le pipeline documentaire |
| Grand corpus propriétaire | L’entraînement ne constitue pas un système d’accès documentaire | Recherche et sélection du contexte sont sa fonction centrale |
| Traçabilité des sources | Ne fournit pas intrinsèquement de citations | Peut fournir des références, dont il faut vérifier l’usage |
| Évolution des droits | Les poids du modèle n’appliquent pas les permissions documentaires | La recherche peut appliquer des droits vérifiés si elle est conçue pour cela |
La distinction pratique consiste à adapter le comportement par l’entraînement lorsqu’il est justifié, et à fournir les connaissances factuelles changeantes par une recherche contrôlée. Aucune de ces approches ne garantit l’exactitude.
Un exemple d’évaluation reproductible
Le jeu synthétique valide produit 3/3 sorties conformes au schéma et 3/3 labels corrects. Un second jeu contient du texte brut au lieu de JSON, un label erroné et un label non autorisé : il produit 1/3 sorties conformes et 0/3 labels corrects.
Reproduction vérifiée le 12 novembre 2026. Ce sont des contrôles de l’évaluateur, pas les sorties d’un modèle prompté ou fine-tuné. Ils montrent que conformité de format et exactitude de la tâche sont deux mesures distinctes.
Pour une comparaison réelle, exportez les sorties du prompt de référence et du candidat dans un fichier JSON :
{
"cases": [{"id": "q1", "expected": "support"}],
"runs": {
"prompt-v1": {"q1": "{\"label\":\"support\"}"},
"candidate-v1": {"q1": "{\"label\":\"support\"}"}
}
}Utilisez les mêmes cas tenus à l’écart pour les deux méthodes. Mesurez séparément latence et coût sur les vrais appels, conservez les révisions des modèles et des prompts, et publiez la taille de l’échantillon ainsi que les erreurs par catégorie. Ces contrôles ne mesurent ni la fidélité aux sources, ni la sûreté, ni la qualité des réponses ouvertes.
Matrice de coûts comparative
| Stratégie | Travail initial | Coûts d’inférence à mesurer | Maintenance |
|---|---|---|---|
| Prompting | Spécification, exemples, évaluation | Modèle, tokens d’entrée/sortie, reprises | Prompt et non-régression |
| RAG | Ingestion, recherche, droits, évaluation | Recherche, re-ranking, contexte et génération | Corpus, index et droits |
| Modèle fine-tuné hébergé | Préparation des données, entraînement, évaluation | Usage du modèle et éventuels coûts d’hébergement | Données, versions et non-régression |
| Modèle fine-tuné auto-hébergé | Entraînement et plateforme de service | Capacité réservée, utilisation et exploitation | Modèle et infrastructure |
Comparez le coût d’une tâche terminée à un niveau de qualité acceptable. Un modèle plus petit peut coûter moins cher, mais l’entraînement, la capacité inutilisée, les reprises et le travail d’ingénierie peuvent modifier le bilan.
La stratégie combinée
Un système peut associer prompts, recherche et modèle adapté. Introduisez chaque composant pour corriger un échec mesuré : établir la base de prompting, ajouter la recherche autorisée pour les sources, puis tester l’adaptation d’un écart stable restant.
La livraison doit s’appuyer sur une évaluation et un retour arrière préparé. Il reste aussi à vérifier combien de demandes le système pourra traiter : notre article sur les pièges de la gestion des quotas LLM explique pourquoi ajouter des ressources ne suffit pas toujours. L’offre Alien6 d’architecture et d’accompagnement IA couvre le cadrage, l’évaluation et l’implémentation de la stratégie retenue.