IA en production : les pièges de la gestion des quotas LLM
Une étude expérimentale sur les quotas partagés, les files d’attente et les réponses qui parviennent trop tard.
Une requête peut consommer une ressource, produire un résultat correct et échouer du point de vue du client. Le fournisseur a terminé son travail, mais la réponse arrive après l’échéance. Cette dissociation entre opération exécutée et service rendu devient décisive lorsque plusieurs instances d’une application partagent une même capacité d’inférence.
Dans l’architecture étudiée par Alien6, des pods Kubernetes reçoivent les demandes, appellent un fournisseur commun et transmettent ses réponses. Multiplier les pods augmente les possibilités de traitement de l’application ; cela n’augmente pas nécessairement le budget disponible en aval. Une régulation peut tenir correctement les comptes de ce budget tout en organisant mal l’attente. C’est précisément ce que montrent nos mesures : sous quota, la réservation globale testée réduit fortement le nombre de réponses reçues à temps.
La limite commune derrière les réplicas
Le dispositif utilise un fournisseur émulé, qui applique un quota, attend une durée définie et renvoie un résultat vérifiable, sans générer de texte. Cette simplification permet d’examiner séparément la capacité des pods et celle de leur dépendance. Une réponse n’est comptée comme utile que si elle est correcte, porte le statut HTTP 200 et parvient au client dans les deux secondes suivant son arrivée programmée.
Nombre d’instances, quota et réponses reçues à temps
Nous avons comparé l’envoi direct à une réservation préalable du quota, sous des arrivées de Poisson à intensité constante. Les lignes relient les moyennes de trois essais ; les petits points montrent chaque essai.
Réponses utiles/s (fenêtre d’arrivées de 10 s)
Instances de l’application
À huit instances, nous mesurons 170,73 réponses utiles/s sans quota contraignant, 25,47 sous quota et 9,17 avec réservation préalable.
Lire les valeurs numériques
| Instances de l’application | Envoi direct, sans quota contraignant | Envoi direct, quota partagé | Réservation préalable, quota partagé |
|---|---|---|---|
| 1 | 18,8720,30 / 18,10 / 18,20 | 19,6020,40 / 18,20 / 20,20 | 17,6719,10 / 20,10 / 13,80 |
| 2 | 39,6341,10 / 36,40 / 41,40 | 25,2024,10 / 25,70 / 25,80 | 14,7013,70 / 14,70 / 15,70 |
| 4 | 76,2777,60 / 71,80 / 79,40 | 25,1025,20 / 25,40 / 24,70 | 12,9714,80 / 12,30 / 11,80 |
| 8 | 170,73175,70 / 169,10 / 167,40 | 25,4726,10 / 24,90 / 25,40 | 9,176,90 / 11,00 / 9,60 |
Une réponse utile est correcte, porte le statut HTTP 200 et atteint le client dans les deux secondes suivant son arrivée programmée. Trois répétitions par condition, avec un fournisseur émulé : ce débit de cohorte ne mesure pas une capacité durable de production et ses unités ne sont pas des tokens de LLM.
La courbe bleue montre le comportement sans quota contraignant et sans réservation préalable : entre un et huit pods, le débit moyen passe de 18,87 à 170,73 réponses utiles par seconde. Chaque pod apporte quatre places actives ; tant que le fournisseur conserve de la marge, cette capacité locale supplémentaire permet de traiter davantage de demandes. La courbe verte impose un budget partagé de 40 000 unités par seconde : le débit progresse d’abord, puis plafonne au voisinage de 25 réponses utiles par seconde. La courbe orangée ajoute la réservation globale ; sa dégradation appelle une autre explication que le seul plafond du fournisseur.
L’ordre de grandeur du plateau découle du coût des appels. Chacun consomme aléatoirement 1 000 ou 2 200 unités, avec une probabilité égale, soit une moyenne théorique de 1 600 unités. Le rapport 40 000 / 1 600 donne environ 25 appels par seconde. Ces unités appartiennent à la simulation ; elles ne sont pas des tokens mesurés sur un LLM. Le calcul explique le voisinage du plateau, sans constituer un débit exact pour chaque fenêtre expérimentale ni une capacité durable de production.
Ce résultat illustre une limite classique de l’élasticité : ajouter des consommateurs ne relève pas la capacité de la ressource qu’ils partagent. Le nombre de pods ne suffit donc pas à expliquer le service rendu ; il faut aussi examiner les décisions qui précèdent l’appel au fournisseur.
Quand la réservation aggrave la situation
La réservation préalable répond à un problème légitime. Plusieurs instances doivent se partager un quota sans dépenser plusieurs fois la même capacité. Le registre atomique utilisé dans l’expérience réserve le budget avant l’appel, puis convertit la réservation en consommation sans second débit. Cette comptabilité est vérifiée. Elle ne décide cependant pas si une demande autorisée conserve assez de temps pour terminer utilement.
Le quota de consommation par fenêtre d’une seconde ne fixe pas directement le nombre d’appels simultanés. Les places actives du worker bornent, elles, les demandes prises en charge, y compris celles qui attendent encore une réservation. Dans la politique testée, cette attente occupe déjà l’une des quatre places du pod. Derrière elles, une file bornée de 32 demandes accumule du retard. Une demande immobilise ainsi une place sans progresser chez le fournisseur, tandis que les suivantes vieillissent. Aucun ordonnancement ne vérifie si le temps restant permet encore d’achever le traitement.
Ce choix apparaît dans le début de la boucle de l’instrument effectivement mesuré. Cet extrait contigu commence après l’acquisition d’une place : elle est marquée active avant la demande de réservation et reste occupée pendant l’attente en cas de refus.
self.active += 1
row['admission_started'] = time.monotonic()
while time.monotonic() < deadline:
reservation = None
if item['policy'] == 'global':
key = str(uuid.uuid5(uuid.NAMESPACE_URL, item['trial_id'] + item['id'] + str(len(row['admission_attempts']))))
code, permission = await request(self.provider + '/reserve', {
'reservation': key, 'tokens': item['tokens'],
'ttl': min(.25, max(0, deadline - time.monotonic()))}, timeout=5)
row['admission_attempts'].append({'at': time.monotonic(), 'status': code, 'permission': permission})
if not permission.get('allowed'):
await asyncio.sleep(min(permission.get('retry_after', .01) + .001, max(0, deadline - time.monotonic())))
continueQuota utilisé et réponses reçues dans les deux secondes
Nous avons compté les demandes qui ont consommé du quota dans l’API simulée et celles qui ont donné une réponse utile à temps. Nous comparons huit instances, le même quota et trois essais : 5 279 demandes programmées par politique.
Envoi direct
764 réponses utiles ; 0 demandes ayant consommé du quota sans réponse utile à temps.
Réservation préalable
275 réponses utiles ; 487 demandes ayant consommé du quota sans réponse utile à temps.
Demandes ayant consommé du quota, cumulées sur trois essais
Avec la réservation préalable, 487 demandes sur 762 (63,9 %) ont consommé du quota sans réponse utile dans le délai.
Nous prenons comme dénominateur les demandes qui ont consommé du quota, pas toutes les arrivées. Ces demandes n’ont pas nécessairement commencé après expiration. Nous examinons la politique testée, avec quatre places actives par instance et une file bornée.
À huit pods, sous le même quota de 40 000 unités par seconde, le débit utile moyen passe de 25,47 réponses par seconde sans réservation à 9,17 avec réservation. Les deux politiques reçoivent les mêmes 5 279 arrivées programmées, cumulées sur trois répétitions. Sans réservation préalable, 764 demandes consomment du quota et produisent une réponse utile. Avec réservation, 762 consomment du quota, mais seulement 275 produisent une réponse utile avant l’échéance.
Les 487 autres représentent 63,9 % des 762 demandes ayant consommé du quota, et non 63,9 % de toutes les arrivées. Le nombre d’opérations consommatrices reste voisin, alors que les réponses utiles deviennent beaucoup moins nombreuses. Cette proportion ne mesure ni une part des unités consommées ni un taux d’erreur HTTP du fournisseur. Elle rapproche une consommation effectivement réalisée du résultat reçu par le client.
Une réservation valide atteste qu’une dépense est autorisée ; elle ne garantit pas que cette dépense produira encore le service attendu. Même un HTTP 200 correct reçu du fournisseur ne répare pas une échéance déjà dépassée. Les 487 appels n’ont donc pas nécessairement tous commencé après expiration : le délai peut être franchi pendant leur parcours. La baisse observée concerne cette organisation précise de l’attente, avec ses places occupées et son absence de vérification de faisabilité temporelle. Elle ne condamne pas toute réservation globale.
Ce qu’apporte l’expérience Qwen
Une seconde campagne apporte un complément sur une véritable inférence Qwen, exécutée avec Ollama sur CPU pour classer des statuts HTTP en courtes étiquettes JSON. Elle ne reproduit pas la réservation bloquante de l’émulateur : elle limite à K=1 le nombre de générations simultanément engagées, sans quota artificiel de consommation contraignant. Lorsqu’aucun permis n’est disponible, l’appel est refusé immédiatement, sans file supplémentaire ni nouvelle tentative. Le permis reste occupé jusqu’à la terminaison native réussie, même après expiration du client. Cette expiration ne prouve donc pas l’arrêt du calcul distant.
Les douze comparaisons appariées, soit 24 essais, opposent cette politique à l’envoi sans limite commune, avec un ou huit pods et deux charges. Chaque paire reçoit les mêmes demandes aux mêmes instants. Le plafond est respecté, mais les réponses utiles diminuent dans onze paires et augmentent dans une seule. À huit pods sous forte charge, les trois répétitions passent respectivement de 0 à 17 réponses utiles sur 71 arrivées, de 26 à 14 sur 64, puis de 35 à 13 sur 44. L’effet change de sens entre répétitions.
Ces douze paires couvrent quatre configurations, répétées trois fois chacune. Le décompte onze contre une décrit les observations ; ce n’est pas un test de significativité sur douze répétitions indépendantes d’un effet unique. K=1 est issu d’une règle de calibration, sans optimalité établie ni garantie de respecter les dix secondes du client. La politique change à la fois la concurrence et le rejet : elle n’isole pas l’effet de la coordination. Les douze paires complètes restent exploratoires, avec tous les refus dans le dénominateur.
Les enseignements architecturaux
L’instrumentation doit relier la demande programmée, son entrée et sa sortie de file, l’autorisation, la consommation chez le fournisseur, la terminaison native et la réception client. Ces événements répondent à des questions différentes. Une place active n’atteste pas une inférence en cours ; une consommation n’atteste pas une réponse utile ; un timeout client n’atteste pas une capacité libérée. Les rapprocher par identifiant, en distinguant leurs domaines d’horloge, permet de localiser l’attente et le travail encore engagé. Additionner les p95 de plusieurs étapes ne reconstituerait pas un parcours représentatif.
Le temps restant doit également traverser les appels. La documentation gRPC sur les échéances décrit cette propagation, automatique ou à activer selon le langage. Elle distingue aussi l’expiration de l’appel de l’arrêt des activités déclenchées pour le servir : le traitement doit coopérer avec l’annulation. Cette référence situe le contrat temporel ; gRPC n’a pas été comparé expérimentalement ici. Dans un chemin d’inférence, il faut observer séparément la décision de ne plus attendre et la preuve que le fournisseur a effectivement terminé.
Le résultat architectural concerne l’organisation de l’attente, au-delà de l’intégrité du compteur. Déplacer l’attente hors des places actives, sélectionner selon le délai restant ou adapter la concurrence sont des pistes à évaluer, dont cette étude ne démontre pas l’efficacité. Leur comparaison devrait conserver les mêmes arrivées, ressources et échéances, et compter les refus comme les expirations. Le critère de décision demeure le service reçu à temps, mis en regard de la consommation et du travail encore engagé, sans déduire une politique universelle du résultat négatif d’une politique précise.
Méthode et preuves
La campagne émulée comprend 72 essais, avec trois répétitions par condition ; les figures retiennent les arrivées régulières, des cohortes de dix secondes et une échéance de deux secondes. Le débit utile suit les arrivées jusqu’à leur échéance, puis divise les réponses utiles par la durée de la cohorte. La campagne Qwen utilise des cohortes de 335 secondes et une échéance de dix secondes ; ses 24 essais passent les contrôles archivés de collecte et de terminaison native. Une réponse utile est correcte, HTTP 200 et reçue à temps ; toutes les arrivées prévues restent au dénominateur. Ces essais courts ou limités à une classification sur CPU, avec trois répétitions par condition, ne constituent pas un dimensionnement de production.
Le protocole, les résultats, les limites de validité, le registre des affirmations étayées et l’analyse complète de l’émulateur permettent de vérifier les mesures sans relancer d’expérimentation.