Colonne ⑦ · Quality Flywheel
Convertir l'expérience en déterminisme
Le Flywheel ne stocke pas l'état runtime et ne déclare pas seul la qualité. Il transforme des preuves validées en contrôles plus déterministes.
AIDO est un cadre, pas un outil. Cette page décrit ce que cette colonne doit garantir. Vous l'appliquez avec vos propres outils, vos seuils et vos règles.
Vous laissez l'IA agir sur vos opérations IT ?
Lire le cycle ↓LA LEÇON QUI RESTE DANS UN DOCUMENT
Après un incident, le réflexe est de consigner la leçon : un post-mortem, une note, puis l'archive. Une leçon qui ne devient ni test, ni règle, ni gate n'a pas bouclé. L'expérience reste dans les têtes et se re-paie à chaque incident.
Quality Flywheel fait d'une preuve validée un contrôle déterministe, observé, et retiré s'il devient nuisible.
Le mécanisme · le cycle canonique
Comment une expérience devient-elle un contrôle ?
En dix temps, dans cet ordre, du signal au retrait. Rien n'est promu qui n'ait d'abord été vérifié.
- 01DETECTUn signal : Runtime Intelligence, review, test, incident ou near miss.
- 02CONTAIN / FIXStabiliser avant d'apprendre, en mode Incident.
- 03SCRIBEUne enveloppe mécanique, et un payload sémantique (le contenu) tenu pour non fiable.BOUT EN BOUT
- 04VERIFYProuver que le fix et son interprétation sont corrects.
- 05IDENTIFYUn pattern_id stable, attribué hors de la session productrice.BOUT EN BOUT
- 06ACCUMULATERendre l'entrée vérifiée consultable.
- 07CONSOLIDATERegrouper les récurrences, mesurer la sévérité.
- 08PROMOTETest, règle, gate ou automatisation, avec sa fixture.BOUT EN BOUT
- 09OBSERVEEn mode warning ou canary : faux positifs, escapes, récidives.
- 10RETIREArchiver l'entrée devenue déterministe, ou dé-promouvoir le contrôle devenu nuisible.
SCRIBE → IDENTIFY → PROMOTE : tant que ce chemin n'est pas exécuté de bout en bout sur une fixture (le cas de test tiré de l'incident), une instance ne peut se dire conforme à la colonne ⑦.
Le mécanisme · IDENTIFY
Qui décide que deux incidents sont le même problème ?
Pas le LLM qui les a racontés. Son label libre ne sert jamais de clé de comptage. L'identité d'un pattern vient de l'une de ces trois voies.
- VOIE 1Une taxonomie fermée et lintée. La liste des patterns possibles est finie, et vérifiée mécaniquement.
- VOIE 2Un fingerprint déterministe (une empreinte calculée) sur le symptôme, la cause ou la règle.
- VOIE 3Un clustering proposé par machine, puis confirmé par un humain.
TRAÇABILITÉ DE L'IDENTITÉ
Le consolidator est owner du pattern_id. Merges et splits sont journalisés.
Le mécanisme · PROMOTE
Quand une leçon doit-elle être promue, et en quoi ?
Dès qu'une de ces trois conditions est remplie.
récurrence ≥ seuilLe seuil est fixé en convention.sévérité critiqueSécurité, données ou production.mandat explicitePosé par Decision-as-Code.Convention par défaut : 3 occurrences sur 90 jours. Une seule occurrence critique peut être promue immédiatement, avec une ADR (Architecture Decision Record) et sa fixture, sans falsifier le seuil de récurrence.
LES CIBLES DE PROMOTION
- test de régression ou fitness function
- linter ou règle de schéma
- hook ou policy pre-commit / pre-push
- gate CI, admission ou runtime
- générateur ou golden path
- playbook automatisé
- principe de design
Le mécanisme · le passeport
Que doit emporter chaque promotion ?
Six éléments, sans exception. L'incident fondateur reste attaché au contrôle : la boucle est vérifiable, pas déclarative.
- Fixture
- L'incident fondateur, conservé comme cas de test.
- Owner
- Un responsable nommé du contrôle.
- Version
- Le contrôle promu est versionné.
- Mode initial
- Warning ou canary : OBSERVE mesure faux positifs, escapes et récidives.
- Review trigger
- L'événement qui rouvre l'examen du contrôle.
- Dé-promotion
- Le chemin de retour, prévu dès la promotion.
Voir un exemple : un défaut récurrent, de la détection au retrait
Un pattern sans nom ni outil, non critique, sous la convention par défaut.
- 1DETECT · FIXUne review repère un défaut. Il est corrigé et stabilisé d'abord.
- 2SCRIBE · VERIFYL'enveloppe mécanique (identité, temps, trace, mode, scope, résultat) reste séparée du payload non fiable. Le fix et son interprétation sont prouvés.
- 3IDENTIFYHors de la session productrice, un fingerprint déterministe donne un pattern_id déjà connu. Le label libre du LLM ne compte pas.
- 4CONSOLIDATEC'est la troisième occurrence de ce pattern_id en 90 jours : le seuil par défaut est atteint.
- 5PROMOTELe pattern devient une gate CI, avec son passeport complet : fixture, owner, version, review trigger, chemin de dé-promotion.
- 6OBSERVELa gate démarre en warning ; faux positifs, escapes et récidives sont mesurés.
- 7RETIREL'entrée, devenue déterministe, est archivée. Si la gate se révélait nuisible, elle serait dé-promue.
Le mécanisme · l'évaluation continue
Qui juge la qualité, et sur quoi ?
Le Flywheel ne la déclare pas seul. Elle s'évalue en continu, sur toute la chaîne.
LA CHAÎNE ÉVALUÉE
- input
- retrieval
- raisonnement
- tool-call
- output
- outcome
- feedback
Avec des assertions déterministes, des jeux de régression, une review humaine, du red teaming, du shadow ou champion-challenger, et des juges LLM calibrés.
- UN JUGE N'EST PAS UNE AUTORITÉUn juge LLM ne peut être l'unique autorité d'une action runtime à impact.
- PAS DE SEUIL UNIVERSELAucun seuil de logprobs (la probabilité que le modèle attribue à sa sortie) n'est universel sans calibration sur les outcomes de l'instance.
LES DRIFTS (DÉRIVES) SURVEILLÉS
- configuration et policy
- modèle, provider, version
- prompt et ruleset
- distribution des inputs
- retrieval, fraîcheur, index
- qualité des outcomes
- coût, latence, taux d'escalade
- architecture et conformance
Un drift ouvre une évaluation. Il ne déclenche pas automatiquement une réécriture de mémoire ou un retraining.
Les indicateurs à suivre
- taux de récidive après promotion
- escape rate des couches déterministes
- faux positifs et faux négatifs
- temps Detect → Promote
- toil humain éliminé
- entrées verified, unverified, stale
- contrôles dé-promus
- change failure rate lié aux promotions
Ce sont des indicateurs à suivre. Le cadre ne leur fixe aucune valeur cible.
Ce qu'elle produit
Que laisse la colonne derrière chaque leçon ?
01 · LE CONTRÔLE PROMU
Une règle, un test ou une gate
Une leçon validée et récurrente devient règle, test ou gate, avec l'incident fondateur comme fixture.
02 · L'OBSERVATION
Une promotion mesurée
La promotion est observée : la récidive après promotion se mesure.
03 · LE RETRAIT
Un chemin de retour
L'entrée devenue déterministe s'archive. Le contrôle devenu nuisible se dé-promeut.
Dans la boucle
Où intervient-elle dans la boucle ?
Dans la boucle canonique, Quality Flywheel tient le dernier temps : LEARN.
Les preuves validées deviennent des contrôles plus déterministes.
Les règles qui la portent
- F8LEARNING BECOMES DETERMINISTICUne leçon validée et récurrente finit en test, policy, gate, générateur ou automatisation mesurable.
- R7PREUVE AVANT LA KBUne sortie IA ne rejoint pas la KB vérifiée sans preuve.
- R15PROMOTION DE MÉMOIRESeule une mémoire validée est promue, protégée du poisoning (l'empoisonnement de la mémoire).
L'inspection · test de complétude
Qu'est devenu l'apprentissage ?
C'est la question du test de complétude. Prenez un incident récent de vos opérations. Pouvez-vous montrer, pièces à l'appui :
- 1l'entrée écrite au Scribe, et la preuve qu'elle a été vérifiée ;
- 2le pattern_id attribué, et par quelle voie ;
- 3la règle, le test ou la gate promu, avec l'incident fondateur en fixture ;
- 4son owner, sa version, son mode initial et son chemin de dé-promotion ;
- 5ce que l'observation a mesuré depuis : récidives, faux positifs, escapes.
Si vous ne pouvez pas répondre avec preuve, la colonne n'est pas encore en place. Ce n'est pas un jugement : une cartographie honnête est exactement le point de départ.
Le socle
Quelles fondations sert-elle ?
Les 8 fondations normatives et leur définition sont sur la page du temple.
Les limites font partie du contrat
Qu'est-ce que ce n'est pas ?
Quality Flywheel ne rend rien meilleur par lui-même. Il ne promeut que des preuves validées, et refuse les raccourcis suivants.
- Une sortie LLM ne se promeut jamais elle-même.
- Pas un post-mortem archivé. Une leçon qui ne devient ni test, ni règle, ni gate n'a pas bouclé.
- Pas un cliquet à sens unique. Un contrôle nuisible se dé-promeut. Une gate qu'on contourne systématiquement est une gate à dé-promouvoir, pas un humain à discipliner.
- Pas un réapprentissage automatique. Un drift ouvre une évaluation, pas une réécriture de mémoire ni un retraining.
La visite guidée
Voyons comment l'appliquer chez vous
30 minutes en visio, sur votre contexte : vos opérations, vos outils, la place de l'IA aujourd'hui, et ce que Quality Flywheel y changerait.
Réserver un audit de 30 min