Système GenAI en production : définir les conditions de suspension, de retour arrière et d'escalade

Pour un système GenAI, prévoyez des déclencheurs, une capacité de suspension, une version de référence, une chaîne d'escalade et des critères de reprise testés.

Un plan de retour arrière pour un système GenAI ne se résume pas à remettre un ancien modèle en ligne. L'équipe doit savoir quelle capacité suspendre, pour quels utilisateurs ou données, quelle version de référence restaurer, qui décide de l'escalade et quelles preuves autorisent la reprise. Sans ces décisions préparées, un incident technique devient une suite d'actions improvisées qui peuvent étendre le périmètre du problème.

En bref

  • Distinguez trois décisions : suspendre une capacité, revenir à une version de référence et escalader vers le responsable compétent.
  • Définissez des déclencheurs observables par type d'écart : accès, données, qualité, action d'outil, disponibilité, coût ou traçabilité.
  • Versionnez la configuration réellement servie, pas seulement le code : modèle, prompts, règles, index, sources, outils, droits et résultats de test.
  • Testez le chemin de limitation et de reprise. Un runbook non rejoué ne prouve pas que l'équipe peut réduire le système sans improviser.

Cette méthode aide à préparer l'exploitation d'un système GenAI. Elle ne fixe ni seuil universel, ni délai de reprise, ni niveau de risque acceptable. Ces décisions dépendent de la tâche, des données, des utilisateurs, des outils connectés et des responsabilités de l'organisation.

Pourquoi suspension, retour arrière et escalade sont-ils trois décisions différentes ?

Un même signal ne demande pas toujours la même réponse. Une fuite de droits, une régression de qualité après un changement de modèle et l'indisponibilité d'un fournisseur peuvent toutes conduire à une interruption de service. Elles ne se traitent pourtant ni avec les mêmes preuves ni avec le même responsable.

DécisionQuestion à résoudreEffet recherché
SuspensionQuelle capacité doit cesser d'être disponible maintenant ?Réduire l'exposition pendant l'analyse
Retour arrièreQuel état de référence peut être restauré, sur quel périmètre ?Revenir à une configuration connue et testée
EscaladeQui doit qualifier l'impact, autoriser une exception ou décider de la reprise ?Placer la décision au bon niveau de responsabilité

La suspension peut concerner une action d'écriture, un connecteur, un corpus, une population d'utilisateurs ou un parcours entier. Elle ne suppose pas qu'une cause ait déjà été établie. Le retour arrière, lui, demande une référence explicite et la vérification que son rétablissement ne réintroduit pas un autre risque. L'escalade organise les décisions qui dépassent l'équipe qui surveille le système.

Le Cybersecurity Framework 2.0 du NIST sépare les activités de réponse aux incidents de celles qui restaurent les actifs et opérations affectés. Cette distinction fournit une grille utile pour un système GenAI, sans transformer la procédure présentée ici en exigence de conformité : contenir et décider ne signifient pas encore rétablir.

Quels déclencheurs faut-il écrire avant l'ouverture ?

Un déclencheur utile décrit un signal, le périmètre concerné, la première limitation possible et la personne qui prend ensuite le relais. Évitez les seuils copiés d'un autre système. Une réponse erronée sur une suggestion de recherche et une action d'écriture non autorisée dans un outil métier n'ont pas les mêmes conséquences.

Signal observéPremière mesure à préparerDécision à escalader
Un rôle récupère une source ou une action non autoriséeSuspendre la capacité ou le périmètre concerné, conserver les preuves de test et de traceSécurité, propriétaire des données ou de l'autorisation
Une version candidate dégrade un cas critiqueRevenir à la version de référence ou limiter la population exposéeResponsable technique et propriétaire métier du cas d'usage
Une action d'outil produit un effet inattendu ou inexplicableDésactiver l'action à impact et maintenir seulement le mode de lecture si cela reste acceptablePropriétaire de l'outil, exploitation et métier concernés
Une source de corpus devient douteuse, obsolète ou corrompueIsoler la source ou l'index associé, puis rejouer les cas de récupération utilesPropriétaire de la source et responsable du système
Une dépendance externe ne répond plus ou ne tient plus le comportement attenduPasser au mode dégradé prévu, limiter le flux ou suspendre le parcoursExploitation et responsable de service
Les traces nécessaires au diagnostic sont absentes ou incohérentesGeler l'élargissement du périmètre et préserver les éléments disponiblesResponsable technique, sécurité ou gouvernance selon le contexte

Le déclencheur ne doit pas chercher à nommer toutes les causes possibles. Il doit permettre une première action sûre et réversible. La décision d'étendre, de maintenir ou de reprendre le service vient ensuite, avec les preuves adaptées au cas.

Le profil NIST pour l'IA générative décrit une approche de gestion des risques à adapter aux objectifs, au contexte et aux impacts du système. Dans un runbook GenAI, cette adaptation consiste notamment à relier chaque déclencheur à un périmètre, une action de limitation, une responsabilité et une condition de reprise.

Quelle version faut-il pouvoir restaurer ?

Une référence ne doit pas être définie comme « la dernière version qui semblait fonctionner ». Elle doit décrire l'état réellement exposé aux utilisateurs et les preuves qui ont permis de l'accepter.

Conservez un manifeste de référence qui rassemble au minimum :

  1. la version applicative et les paramètres de déploiement pertinents ;
  2. le modèle, son endpoint ou sa variante, ainsi que les paramètres qui modifient le comportement ;
  3. les prompts, règles de sortie, garde-fous et règles de routage actifs ;
  4. les index, corpus, versions de sources et règles de récupération utilisés ;
  5. les outils connectés, les capacités activées et les règles d'autorisation associées ;
  6. les jeux de tests, résultats et limites connus qui accompagnaient la décision de mise en service ;
  7. le propriétaire de la référence et la procédure qui permet de la restaurer ou de la retirer.

Cette liste n'impose pas un format unique. Elle évite qu'un retour arrière ne restaure le code tout en laissant un index, un prompt, un outil ou une règle d'accès dans l'état qui a produit l'écart.

Pour une source documentaire, la référence doit aussi indiquer quels contenus et quelles versions sont servis. Notre guide pour versionner, mettre à jour et retirer un document source dans un RAG détaille comment relier l'index, les chunks, les droits et la preuve de retrait à ce cycle de changement.

Dans quels cas un retour arrière ne suffit-il pas ?

Un retour arrière traite un changement identifié. Il ne répare pas automatiquement les effets d'un accès indu, d'une action métier déjà exécutée ou d'une donnée qui a été exposée dans un canal non prévu.

SituationPourquoi le retour arrière seul est insuffisantComplément à prévoir
Droit d'accès retiré ou mal appliquéRestaurer un ancien modèle ne bloque pas nécessairement l'accès actuelSuspension du périmètre, révocation ou correction de la règle, tests négatifs
Action externe déjà déclenchéeLa version de référence ne défait pas l'effet dans l'outil métierArrêt de l'action, traitement métier adapté et traçabilité de l'exécution
Source de connaissance erronéeRestaurer le code peut conserver le même corpus ou indexIsolement de la source, retour à une version de corpus connue et tests de récupération
Incident de dépendance fournisseurRevenir à un état précédent peut rétablir la même dépendanceMode dégradé, limitation, changement de parcours ou attente d'une décision
Traces de diagnostic insuffisantesUne reprise rapide peut effacer le contexte nécessaire à l'analyseConservation des éléments autorisés, reconstitution des versions et revue avant reprise

L'objectif n'est pas de conserver indéfiniment toutes les données ou toutes les traces. Il est de rendre possible une décision informée, tout en respectant les règles applicables de sécurité, de confidentialité et de conservation.

La publication NIST SP 800-61 Rev. 3, publiée en avril 2025, place la préparation, la détection, la réponse et le rétablissement dans une démarche de gestion du risque. Elle rappelle que l'efficacité de la réponse dépend aussi de la coordination, de l'analyse et de la récupération, pas seulement d'une action technique isolée.

Quel parcours d'escalade faut-il définir ?

Un chemin d'escalade n'est pas un annuaire de contacts. Il indique qui peut prendre quelle décision dans le temps disponible, avec quelles informations. Une organisation peut adapter la matrice suivante à ses propres rôles.

MomentDécision attendueRôle qui doit être identifiable
DétectionQualifier le signal, protéger les preuves utiles et choisir la première limitationÉquipe d'exploitation ou responsable de service
ContentionRéduire le périmètre sans augmenter l'expositionResponsable technique avec les propriétaires d'accès ou d'outils concernés
Évaluation d'impactDéterminer les utilisateurs, données, outils et décisions affectésMétier, sécurité, données ou conformité selon le cas
Retour à la référence ou changement correctifValider l'état à restaurer et les tests à rejouerPropriétaire technique et décideur de périmètre
RepriseAutoriser l'ouverture ou maintenir une limitationResponsable de service avec les propriétaires concernés
RevueDocumenter l'écart et améliorer le runbookResponsables qui ont exécuté ou validé la réponse

Préparez la fiche d'escalade avec des éléments concrets : service concerné, capacités activées, version de référence, périmètre actuellement suspendu, actions déjà prises, données ou outils potentiellement touchés, tests à rejouer et décision demandée. Évitez de faire circuler des contenus métier sensibles ou des secrets dans un canal d'incident qui ne serait pas prévu pour les recevoir.

Comment vérifier que la procédure fonctionne avant un incident ?

Un exercice court vaut mieux qu'un runbook non testé. Il peut s'appuyer sur des données et des actions simulées, sans provoquer d'effet réel dans un système métier. Cherchez à vérifier la capacité de l'équipe à agir, pas à démontrer une disponibilité parfaite.

  1. Suspension ciblée. L'équipe désactive une capacité précise, par exemple une action d'écriture ou un connecteur, puis vérifie que les autres parcours autorisés restent dans le périmètre prévu.
  2. Retour à la référence. Elle identifie le manifeste approuvé, restaure la configuration choisie et rejoue un jeu de tests représentatif.
  3. Révocation ou restriction. Elle simule un changement de droit ou un retrait de source et vérifie les refus, les traces et l'absence de récupération indue.
  4. Escalade chronométrée. Elle prépare la synthèse nécessaire à une décision sans fixer de délai universel : signal, portée, mesures déjà prises, version, options et recommandation.
  5. Reprise conditionnelle. Elle ne rouvre le périmètre qu'après les tests et décisions définis pour le scénario.

Le guide sur le transfert d'un système GenAI aux équipes internes propose déjà un exercice de reprise pour vérifier que l'équipe sait limiter un système, préparer un changement et revenir à une référence. Cette page ajoute la décision de suspension, les conditions d'escalade et les critères qui évitent une reprise basée sur une impression.

Quels critères de reprise faut-il rendre explicites ?

La reprise ne doit pas être la conséquence automatique de la disparition d'une alerte. Définissez ce qui doit être vrai pour le périmètre concerné :

  • la cause ou l'hypothèse de cause est suffisamment qualifiée pour décider ;
  • la version restaurée ou corrigée est identifiée et ses différences sont lisibles ;
  • les rôles, données, outils ou actions concernés ont été testés ;
  • les cas critiques et les cas de refus prévus sont conformes au comportement attendu ;
  • les traces nécessaires à l'exploitation sont de nouveau disponibles ;
  • les responsables concernés ont accepté la reprise, la limitation restante ou le plan de suivi.

Cette liste ne constitue pas un feu vert automatique. Elle permet de distinguer une reprise décidée d'une remise en ligne subie. Le cadre de go/no-go entre prototype LLM et production aide à rattacher ces critères au périmètre, aux preuves et aux responsables qui ont accepté l'ouverture.

FAQ

Faut-il arrêter tout le système lorsqu'un écart est détecté ?

Pas nécessairement. Préparez des niveaux de limitation : désactiver une action, isoler une source, restreindre une population ou suspendre un parcours entier. Le bon niveau dépend de l'impact possible et de la capacité à démontrer que le reste du système reste dans son périmètre autorisé.

Un retour arrière signifie-t-il toujours remettre un ancien modèle ?

Non. La référence peut porter sur un modèle, mais aussi sur un prompt, un index, un corpus, une règle d'accès, un connecteur ou une combinaison de ces éléments. La décision doit restaurer l'état qui est connu et testable pour le périmètre concerné.

Quel délai de reprise faut-il promettre ?

Il n'existe pas de délai universel. Le délai dépend de la nature de l'écart, des données, des outils, des règles d'autorisation, de l'architecture et des décisions nécessaires. Fixez un objectif adapté au service et communiquez les limites plutôt que de promettre une reprise non vérifiée.

Qui autorise la reprise après une suspension ?

La réponse dépend du périmètre affecté. Préparez la matrice avant l'incident : exploitation pour constater et limiter, propriétaire technique pour restaurer et tester, puis responsables métier, données, sécurité ou conformité lorsque leur périmètre est concerné. La personne qui autorise la reprise doit pouvoir lire les preuves et les limites restantes.

Méthodologie et sources

Cette page est une méthode d'exploitation pour des systèmes GenAI. Elle ne constitue ni un avis juridique, ni une procédure d'incident complète, ni une garantie de disponibilité, de sécurité ou de conformité. Les seuils, responsables, canaux d'escalade et conditions de reprise doivent être validés pour le contexte de l'organisation.


Vous devez préparer la suspension, le retour arrière et l'escalade d'un système GenAI avant son ouverture en production ? Décrivez le périmètre à IgnitionAI. Un premier échange peut aider à transformer les signaux, versions de référence, tests et responsabilités en procédure exploitable.

Contact

Présentez-nous votre projet IA

Un premier échange de trente minutes avec un consultant senior. Vous repartez avec un avis documenté sur la faisabilité, le périmètre et l'ordre de grandeur des coûts. Si nous estimons que le projet n'est pas mûr, nous vous l'indiquons par écrit.

Réponse sous 24 heures ouvrées par un consultant nommé.