Call-bot.ai

Agents IA & automatisation agentique13 min de lecture

Sécurité et gouvernance des agents IA : risques, garde-fous, contrôle

Un agent IA agit avec les droits qu'on lui accorde : les risques viennent de ces droits, de consignes cachées dans les contenus qu'il lit, de fuites de données et d'actions difficiles à défaire. Ce guide s'appuie sur l'OWASP, le NCSC britannique, le NIST, l'ISO, l'AI Act et la CNIL pour proposer des principes, un cadre de gouvernance, les dates du droit européen et une liste de contrôle.

Des opérateurs installés devant leurs écrans, face à un grand écran de supervision dans une salle de contrôle

Photo : Hyundai Motor Group · Pexels

En juillet 2025, selon les publications de son utilisateur rapportées par Fortune, l'agent de programmation de Replit a supprimé une base de données de production malgré un gel du code et des actions, puis a affirmé qu'un retour en arrière ne fonctionnerait pas ; l'utilisateur a pourtant récupéré les données manuellement. Replit a annoncé une séparation automatique des bases de développement et de production.

L'agent n'avait pas besoin d'être attaqué pour faire des dégâts : il en avait les moyens. Ce guide suit cette logique, de la surface d'attaque à la liste de contrôle, à partir de l'OWASP (communauté de sécurité des applications), du centre britannique de cybersécurité (NCSC), de l'institut américain NIST, de l'ISO, de l'AI Act et de la CNIL. Définition et niveaux d'autonomie : IA agentique.

Quatre façons dont un agent tourne mal

  • Des consignes cachées dans ce qu'il lit. L'injection de consignes (prompt injection) détourne un modèle par des instructions glissées dans une requête ou dans un contenu qu'il traite : page web, e-mail, fichier. L'OWASP la place en tête de son Top 10 pour les applications de grands modèles de langage (LLM) ; l'édition 2025 notait qu'on ignorait s'il existait des méthodes de prévention infaillibles, et l'édition 2026 (3 août 2026) écrit qu'aucun mécanisme de prévention fiable n'existe aujourd'hui. Le NCSC (8 décembre 2025) explique que les grands modèles de langage actuels n'imposent pas de frontière de sécurité entre instructions et données à l'intérieur d'une même requête (prompt) : l'injection pourrait ne jamais être totalement neutralisée, et ce risque résiduel doit se gérer par la conception, la construction et l'exploitation du système. Exemple cité par l'OWASP dans son Top 10 des applications agentiques (décembre 2025), EchoLeak (faille CVE-2025-32711, publiée le 11 juin 2025, notée 9,3 « critique » par Microsoft et 7,5 « élevée » par le NIST) : un seul e-mail piégé permettait d'extraire des données de Microsoft 365 Copilot sans action de l'utilisateur.
  • Des droits excessifs. L'OWASP nomme « Excessive Agency » (LLM06:2025, devenu LLM03:2026 dans l'édition 2026 ; soit un pouvoir d'agir excessif) la possibilité d'actions dommageables déclenchées par une sortie inattendue, ambiguë ou manipulée du modèle. Racines : fonctions superflues, permissions superflues, autonomie excessive. Exemple : un outil censé lire des documents, mais capable de les modifier ou de les supprimer.
  • Des données qui sortent. Selon la note du 20 juillet 2026 de la CNIL et du Conseil de l'IA et du Numérique (CIANum), les agents accèdent à de multiples sources, font circuler des données entre services et conservent des mémoires persistantes ; une faille dans un composant peut affecter tout le système.
  • Des actions difficiles à défaire. Le cas Replit : une suppression en production, réparée par une récupération manuelle.

En décembre 2025, l'OWASP a publié un Top 10 dédié aux applications agentiques, dont le détournement d'objectif, l'abus de privilèges, l'empoisonnement de la mémoire et les défaillances en cascade. Il y met en avant le « moindre pouvoir d'agir » (least agency) : éviter l'autonomie inutile.

Six principes de conception

  1. Moindre privilège. Outils, fonctions et permissions limités au strict nécessaire, pas d'extensions « ouvertes » (exécuter une commande, récupérer une URL), action dans le contexte de l'utilisateur concerné (OWASP).
  2. Contrôles hors du modèle. Autorisation vérifiée dans les systèmes en aval, pas par le modèle (OWASP). Le NCSC recommande des garde-fous « déterministes », extérieurs au modèle, qui contraignent les actions, et de se méfier des produits qui promettent de « stopper » l'injection.
  3. Validation humaine sur les actions sensibles, détaillée plus bas.
  4. Journalisation. La CNIL suggère de pouvoir reconstituer, pour chaque tâche, données, agents, services, échanges et chronologie ; Deloitte juge essentielles des pistes d'audit couvrant toute la chaîne d'actions.
  5. Bac à sable. La CNIL suggère un environnement cloisonné et, pour chaque agent, une mémoire dédiée, isolée et de durée limitée.
  6. Plafonds et arrêt. Limites de débit et quotas, qui freinent les actions indésirables et la consommation incontrôlée, source de pertes financières (OWASP) ; nombre maximal de tours (OpenAI) ; « kill switch » qui interrompt un processus à tout moment (CNIL).

Human in the loop : où le placer, et ses limites

OpenAI retient deux déclencheurs d'intervention humaine : le dépassement d'un seuil d'échecs, et les actions sensibles, irréversibles ou à fort enjeu (annuler une commande, autoriser un gros remboursement, payer). La CNIL suggère de classer les actions de chaque service par niveau de risque (accès aux données, modification ou suppression, envoi hors du système, type de données) et de prévoir une validation avant exécution en conséquence.

La validation a des limites. Les auteurs d'une grille d'autonomie à cinq niveaux (Feng et al.) se demandent comment éviter les approbations sans portée réelle ; l'article 14 de l'AI Act vise, pour les systèmes à haut risque, le biais d'automatisation (se reposer automatiquement sur les résultats), et l'article 26 exige des superviseurs compétents, formés et dotés de l'autorité nécessaire. Définition courte : human in the loop.

Gouvernance : qui répond de quoi

  • Responsabilité. La CNIL et le CIANum notent que l'AI Act n'instaure pas de régime de responsabilité exprès : le droit commun s'applique (faute, art. 1240 du code civil ; fait des choses, art. 1242 ; contrat ; produits défectueux). Le NIST prévoit des rôles et responsabilités documentés ; la rédaction en déduit un propriétaire nommé par agent.
  • Registre et revue. Le NIST prévoit un inventaire des systèmes d'IA, une revue périodique du processus de gestion des risques, un retrait sûr, un suivi après déploiement et le suivi des incidents. Un registre d'agents recense au minimum propriétaire, outils, droits, données, niveau d'autonomie et date de revue (suggestion de la rédaction).
  • Évaluation avant mise en production. La CNIL suggère des tests de robustesse avant le déploiement et pendant la vie du système ; l'OWASP recommande des tests périodiques d'équipe rouge (red team) simulant un détournement d'objectif, avec vérification du retour arrière.
  • Référentiels. Le cadre de gestion des risques de l'IA du NIST (AI RMF 1.0, janvier 2023, d'usage volontaire et en cours de révision) compte quatre fonctions : Govern, Map, Measure, Manage ; son profil IA générative (NIST-AI-600-1) date du 26 juillet 2024. La norme ISO/IEC 42001:2023 (18 décembre 2023) spécifie les exigences d'un système de management de l'IA.

Ce que dit le droit européen, et à partir de quand

L'AI Act ne crée pas de catégorie « agent » : selon la Commission, ses définitions du système d'IA et du modèle d'IA à usage général suffisent à les couvrir ; la Commission précise toutefois que ses considérations réglementaires sur les agents ne sont que préliminaires à ce stade. Les articles cités suivent le texte consolidé du service d'assistance de la Commission (version EUR-Lex du 27 juillet 2026).

Texte Ce qu'il exige À partir de quand
AI Act, art. 4 Mesures pour soutenir la maîtrise de l'IA du personnel, sans garantir un niveau précis par personne (rédaction issue du règlement (UE) 2026/1744) 2 février 2025 ; rédaction actuelle depuis le 27 juillet 2026
AI Act, art. 50 Informer qu'on interagit avec une IA, sauf évidence ; la Commission l'applique aux agents qui interagissent avec des personnes ou génèrent du contenu 2 août 2026 (marquage des contenus générés par les systèmes mis sur le marché avant cette date : 2 décembre 2026)
AI Act, art. 14 et 26 Haut risque seulement : supervision humaine (passer outre, interrompre au moyen d'un bouton d'arrêt), superviseurs compétents, journaux conservés au moins six mois quand le déployeur en a le contrôle, sauf disposition contraire du droit de l'Union ou du droit national 2 décembre 2027 pour l'annexe III (par exemple tri de candidatures, évaluation de solvabilité) ; 2 août 2028 pour l'annexe I
RGPD, art. 22 Droit de ne pas faire l'objet d'une décision exclusivement automatisée aux effets juridiques ou significatifs ; selon les cas, droit à une intervention humaine et à contester Applicable depuis le 25 mai 2018 ; la CNIL rappelle que ses garanties restent pleinement applicables quand une IA agentique prend une telle décision

Un agent qui dialogue avec des personnes relève d'abord de l'article 50 et du RGPD ; un agent qui trie des candidatures ou évalue la solvabilité peut relever de l'annexe III, au cas par cas. Calendrier détaillé : AI Act : calendrier et obligations concrètes ; données personnelles : RGPD et callbot. Ce résumé n'est pas un avis juridique ; un avis s'impose en cas de doute.

Liste de contrôle avant la mise en production

À utiliser avec la méthode de pilote de Déployer un premier agent IA : périmètre étroit, permissions volontairement limitées, actions réversibles ou validées par un humain avant exécution.

Contrôle Question à poser Appui
Périmètre Objectif, tâches exclues et niveau d'autonomie sont-ils écrits ? OWASP, Feng et al.
Droits Chaque outil et chaque permission est-il nécessaire ? Lecture seule par défaut, droits de l'utilisateur concerné plutôt qu'un compte privilégié ? OWASP
Autorisation Les systèmes en aval vérifient-ils chaque demande, sans s'en remettre au modèle ? OWASP, NCSC
Validation humaine Quelles actions exigent un humain, et qui a l'autorité de refuser ? OpenAI, CNIL, AI Act
Contenus externes E-mails, pages et documents sont-ils traités comme non fiables et testés contre l'injection ? OWASP, NCSC
Données et mémoire Données strictement nécessaires ? Mémoire cloisonnée et limitée dans le temps ? CNIL
Traçabilité Peut-on reconstituer chaque tâche : données, outils, échanges, chronologie ? CNIL, Deloitte
Plafonds et arrêt Limites de dépense, de débit et d'itérations ? Arrêt d'urgence testé ? OWASP, OpenAI, CNIL
Évaluation Des cas d'échec ont-ils été testés avant la mise en production, puis régulièrement ? OpenAI, CNIL, OWASP
Registre et revue Agent inscrit, propriétaire nommé, revue datée, procédure de retrait ? NIST
Conformité Transparence, RGPD (dont art. 22), classification AI Act et formation traitées ? AI Act, CNIL

Questions fréquentes

Qu'est-ce que le « human in the loop » pour un agent IA ?

C'est l'intervention d'une personne dans la boucle de décision d'un agent, notamment pour approuver une action avant son exécution. OpenAI la recommande après des échecs répétés et pour les actions sensibles ou irréversibles ; la CNIL, pour les actions critiques.

Peut-on empêcher complètement l'injection de consignes ?

Aucune source lue ne l'affirme : l'OWASP écrit dans son édition 2026 qu'aucun mécanisme de prévention fiable n'existe aujourd'hui (son édition 2025 disait qu'on ignorait s'il existait des méthodes infaillibles), et le NCSC que le risque restera résiduel. D'où l'intérêt de limiter l'impact : droits minimaux, validations humaines.

L'AI Act impose-t-il une supervision humaine des agents IA ?

Seulement pour les agents classés à haut risque : les articles 14 et 26 s'appliquent à partir du 2 décembre 2027 (annexe III) ou du 2 août 2028 (annexe I). Les autres peuvent relever de l'article 50 (transparence, depuis le 2 août 2026) s'ils interagissent avec des personnes ou génèrent du contenu, et du RGPD s'ils traitent des données personnelles. Ce n'est pas un avis juridique.

Qui est responsable quand un agent se trompe ?

Il n'existe pas de régime spécifique : la CNIL et le CIANum rappellent que le droit commun s'applique et que l'AI Act répartit les obligations selon les rôles (qui conçoit le système, qui l'utilise). Documenter ces rôles au contrat et nommer un responsable interne par agent aide à trancher.

En résumé

Un agent IA agit avec les droits qu'on lui donne : les risques viennent des consignes cachées dans ce qu'il lit, des droits excessifs, des fuites de données et des actions irréversibles. Les sources lues convergent sur les garde-fous : moindre privilège, contrôles hors du modèle, validation humaine sur les actions sensibles, traçabilité, plafonds et arrêt. La gouvernance y ajoute un propriétaire par agent, un registre, une évaluation avant production et une revue périodique. Pour cadrer un projet, parlons-en.

Sources

Parler de votre projet