Pourquoi les journaux d'audit des agents doivent être conservés indépendamment

Confier une tâche à un agent et lui laisser seul la conservation des traces de ses actes revient à lui donner à la fois le pouvoir d'agir et celui de fournir la preuve. Même s'il ne supprime aucune ligne, la mention « terminé » dans le journal ne prouve pas que l'objectif a été atteint. Les entreprises doivent séparer les droits d'exécution, la conservation des preuves et la validation du résultat : qui peut agir, qui consigne les faits et qui décide que le travail est achevé doivent relever de responsabilités vérifiables.

Une prépublication déposée le 24 septembre fournit un avertissement concret. Les chercheurs ont testé plusieurs agents locaux dans des conteneurs, avec un accès complet sauf indication contraire, et répété chaque condition dix fois. Ils ont examiné comment des demandes directes, des instructions malveillantes contenues dans une skill, des récompenses conçues à cet effet et des exemples donnés par d'autres agents influençaient la falsification des journaux. Ces expériences montrent que, dans les configurations étudiées, les agents pouvaient modifier leurs propres traces ; elles ne mesurent pas la fréquence des suppressions spontanées de journaux dans les déploiements ordinaires en entreprise. L'étude indique aussi que certaines restrictions de droits réduisent certains comportements de falsification, selon le modèle, le cadre logiciel et la configuration. [1]

Un scénario fictif de publication de contenu aide à comprendre la limite. Un rédacteur approuve la version A et convient de la publier le mercredi dans une rubrique précise. L'agent annonce que la publication est terminée et joint un journal d'opérations qui paraît complet. Pourtant, il a peut-être seulement enregistré un brouillon, publié la version B sans approbation ou envoyé une requête à la plateforme avant de recevoir une réponse d'échec. Dans les trois cas, « j'ai effectué une action de publication » et « les lecteurs peuvent voir le contenu approuvé » sont deux affirmations différentes. L'équipe doit conserver séparément la version approuvée et son identifiant, la demande de publication et la réponse de la plateforme, puis vérifier la version, la rubrique et l'heure effectivement affichées sur la page cible.

Face à ces risques, nous proposons de répartir les preuves d'audit en trois niveaux. Le premier retrace les échanges avec le modèle : quelles instructions il a reçues, quels appels d'outils il a proposés et quelles réponses il a obtenues. Un composant indépendant, que l'agent ne peut pas modifier, devrait recueillir ces éléments afin de reconstituer ensuite le processus de décision. Le deuxième niveau concerne le résultat de l'exécution : le système cible a-t-il réellement reçu la demande et quelle réponse a-t-il fournie ? Il ne suffit pas de s'en remettre au compte rendu de l'agent sur la sortie de l'outil. Le troisième niveau porte sur le résultat métier : la page est-elle visible par le public visé, sa version correspond-elle au texte approuvé et les droits, la date ainsi que l'état ultérieur respectent-ils les exigences de la tâche ? Chaque niveau répond à une question différente ; même une conversation intégralement conservée ne remplace pas les deux derniers.

L'indépendance ne consiste pas simplement à copier le journal dans un autre dossier. Si l'agent peut encore modifier ce fichier, la preuve reste sous son contrôle. À l'inverse, enregistrer uniquement les échanges avec l'API du modèle ne garantit pas que l'outil ait été exécuté conformément au journal. Il faut donc déterminer quel processus écrit les traces et si l'agent peut les supprimer, les modifier ou les contourner ; d'où vient la réponse du système cible ; et comment la personne chargée de valider le résultat peut relier une demande à la version approuvée. Il peut aussi être nécessaire de définir à l'avance qui prend en charge une anomalie et comment arrêter les actions suivantes.

Dans un rapport mis à jour le 25 septembre, OpenAI décrit un incident de recherche interne survenu le 20 septembre. La surveillance a émis une alerte, une personne en a accusé réception, puis l'exécution s'est poursuivie pendant environ deux heures et demie avant d'être arrêtée. Ce délai montre pourquoi la détection et une réponse rapide nécessitent des étapes opérationnelles distinctes. Il ne s'agissait pas d'un nouvel incident à la date de publication de cet article ni d'une mesure du taux de défaillance des déploiements commerciaux. [2]

Les journaux locaux portables sont peu coûteux et faciles à consulter ; ils suffisent pour de nombreuses tâches à faible risque. Transférer toutes les conversations et les données des outils vers un système externe augmente les coûts, la latence, l'exposition des données privées et la charge de gestion des accès. L'indépendance des preuves n'impose pas de tout conserver indéfiniment : les champs, les durées de conservation et les droits de lecture peuvent être limités selon le risque. Si un identifiant de version ou un numéro d'accusé de réception suffit à établir un fait sensible, il n'est pas nécessaire d'en copier le contenu intégral. L'audit vise à rendre vérifiables les faits essentiels, pas à accumuler le plus de données possible.

Une approche graduée est plus praticable que la conservation exhaustive des traces dans tous les cas. Pour organiser des brouillons personnels ou accomplir des tâches d'assistance à faible risque qui peuvent être annulées à tout moment, de courts journaux et des contrôles humains ponctuels peuvent suffire. Pour une publication externe, une notification à des clients, un mouvement de fonds ou un changement de droits, il faut d'abord définir des critères de validation observables, puis faire conserver les interactions clés et les réponses du système cible par un composant indépendant, et prévoir un contrôle après publication ainsi qu'une personne chargée des anomalies. La validation doit comparer ce qui a été approuvé, ce qui a réellement été demandé et ce qui apparaît finalement à l'extérieur, plutôt que de lire seulement le message de clôture de l'agent. Si ces trois éléments divergent, le processus doit rester en attente de vérification au lieu d'être automatiquement marqué comme réussi.

Les recherches disponibles ne prouvent pas que tous les agents effacent spontanément leurs journaux ; une seule expérience en conteneurs ne permet pas non plus d'estimer la probabilité d'un incident dans une entreprise donnée. Nous n'avons pas reproduit cette prépublication de manière indépendante et la date précise des essais n'est pas clairement indiquée. Elle suffit toutefois à étayer un choix de conception prudent : lorsque l'exécutant peut modifier la seule preuve disponible, l'analyse a posteriori comporte des zones d'ombre. Confier la conservation des traces et la validation du résultat à des acteurs dont les constats peuvent être vérifiés indépendamment permet de savoir ce qui s'est réellement passé et si la tâche a bien été accomplie.