Des agents partout : le flux d’informations - Negative Star Innovators Blog

Notre thèse est que chaque être humain finira par diriger des agents d’IA dans les domaines numérique et physique, dans sa vie personnelle comme professionnelle. Même le travail physique sera automatisé par des robots et orchestré par des agents dirigés par des humains. De nombreux agents fonctionneront de manière persistante avec peu ou pas de supervision humaine continue, déléguant des tâches et échangeant des informations avec d’autres agents bien après leur configuration par une personne. Ces agents exécuteront des tâches et échangeront des informations à une échelle que les humains ne pourront ni gérer ni appréhender manuellement. Il n’y aura tout simplement pas assez de temps humain pour comprendre la quantité colossale d’informations échangées par ces agents. Chaque agent et chaque interaction supplémentaires augmentent la surface par laquelle les informations peuvent circuler vers des tiers, avec des implications dangereuses.

Nous pensons que les agents serviront d’intermédiaires dans tous les aspects de la vie quotidienne en participant à des appels, en recherchant dans d’anciens enregistrements, en gérant des messages, en récupérant des documents, en utilisant des caméras, en effectuant des achats, en contrôlant des robots et en représentant des personnes lors de négociations. Souvent, chaque partie disposera de son propre agent. Lors d’un entretien d’embauche, l’agent de l’employeur pourra transcrire et analyser la conversation tandis que l’agent du candidat récupérera les expériences pertinentes, évaluera les affirmations de l’employeur et conseillera le candidat. Lors de la négociation d’un contrat, l’agent de chaque partie pourra examiner les conditions proposées au regard de ses propres priorités, signaler les risques et proposer des révisions avant que les personnes concernées n’approuvent l’accord final.

Même si vous n’utilisez pas vous-même d’agents, les informations que vous partagez avec d’autres personnes et organisations peuvent tout de même être traitées par des agents que vous ne contrôlez pas. Ces agents pourront conserver et analyser ces données, en déduire de nouvelles informations et agir en fonction des résultats.

Quelles informations peuvent fuiter

Les informations susceptibles de fuiter et d’être utilisées contre nous vont bien au-delà des informations permettant d’identifier une personne (Personally Identifiable Information, PII) et des identifiants.

Dossiers confidentiels et identifiants d’accès
Informations privées par nature ou pouvant être utilisées pour accéder à des comptes, des actifs, des identités ou des communications privées. Cela inclut les PII, les mots de passe, les jetons d’authentification, les numéros de téléphone, les adresses, les coordonnées bancaires et de paiement, les dossiers financiers et juridiques, les communications privées ainsi que les dossiers relatifs aux comptes et transactions des clients. Ces risques concernent aussi bien les individus que les organisations et vont bien au-delà des définitions conventionnelles des PII.
Contexte privé, projets et savoir-faire
Informations dont la sensibilité provient de ce qu’elles révèlent sur les intentions, les capacités, les méthodes, les relations ou les connaissances accumulées. Pour les entreprises, cela inclut la stratégie produit, les méthodes propriétaires, la recherche, les stratégies tarifaires et conditions commerciales non publiques, les relations avec les fournisseurs, les stratégies d’approvisionnement, les conditions négociées, le code source propriétaire, les informations sur les clients, les documents internes et le savoir-faire opérationnel. Pour les individus, cela inclut les projets privés, les œuvres créatives inédites, les passe-temps, les centres d’intérêt et les activités de loisirs, les projets personnels et professionnels, les relations familiales, sociales et professionnelles, les obligations et habitudes personnelles, ainsi que tout autre contexte privé dont la divulgation pourrait permettre du marketing manipulateur, des escroqueries ciblées, des atteintes à la réputation ou aux relations, une perte de pouvoir de négociation, ou des menaces pour leurs moyens de subsistance, leur autonomie ou leur sécurité.
Données humaines sensibles et inférences
Les données biométriques, physiologiques et comportementales, ainsi que les inférences qui en sont tirées, peuvent servir à nous identifier, à déduire notre santé mentale et physique, nos préférences et nos aversions, et à construire des modèles prédisant notre comportement probable dans des circonstances particulières. Des chercheurs ont ainsi démontré que des caméras vidéo standard peuvent capter des changements physiologiques infimes afin de mesurer des indicateurs de santé physique tels que les battements cardiaques, la tension artérielle, la saturation en oxygène du sang, la fréquence respiratoire, la variabilité de la fréquence cardiaque et l’âge, sans aucun contact physique [1] [2] [3]. Dans le domaine de la santé mentale et cognitive, les « biomarqueurs vocaux » extraits de brefs enregistrements audio peuvent indiquer si vous souffrez de démence, de dépression, d’insomnie ou d’anxiété en analysant des caractéristiques auditives subtiles telles que le débit de parole, la hauteur de la voix, les taux de passage par zéro et le choix du vocabulaire [4] [5] [6] [7]. Les signaux Wi-Fi et radar RF peuvent détecter nos positions corporelles précises, nos stades de sommeil, nos fréquences respiratoires et nos battements cardiaques en mesurant la manière dont les radiofréquences se réfléchissent sur le corps humain, même à travers les murs [8] [9] [10]. La démarche humaine constitue un autre flux de données sensibles : les schémas de marche peuvent servir à identifier des individus, la vitesse de marche est associée à la survie des personnes âgées, et les caractéristiques de la démarche peuvent indiquer des troubles neurologiques, une charge cognitive, de la fatigue et un manque de sommeil [11] [12] [13] [14] [15] [16]. En outre, des modalités telles que le suivi oculaire physiologique — qui évalue la dilatation des pupilles, la durée de fixation et les schémas du regard — peuvent mesurer notre charge cognitive, révéler des stratégies de résolution de problèmes propres à une tâche ainsi que des aspects de son exécution, et indiquer nos préférences et nos aversions [17] [18] [19].
Opérations dans le monde physique et données de capteurs
Informations captées par des robots, des véhicules, des caméras, des microphones et d’autres capteurs physiques. Cela inclut la vidéo, l’audio, les cartes spatiales, les positions précises, les plans de domiciles ou d’installations, les événements de sécurité, la télémétrie des machines, les schémas domestiques et de déplacement, ainsi que les processus opérationnels qui révèlent le fonctionnement réel d’une entreprise ou d’un foyer. Leur exposition peut créer des risques pour la vie privée, la sécurité et la sécurité physique, et pas seulement des risques conventionnels pour la sécurité des données.

Ces catégories se chevauchent, et des informations apparemment inoffensives isolément peuvent devenir sensibles lorsqu’elles sont reliées à d’autres données, accumulées au fil du temps ou utilisées pour tirer de nouvelles inférences.

Comment les informations divulguées peuvent être utilisées contre vous

Comment les dossiers confidentiels et les identifiants peuvent être utilisés contre vous

Les mots de passe, les jetons d’authentification et les coordonnées de comptes peuvent donner un accès immédiat à des comptes, des actifs et des communications privées. D’autres dossiers peuvent ne pas donner d’accès immédiat, mais exposer des litiges juridiques, des difficultés financières, des relations clients, des informations médicales ou des conversations privées.

Pour un individu, cela peut signifier un vol d’identité, une fraude, du chantage ou l’exposition de sa vie privée. Pour une entreprise, cela peut signifier un préjudice pour les clients, une responsabilité réglementaire, une interruption des opérations et une perte de confiance. Un dossier divulgué peut également devenir le point de départ d’une attaque plus vaste : un seul document peut révéler des noms de comptes, des systèmes internes, des relations ou des pratiques de sécurité qui rendront les attaques ultérieures plus efficaces.

Le cas des entreprises : vos données et le contexte accumulé constituent vos douves

Vos données constituent vos douves. En perdre le contrôle peut exposer votre entreprise, renforcer vos concurrents et éroder votre différenciation. Si les entreprises d’IA de pointe entraînent leurs modèles sur vos données d’entreprise, ce qu’elles apprennent peut améliorer les résultats qu’elles fournissent à tous, y compris à vos concurrents. Les connaissances accumulées au sein de votre entreprise peuvent ainsi devenir une capacité disponible sur l’ensemble du marché. Les fournisseurs d’IA peuvent également s’étendre aux marchés de leurs clients. Claude Design pourrait concurrencer Figma, tandis que Personal Finance in Claude pourrait concurrencer les services de conseil financier et de gestion des finances personnelles. Vous pourriez finir par payer un futur concurrent tout en lui fournissant le contexte qui l’aide à créer ce qui vous remplacera.

L’IA rend moins coûteux le lancement et la gestion d’une entreprise ainsi que le développement de produits. À mesure que le développement de produits et les opérations deviennent plus simples, les marchés se rempliront d’offres similaires qui se disputeront une attention limitée. Dans cet environnement, vos données et votre savoir-faire opérationnel comptent parmi les rares douves qui peuvent subsister.

Le risque ne se limite pas à une réutilisation délibérée par un fournisseur d’IA. Une fois que les informations échappent à votre contrôle, elles peuvent être exposées par une faille de sécurité, conservées plus longtemps que prévu, partagées négligemment avec des employés, des sous-traitants ou des tiers, ou divulguées dans le cadre de procédures juridiques telles que des assignations, des ordonnances judiciaires, des procédures de communication de preuves ou par des portes dérobées gouvernementales. Elles peuvent également être combinées à d’autres ensembles de données pour révéler plus que ce que vous aviez l’intention de partager.

Le cas des individus : relations, habitudes et manipulation

Pour les individus, le préjudice ne se limite pas au vol d’identité ou à l’exposition d’un document privé. Le contexte accumulé peut révéler les relations familiales et sociales, les obligations personnelles, les passe-temps, les habitudes, les intentions, les contraintes, les projets futurs et nos états psychologiques les plus intimes. Il peut montrer qui est lié à qui, qui fait confiance à qui, qui dépend de qui et quelles pressions pèsent sur une personne. Cela se produit déjà, mais l’IA a modifié les paramètres économiques, que nous examinerons plus loin.

Les entreprises de marketing peuvent utiliser ces informations pour produire des publicités hautement individualisées et manipulatrices. Les escrocs peuvent utiliser ce même contexte pour rendre leurs demandes frauduleuses et leurs usurpations d’identité plus convaincantes. Un escroc connaissant les relations familiales, les projets présents et futurs et les habitudes de communication d’une personne pourrait utiliser ces informations pour rendre crédible l’usurpation de l’identité d’un membre de sa famille au moyen d’un deepfake.

Ce contexte peut également affaiblir la position de négociation d’une personne. Un employeur, un acheteur, un client ou une autre contrepartie peut apprendre à quel point une personne a urgemment besoin d’un emploi ou d’une vente, quelles sont ses alternatives ou quelles contraintes orientent ses décisions. Les habitudes privées et les informations sur les relations peuvent également créer des risques pour l’autonomie et la sécurité, notamment la manipulation, le harcèlement, la coercition et les contacts non désirés.

Aucun fait isolé n’a besoin de paraître hautement sensible pour que le tableau accumulé devienne dangereux.

Comment les données humaines sensibles peuvent être utilisées contre vous

Imaginez ce qui arriverait au cours de bourse d’une entreprise si son PDG montrait des signes de détresse mentale, de troubles psychiatriques et/ou de maladie lors d’une conférence téléphonique sur les résultats, signes qu’une IA pourrait détecter en surveillant sa voix et son corps. Le résultat pourrait être désastreux même si l’IA produisait un faux positif.

Autre exemple : les entreprises pourraient déterminer quelles images et quels sujets vous attirent, quelles personnes vous attirent sexuellement — jusqu’à leurs caractéristiques individuelles —, ce que vous n’aimez pas voir et quels styles de communication vous trouvez les plus persuasifs. Elles pourraient ensuite vous manipuler sur la base de ces informations, par exemple en utilisant la vidéo générative par IA pour créer des millions de publicités personnalisées pour des millions d’individus — une vidéo personnalisée pour chacun — et diffuser chacune au moment où la personne concernée est la plus susceptible d’effectuer un achat.

Un recruteur examinant votre appel vidéo pourrait estimer en temps réel à quel point vous avez désespérément besoin d’un emploi et utiliser cette inférence pour justifier une offre particulièrement basse. Une compagnie d’assurance maladie pourrait modifier vos primes sur la base d’une conversation téléphonique sans jamais vous expliquer pourquoi son évaluation du risque a changé.

L’inférence n’a pas besoin d’être concluante pour que quelqu’un agisse en conséquence. La personne concernée n’a pas non plus besoin de savoir que cette inférence a été faite. Dans la plupart des cas, elle ne le saura jamais. La meilleure approche consiste à empêcher dès le départ que des inférences biologiques et psychologiques soient générées ou partagées à partir de vidéos, de fichiers audio et d’autres flux de données.

Exposition dans le monde physique : sécurité, sûreté et processus opérationnels

Les données du monde physique révèlent bien plus que les objets apparaissant dans le flux d’une caméra. Les plans d’installations peuvent exposer les entrées, les zones réglementées et la couverture de sécurité. La télémétrie des robots et des machines peut révéler les cadences de production, les capacités, les problèmes de maintenance, les calendriers d’exploitation et les détails de processus propriétaires. Les événements de sécurité peuvent montrer où les systèmes défaillent et où existent les vulnérabilités physiques.

Dans un foyer, les cartes spatiales, les caméras, les microphones et les schémas de déplacement peuvent révéler l’agencement du logement, les moments où des personnes sont présentes, les objets personnels sensibles qui s’y trouvent, les pièces qu’elles utilisent et leurs déplacements dans le cadre de leurs habitudes quotidiennes. Les informations collectées pour accomplir une tâche physique utile peuvent donc devenir des informations sur l’occupation, la vulnérabilité et l’analyse comportementale.

À mesure que les agents prendront le contrôle de robots, de véhicules et d’autres systèmes physiques, les informations divulguées ne se contenteront plus de décrire le monde physique. Elles pourront également révéler comment influencer les systèmes qui y agissent.

Pourquoi l’IA change les paramètres économiques de l’exploitation de l’information

L’IA permet d’analyser davantage d’informations et d’en déduire davantage que cela n’a jamais été possible auparavant. Qui plus est, l’IA peut agir sur les informations par elle-même. Elle peut, par exemple, envoyer automatiquement des messages, cibler des publicités, générer du contenu, approuver ou rejeter des demandes, fixer des montants de frais, initier des transactions et contrôler des robots sans attendre qu’une personne examine chaque décision.

Par le passé, le temps humain limité et son coût signifiaient que la plupart des informations disponibles ne pouvaient pas être exploitées pleinement. Ce n’est que lorsque le rendement potentiel justifiait le coût que l’on observait des analyses et des actions très efficaces, comme l’espionnage réciproque d’agences de renseignement étatiques ou l’espionnage industriel entre entreprises de grande valeur.

Le coût de l’analyse de masse et de l’utilisation hautement individualisée des informations par l’IA diminue rapidement. Le coût du temps humain n’est plus le goulot d’étranglement. Le goulot d’étranglement sera la puissance de calcul, qui continuera à devenir moins chère et plus puissante au fil du temps.

Cela change les paramètres économiques de l’exploitation. Les informations qu’il était auparavant trop coûteux d’analyser, de combiner ou d’exploiter peuvent désormais être traitées en continu et à grande échelle. Un acteur n’a plus besoin de justifier le coût de l’affectation d’une personne pour vous espionner, vous ou votre entreprise.

Les exploiteurs n’ont pas besoin d’avoir toujours raison

Une inférence n’a pas besoin d’être exacte dans 100 % des cas pour être utile. Elle doit seulement conférer un avantage statistique.

Un annonceur capable d’améliorer légèrement son estimation du moment où une personne est réceptive à une offre peut en tirer profit sur des millions d’impressions. Un escroc peut gagner de l’argent même si la plupart de ses tentatives échouent. Un employeur, un assureur ou un concurrent peut tirer profit d’une évaluation probabiliste erronée dans de nombreux cas individuels, mais utile en moyenne.

Les faux positifs n’éliminent pas le risque. Une inférence erronée concernant une maladie, une détresse, une vulnérabilité, une malhonnêteté ou une intention peut néanmoins affecter une décision, une négociation ou la réputation d’une personne. La personne évaluée peut ne jamais savoir quelles informations déduites ont été utilisées, ni disposer d’une possibilité réelle de les contester.

Où les informations des agents peuvent fuiter

Les informations peuvent circuler vers des tiers lorsque des agents envoient du contexte à des fournisseurs externes d’IA de pointe, lorsque des agents exécutés localement communiquent avec le monde extérieur, lorsque des agents échangent des informations avec d’autres agents dans un contexte commercial ou client, et même lorsqu’un agent communique directement avec une personne externe.

Les mêmes catégories d’informations peuvent apparaître dans les prompts, les documents, les historiques de conversation, les appels d’outils, les journaux de flux de travail et les messages entre agents. Un message d’agent peut contenir des identifiants, des connaissances stratégiques, des inférences sur des personnes ou une carte physique tout aussi facilement qu’un fichier classique.

La divulgation externe n’exige pas non plus qu’un agent envoie un document entier. Un agent peut révéler des informations sensibles au moyen d’une courte requête, d’une demande d’aide, d’un résumé, d’un paramètre d’outil ou d’une réponse donnée à une autre partie.

L’inférence locale n’élimine pas les fuites d’informations

L’inférence locale n’élimine pas ce problème. Elle change simplement l’endroit où le modèle s’exécute, et non le fait que les informations doivent toujours sortir.

L’inférence locale sera de plus en plus utilisée à mesure que son coût diminuera. Toutefois, les modèles de pointe continueront d’être fournis par des entreprises d’IA dans le cloud, car l’entraînement et la mise à disposition des modèles les plus performants nécessitent une puissance de calcul coûteuse qui dépasse les moyens de la plupart des gens. La fourniture via le cloud permet également aux prestataires de contrôler l’accès aux nouveaux modèles et d’observer leurs performances dans des conditions réelles d’utilisation.

Même lorsque le modèle principal s’exécute localement, les agents peuvent toujours avoir besoin de communiquer avec des outils, des services, des clients, des robots et d’autres agents externes. L’inférence locale constitue donc un contrôle important, mais pas une solution complète.

Les agents ont besoin de limites d’accès internes

Les agents auront également besoin de limites internes. Les employés ne bénéficient pas d’un accès illimité à tous les systèmes et documents de l’entreprise ; de même, les agents ne devraient recevoir et partager que les informations nécessaires à leur rôle et à leur tâche.

Un agent chargé d’aider le service client ne devrait pas hériter automatiquement d’un accès au code source, aux dossiers juridiques ou aux communications de la direction. Un agent qui coordonne un robot n’a pas nécessairement besoin d’accéder aux dossiers des employés. Le fait qu’un agent ait besoin d’informations ne signifie pas que chaque agent en aval a besoin des mêmes informations.

Ces limites doivent également régir la communication entre agents. Les informations ne devraient pas se propager simplement parce qu’un autre agent les demande. L’accès devrait être limité à la tâche, restreint aux informations nécessaires et encadré par des règles explicites concernant ce qui peut être conservé ou partagé.

Gouvernance de l’information pour un monde d’agents

Il s’agit, en définitive, d’un problème de gouvernance des données. Les politiques statiques conçues pour les documents et les bases de données ne suffiront pas lorsque les informations circuleront en permanence dans les prompts, les outils, les agents et les systèmes physiques. La gouvernance doit également prendre en compte les agents qui, s’ils disposent d’autorisations suffisantes, peuvent modifier les configurations, les outils ou d’autres éléments de l’environnement d’exploitation censés les contraindre.

Les organisations et les individus auront besoin de moyens permettant de déterminer à quelles informations un agent peut accéder, quelles informations doivent être expurgées avant de franchir une frontière de confiance, quels agents peuvent les recevoir et quelles traces de ces divulgations existent. Ils auront également besoin de contrôles pour les informations qui deviennent sensibles par agrégation ou inférence, et non en raison de leur classification initiale.

Il existe également un problème d’indépendance. Les fournisseurs d’IA poursuivent leurs propres objectifs légitimes : améliorer leurs modèles, appliquer les politiques de sécurité et de lutte contre les abus, gérer la capacité et les coûts, respecter leurs obligations légales, réaliser des bénéfices et développer de nouveaux produits. Ces objectifs ne se confondent pas avec la protection de l’avantage concurrentiel ou de la continuité opérationnelle de chaque client. Les fournisseurs peuvent aussi modifier leurs pratiques d’application à court préavis, et ils le font.

Les accords d’entreprise, les engagements de non-entraînement et les contrôles de conformité peuvent réduire les risques, mais n’éliminent pas cette dépendance. Les organisations utiliseront également plusieurs modèles, fournisseurs et systèmes d’inférence locale. Elles ont besoin d’une couche indépendante de confidentialité et de gouvernance qui reste sous leur contrôle et applique une politique cohérente à cet ensemble, afin de pouvoir exploiter la meilleure intelligence disponible sans exposer plus de contexte sensible que nécessaire ni compter sur chaque fournisseur pour appliquer les mêmes règles. Un accord avec un fournisseur d’IA n’empêche pas vos données de fuiter par des failles de sécurité, d’être partagées avec des sous-traitants et des employés, ou d’être divulguées en vertu d’ordonnances judiciaires ou par des portes dérobées gouvernementales.

La confidentialité et la restriction des informations deviendront une infrastructure essentielle utilisée par toutes les entreprises et tous les individus. L’objectif n’est pas d’empêcher les agents d’utiliser les informations. Il est de faire en sorte que des agents de plus en plus puissants ne puissent utiliser que les informations dont ils ont réellement besoin, sans que chaque interaction ne devienne un transfert incontrôlé de connaissances vers le monde extérieur.

Agent Redactor : la première étape vers un contrôle vérifiable

Pour construire cette infrastructure de confidentialité multimodale, nous devons commencer là où les agents laissent aujourd’hui échapper le plus d’informations. Il s’agit des textes, des prompts et des appels d’outils envoyés aux fournisseurs d’IA.

Agent Redactor est un proxy local open source qui se place directement entre les agents d’IA et leurs points de terminaison LLM. À l’aide d’un modèle d’IA sur l’appareil, de règles déterministes et d’une correspondance de mots-clés, il intercepte les demandes sortantes et en expurge le contexte sensible avant même qu’elles ne quittent votre machine. Il rétablit ensuite parfaitement les valeurs d’origine dans les réponses afin que vos flux de travail continuent de fonctionner sans interruption. Il a été testé avec Claude Code, Codex, Hermes, OpenClaw et OpenCode. Il devrait également fonctionner avec d’autres frameworks d’agents, mais cela n’a pas été testé.

Aujourd’hui, Agent Redactor traite la voie de fuite la plus immédiate et la plus concrète : le contexte écrit envoyé par les agents à des fournisseurs de modèles externes. Mais notre vision va bien au-delà des textes envoyés à un fournisseur d’IA.

Agent Redactor constitue l’étape fondatrice d’une vision beaucoup plus vaste. Notre objectif ultime est de construire exactement la couche de contrôle multimodale décrite dans cette thèse : une couche capable de gouverner des modalités telles que la voix, la vidéo, la télémétrie du monde physique et les inférences biométriques avant qu’elles ne soient exposées à des agents tiers, à des fournisseurs d’IA ou à tout environnement non fiable. Nous construisons l’architecture d’un avenir dans lequel vous pourrez exploiter pleinement la puissance des agents sans renoncer aux données qui rendent votre entreprise défendable et font de votre vie privée ce qu’elle est : la vôtre.

Nous pensons qu’Agent Redactor sera disruptif en transférant le contrôle de l’information des promesses des fournisseurs d’IA vers une couche locale et vérifiable, gouvernée par l’utilisateur.

Il s’agit d’une entreprise colossale qui exige une approche ouverte et collaborative. L’avenir que nous avons décrit arrive rapidement.

Le moment de sécuriser nos données, c’est maintenant, avant que l’écosystème des agents ne se referme et ne soit contrôlé par quelques grands acteurs. Nous vous invitons à découvrir Agent Redactor. Testez-le dans vos flux de travail, faites-nous part de vos commentaires ou contribuez directement au code. Nous devons démontrer la demande pour une confidentialité vérifiable et intégrer ces contrôles au système dès maintenant, avant que les architectures d’agents ne se ferment définitivement. Rejoignez-nous pour construire l’infrastructure de confidentialité de l’ère des agents.