Agenti ovunque: il flusso di informazioni - Negative Star Innovators Blog

La nostra tesi è che ogni singolo essere umano finirà per dirigere agenti di IA sia in ambito digitale sia fisico, nella propria vita personale e professionale. Persino il lavoro fisico sarà automatizzato dai robot e orchestrato da agenti diretti dagli esseri umani. Molti agenti opereranno in modo persistente con poca o nessuna supervisione umana continuativa, delegando attività e scambiando informazioni con altri agenti molto tempo dopo essere stati configurati da una persona. Questi agenti eseguiranno lavori e scambieranno informazioni su una scala che gli esseri umani non potranno gestire né comprendere manualmente. Semplicemente, non ci sarà abbastanza tempo umano per comprendere l’enorme quantità di informazioni scambiate da questi agenti. Ogni agente e ogni interazione aggiuntivi aumentano la superficie attraverso cui le informazioni possono fluire verso terzi, con implicazioni pericolose.

Riteniamo che gli agenti faranno da intermediari in ogni aspetto della vita quotidiana partecipando a chiamate, cercando nelle registrazioni passate, gestendo messaggi, recuperando documenti, utilizzando telecamere, effettuando acquisti, controllando robot e rappresentando persone nelle trattative. Spesso, ciascuna parte avrà il proprio agente. In un colloquio di lavoro, l’agente del datore di lavoro potrà trascrivere e analizzare la conversazione mentre l’agente del candidato recupera le esperienze pertinenti, valuta le affermazioni del datore di lavoro e consiglia il candidato. Nella negoziazione di un contratto, l’agente di ciascuna parte potrà esaminare le condizioni proposte in base alle proprie priorità, segnalare i rischi e proporre revisioni prima che le persone coinvolte approvino l’accordo definitivo.

Anche se non utilizzi personalmente gli agenti, le informazioni che condividi con altre persone e organizzazioni possono comunque essere elaborate da agenti che non controlli. Tali agenti potranno conservare e analizzare questi dati, ricavarne nuove informazioni e agire sulla base dei risultati.

Quali informazioni possono fuoriuscire

Le informazioni che possono fuoriuscire ed essere utilizzate contro di noi vanno ben oltre le informazioni di identificazione personale (Personally Identifiable Information, PII) e le credenziali.

Registri riservati e credenziali di accesso
Informazioni private per natura o che possono essere utilizzate per accedere a conti, beni, identità o comunicazioni private. Queste includono PII, password, token di autenticazione, numeri di telefono, indirizzi, dati di conti e pagamenti, documenti finanziari e legali, comunicazioni private e registri relativi a conti e transazioni dei clienti. Questi rischi riguardano sia gli individui sia le organizzazioni e vanno ben oltre le definizioni convenzionali di PII.
Contesto privato, piani e know-how
Informazioni la cui sensibilità deriva da ciò che rivelano su intenzioni, capacità, metodi, relazioni o conoscenze accumulate. Per le aziende, queste includono la strategia di prodotto, i metodi proprietari, la ricerca, le strategie di prezzo e le condizioni commerciali non pubbliche, le relazioni con i fornitori, le strategie di approvvigionamento, le condizioni negoziate, il codice sorgente proprietario, le informazioni sui clienti, i documenti interni e il know-how operativo. Per gli individui, includono i progetti privati, le opere creative inedite, gli hobby, gli interessi e le attività ricreative, i piani personali e professionali, le relazioni familiari, sociali e professionali, gli obblighi e le abitudini personali e altri contesti privati la cui divulgazione potrebbe consentire marketing manipolatorio, truffe mirate, danni alla reputazione o alle relazioni, perdita di potere negoziale o minacce ai loro mezzi di sostentamento, alla loro autonomia o sicurezza.
Dati umani sensibili e inferenze
I dati biometrici, fisiologici e comportamentali e le inferenze da essi ricavate possono essere utilizzati per identificarci, dedurre il nostro stato di salute mentale e fisica, le nostre preferenze e avversioni e creare modelli che prevedano come probabilmente ci comporteremo in determinate circostanze. Ad esempio, i ricercatori hanno dimostrato che le normali videocamere possono rilevare minuti cambiamenti fisiologici per misurare parametri di salute fisica come battiti cardiaci, pressione sanguigna, saturazione dell’ossigeno nel sangue, frequenza respiratoria, variabilità della frequenza cardiaca ed età senza alcun contatto fisico [1] [2] [3]. Nell’ambito della salute mentale e cognitiva, i “biomarcatori vocali” estratti da brevi registrazioni audio possono indicare la presenza di demenza, depressione, insonnia e ansia analizzando caratteristiche uditive sottili come velocità del parlato, intonazione, tassi di attraversamento dello zero e scelta del vocabolario [4] [5] [6] [7]. I segnali radar Wi-Fi e RF possono rilevare le nostre posizioni corporee precise, le fasi del sonno, le frequenze respiratorie e i battiti cardiaci misurando il modo in cui le radiofrequenze rimbalzano sul corpo umano, persino attraverso le pareti [8] [9] [10]. L’andatura umana fornisce un altro flusso di dati sensibili: gli schemi di camminata possono essere utilizzati per identificare gli individui, la velocità dell’andatura è associata alla sopravvivenza negli anziani e le caratteristiche dell’andatura possono indicare disturbi neurologici, carico cognitivo, affaticamento e privazione del sonno [11] [12] [13] [14] [15] [16]. Inoltre, modalità come il tracciamento oculare fisiologico — che valuta la dilatazione delle pupille, la durata della fissazione e gli schemi dello sguardo — possono valutare il nostro carico cognitivo, rivelare strategie di risoluzione dei problemi specifiche di un’attività e aspetti delle prestazioni nell’attività, nonché indicare le nostre preferenze e avversioni [17] [18] [19].
Operazioni nel mondo fisico e dati dei sensori
Informazioni acquisite da robot, veicoli, telecamere, microfoni e altri sensori fisici. Queste includono video, audio, mappe spaziali, posizioni precise, planimetrie di abitazioni o impianti, eventi di sicurezza, telemetria delle macchine, schemi domestici e di movimento e i processi operativi che rivelano il reale funzionamento di un’azienda o di un nucleo familiare. L’esposizione può creare rischi per la privacy, la sicurezza e la sicurezza fisica, non solo i rischi convenzionali per la sicurezza dei dati.

Queste categorie si sovrappongono e le informazioni che appaiono innocue se isolate possono diventare sensibili quando vengono collegate ad altri dati, accumulate nel tempo o utilizzate per ricavare nuove inferenze.

Come le informazioni divulgate possono essere utilizzate contro di te

Come i registri riservati e le credenziali possono essere utilizzati contro di te

Password, token di autenticazione e dati dei conti possono fornire accesso immediato a conti, beni e comunicazioni private. Altri registri potrebbero non fornire accesso immediato, ma possono esporre controversie legali, pressioni finanziarie, relazioni con i clienti, informazioni sanitarie o conversazioni private.

Per un individuo, questo può significare furto d’identità, frode, ricatto o esposizione della vita privata. Per un’azienda, può significare danni ai clienti, responsabilità normative, interruzioni operative e perdita di fiducia. Un registro divulgato può anche diventare il punto di partenza per un attacco più ampio: un solo documento può rivelare nomi di conti, sistemi interni, relazioni o pratiche di sicurezza che rendono più efficaci gli attacchi successivi.

Il caso delle aziende: i tuoi dati e il contesto accumulato sono il tuo fossato

I tuoi dati sono il tuo fossato. Perderne il controllo può esporre la tua azienda, rafforzare i concorrenti ed erodere la tua differenziazione. Se le aziende di IA all’avanguardia addestrano i propri modelli sui dati della tua azienda, ciò che apprendono potrà migliorare i risultati che forniscono a tutti, compresi i tuoi concorrenti. Le conoscenze accumulate all’interno della tua azienda possono quindi diventare una capacità disponibile su tutto il mercato. I fornitori di IA possono inoltre espandersi nei mercati dei propri clienti. Claude Design potrebbe competere con Figma, mentre Personal Finance in Claude potrebbe competere con i servizi di consulenza finanziaria e di finanza personale. Potresti finire per pagare un futuro concorrente fornendogli al contempo il contesto che lo aiuta a costruire il tuo sostituto.

L’IA sta rendendo meno costoso avviare e gestire un’azienda e sviluppare prodotti. Man mano che lo sviluppo dei prodotti e le operazioni diventano più semplici, i mercati si riempiranno di offerte simili in competizione per un’attenzione limitata. In questo contesto, i tuoi dati e il tuo know-how operativo sono tra i pochi fossati che possono rimanere.

Il rischio non si limita al riutilizzo deliberato da parte di un fornitore di IA. Una volta che le informazioni escono dal tuo controllo, possono essere esposte attraverso una violazione della sicurezza, conservate più a lungo del previsto, condivise incautamente con dipendenti, appaltatori o terzi oppure divulgate attraverso procedimenti legali come citazioni, ordini del tribunale, discovery o backdoor governative. Possono anche essere combinate con altri set di dati per rivelare più di quanto intendevi condividere.

Il caso degli individui: relazioni, abitudini e manipolazione

Per gli individui, il danno non si limita al furto d’identità o all’esposizione di un documento privato. Il contesto accumulato può rivelare relazioni familiari e sociali, obblighi personali, hobby, abitudini, intenzioni, limitazioni, piani futuri e le nostre condizioni psicologiche più intime. Può mostrare chi è legato a chi, chi si fida di chi, chi dipende da chi e quali pressioni subisce una persona. Tutto questo sta già accadendo, ma l’IA ha cambiato i fattori economici, che esamineremo più avanti.

Le società di marketing possono utilizzare queste informazioni per produrre pubblicità altamente individualizzata e manipolatoria. I truffatori possono utilizzare lo stesso contesto per rendere più convincenti richieste fraudolente e furti d’identità. Un truffatore che conosca le relazioni familiari, i piani attuali e futuri e gli schemi di comunicazione di una persona potrebbe utilizzare tali informazioni per rendere credibile l’imitazione deepfake di un familiare.

Questo contesto può anche indebolire la posizione negoziale di una persona. Un datore di lavoro, un acquirente, un cliente o un’altra controparte potrebbe scoprire con quanta urgenza qualcuno abbia bisogno di un lavoro o di una vendita, quali alternative abbia o quali limitazioni stiano guidando le sue decisioni. Le abitudini private e le informazioni sulle relazioni possono inoltre creare rischi per l’autonomia e la sicurezza, tra cui manipolazione, stalking, coercizione e contatti indesiderati.

Nessun singolo fatto deve apparire altamente sensibile perché il quadro accumulato diventi pericoloso.

Come i dati umani sensibili possono essere utilizzati contro di te

Pensa a cosa accadrebbe al prezzo delle azioni di un’azienda se il suo amministratore delegato mostrasse segni di disagio mentale, disturbi psichiatrici e/o malattia durante una conference call sui risultati, che l’IA potrebbe rilevare monitorando la voce e il corpo dell’amministratore delegato. Il risultato potrebbe essere disastroso anche se l’IA producesse un falso positivo.

Un altro esempio è che le aziende potrebbero determinare quali immagini e argomenti ti interessano, quali persone ti attraggono sessualmente — fino alle singole caratteristiche —, cosa non ti piace vedere e quali stili di comunicazione ritieni più persuasivi. Potrebbero quindi manipolarti sulla base di tali informazioni, ad esempio utilizzando video di IA generativa per creare milioni di annunci personalizzati per milioni di individui — un video personalizzato per ciascuno — e trasmettere ciascun annuncio nel momento in cui quella persona è più propensa a effettuare un acquisto.

Un selezionatore che esamina la tua videochiamata potrebbe essere in grado di stimare in tempo reale quanto tu abbia disperatamente bisogno di un lavoro e utilizzare questa inferenza per giustificare un’offerta molto bassa. Una compagnia di assicurazione sanitaria potrebbe modificare i tuoi premi sulla base di una conversazione telefonica senza mai spiegarti perché la sua valutazione del rischio è cambiata.

L’inferenza non deve essere conclusiva perché qualcuno agisca sulla base di essa. Né la persona interessata deve sapere che l’inferenza è stata effettuata. Nella maggior parte dei casi, non lo verrebbe mai a sapere. L’approccio migliore consiste nell’impedire fin dall’inizio che inferenze biologiche e psicologiche vengano generate o condivise a partire da video, audio e altri flussi di dati.

Esposizione nel mondo fisico: sicurezza, protezione e processi operativi

I dati del mondo fisico rivelano più degli oggetti che compaiono nel flusso di una telecamera. Le mappe degli impianti possono esporre ingressi, aree riservate e copertura della sicurezza. La telemetria di robot e macchine può rivelare ritmi di produzione, capacità, problemi di manutenzione, programmi operativi e dettagli di processi proprietari. Gli eventi di sicurezza possono mostrare dove i sistemi si guastano e dove esistono vulnerabilità fisiche.

In un’abitazione, mappe spaziali, telecamere, microfoni e schemi di movimento possono rivelare la planimetria della casa, quando sono presenti persone, quali oggetti personali sensibili sono presenti, quali stanze utilizzano e come si muovono nelle loro abitudini quotidiane. Le informazioni raccolte per svolgere un’attività fisica utile possono quindi diventare informazioni sull’occupazione, sulla vulnerabilità e sull’analisi comportamentale.

Man mano che gli agenti acquisiranno il controllo di robot, veicoli e altri sistemi fisici, le informazioni divulgate non si limiteranno a descrivere il mondo fisico. Potranno anche rivelare come influenzare i sistemi che agiscono al suo interno.

Perché l’IA cambia i fattori economici dello sfruttamento delle informazioni

L’IA consente di analizzare più informazioni e di ricavarne più inferenze di quanto sia mai stato possibile. Inoltre, l’IA può agire autonomamente sulle informazioni. Ad esempio, può inviare automaticamente messaggi, indirizzare annunci pubblicitari, generare contenuti, approvare o respingere richieste, fissare importi di commissioni, avviare transazioni e controllare robot senza attendere che una persona esamini ogni decisione.

In passato, il tempo umano limitato e il suo costo facevano sì che la maggior parte delle informazioni disponibili non potesse essere utilizzata appieno. Solo quando il rendimento potenziale giustificava il costo si assisteva ad analisi e azioni altamente efficaci, come le agenzie di intelligence degli Stati-nazione che si spiavano a vicenda o lo spionaggio industriale tra aziende di elevato valore.

Il costo dell’analisi di massa e dell’uso altamente individualizzato delle informazioni tramite l’IA sta diminuendo rapidamente. Il costo del tempo umano non è più il collo di bottiglia. Il collo di bottiglia sarà la capacità di calcolo, che continuerà a diventare più economica e potente nel tempo.

Questo cambia i fattori economici dello sfruttamento. Le informazioni che in precedenza era troppo costoso analizzare, combinare o utilizzare possono ora essere elaborate continuamente e su larga scala. Un attore non deve più giustificare il costo di incaricare una persona di indagare su di te o sulla tua azienda.

Chi sfrutta le informazioni non deve avere sempre ragione

Un’inferenza non deve essere corretta il 100% delle volte per essere utile. Deve soltanto fornire un vantaggio statistico.

Un inserzionista in grado di migliorare leggermente la propria stima del momento in cui una persona è ricettiva a un’offerta può trarne vantaggio su milioni di impression. Un truffatore può ottenere profitti anche se la maggior parte dei tentativi fallisce. Un datore di lavoro, un assicuratore o un concorrente può beneficiare di una valutazione probabilistica che è errata in molti casi individuali, ma utile in media.

I falsi positivi non eliminano il rischio. Un’inferenza errata su malattia, disagio, vulnerabilità, disonestà o intenzione può comunque influire su una decisione, una trattativa o la reputazione di una persona. La persona valutata potrebbe non sapere mai quali informazioni dedotte siano state utilizzate né avere una reale opportunità di contestarle.

Dove fuoriescono le informazioni degli agenti

Le informazioni possono fluire verso terzi quando gli agenti inviano contesto a fornitori esterni di IA all’avanguardia, quando agenti eseguiti localmente comunicano con il mondo esterno, quando gli agenti scambiano informazioni con altri agenti in un contesto aziendale o di clientela e persino quando un agente comunica direttamente con una persona esterna.

Le stesse categorie di informazioni possono comparire in prompt, documenti, cronologie delle conversazioni, chiamate agli strumenti, log dei flussi di lavoro e messaggi tra agenti. Un messaggio di un agente può contenere credenziali, conoscenze strategiche, inferenze umane o una mappa fisica con la stessa facilità di un file convenzionale.

Inoltre, la divulgazione esterna non richiede che un agente invii un intero documento. Un agente può rivelare informazioni sensibili attraverso una breve query, una richiesta di assistenza, un riepilogo, un parametro di uno strumento o una risposta fornita a un’altra parte.

L’inferenza locale non elimina la fuoriuscita di informazioni

L’inferenza locale non elimina questo problema. Cambia semplicemente il luogo in cui viene eseguito il modello, non il fatto che le informazioni debbano comunque uscire.

L’inferenza locale sarà utilizzata in misura crescente man mano che il suo costo diminuirà. Tuttavia, i modelli all’avanguardia continueranno a essere forniti dalle aziende di IA nel cloud, perché l’addestramento e la distribuzione dei modelli più capaci richiedono una capacità di calcolo costosa che supera le possibilità economiche della maggior parte delle persone. La fornitura tramite cloud consente inoltre ai provider di controllare l’accesso ai nuovi modelli e di osservarne le prestazioni nell’uso reale.

Anche quando il modello principale viene eseguito localmente, gli agenti potrebbero dover comunicare con strumenti, servizi, clienti, robot e altri agenti esterni. L’inferenza locale è quindi un controllo importante, ma non una soluzione completa.

Gli agenti necessitano di confini di accesso interni

Gli agenti avranno bisogno anche di confini interni. I dipendenti non ricevono accesso illimitato a tutti i sistemi e i documenti aziendali; allo stesso modo, gli agenti dovrebbero ricevere e condividere soltanto le informazioni necessarie per il loro ruolo e la loro attività.

Un agente che assiste il supporto clienti non dovrebbe ereditare automaticamente l’accesso al codice sorgente, ai documenti legali o alle comunicazioni dei dirigenti. Un agente che coordina un robot non ha necessariamente bisogno di accedere ai registri dei dipendenti. Il fatto che un agente abbia bisogno di informazioni non significa che ogni agente a valle abbia bisogno delle stesse informazioni.

Questi confini devono disciplinare anche la comunicazione tra agenti. Le informazioni non dovrebbero propagarsi semplicemente perché un altro agente le richiede. L’accesso dovrebbe essere circoscritto all’attività, limitato alle informazioni necessarie e vincolato da regole esplicite su ciò che può essere conservato o condiviso.

Governance delle informazioni per un mondo di agenti

In definitiva, si tratta di un problema di governance dei dati. Le politiche statiche scritte per documenti e database non saranno sufficienti quando le informazioni si sposteranno continuamente attraverso prompt, strumenti, agenti e sistemi fisici. La governance deve inoltre tenere conto degli agenti che, se dotati di autorizzazioni sufficienti, possono modificare configurazioni, strumenti o altre parti dell’ambiente operativo destinate a limitarli.

Organizzazioni e individui avranno bisogno di strumenti per determinare a quali informazioni un agente possa accedere, quali informazioni debbano essere oscurate prima di lasciare un confine di fiducia, quali agenti possano riceverle e quali registrazioni esistano di tali divulgazioni. Avranno inoltre bisogno di controlli per le informazioni che diventano sensibili attraverso l’aggregazione o l’inferenza, anziché in base alla loro classificazione originaria.

Esiste anche un problema di indipendenza. I fornitori di IA hanno propri obiettivi legittimi: migliorare i propri modelli, applicare politiche di sicurezza e contro gli abusi, gestire capacità e costi, adempiere agli obblighi legali, realizzare profitti ed espandersi in nuovi prodotti. Tali obiettivi non coincidono con la protezione del vantaggio competitivo o della continuità operativa di ogni cliente. I fornitori possono anche modificare le pratiche di applicazione con breve preavviso, e lo fanno.

Gli accordi aziendali, gli impegni a non utilizzare i dati per l’addestramento e i controlli di conformità possono ridurre il rischio, ma non eliminano questa dipendenza. Le organizzazioni utilizzeranno inoltre più modelli, fornitori e inferenza locale. Necessitano di un livello indipendente di privacy e governance che rimanga sotto il loro controllo e applichi politiche coerenti a tutta questa combinazione, consentendo loro di utilizzare la migliore intelligenza disponibile senza esporre più contesto sensibile del necessario né fare affidamento su ciascun fornitore per l’applicazione delle stesse regole. Un accordo con un fornitore di IA non impedisce che i tuoi dati fuoriescano attraverso violazioni della sicurezza, vengano condivisi con appaltatori e dipendenti o divulgati a seguito di ordini del tribunale o backdoor governative.

La privacy e la limitazione delle informazioni diventeranno infrastrutture essenziali utilizzate da tutte le aziende e da tutti gli individui. L’obiettivo non è impedire agli agenti di utilizzare le informazioni. È garantire che agenti sempre più potenti possano utilizzare soltanto le informazioni di cui hanno effettivamente bisogno, senza che ogni interazione diventi un trasferimento incontrollato di conoscenze verso il mondo esterno.

Agent Redactor: il primo passo verso un controllo verificabile

Per costruire questa infrastruttura di privacy multimodale, dobbiamo partire dal punto in cui oggi gli agenti disperdono il maggior numero di informazioni. Si tratta di testi, prompt e chiamate agli strumenti inviati ai fornitori di IA.

Agent Redactor è un proxy locale open source che si colloca direttamente tra gli agenti di IA e i loro endpoint LLM. Utilizzando un modello di IA sul dispositivo, regole deterministiche e corrispondenza di parole chiave, intercetta e oscura il contesto sensibile dalle richieste in uscita prima che lascino il tuo computer. Ripristina quindi perfettamente i valori originali nelle risposte, in modo che i tuoi flussi di lavoro continuino a funzionare senza interruzioni. Attualmente è stato testato con Claude Code, Codex, Hermes, OpenClaw e OpenCode. Dovrebbe funzionare anche con altri framework di agenti, ma non è ancora stato testato.

Oggi Agent Redactor affronta il percorso di fuoriuscita più immediato e concreto: il contesto scritto inviato dagli agenti a fornitori di modelli esterni. Ma la nostra visione va ben oltre il testo inviato a un fornitore di IA.

Agent Redactor è il passo fondamentale di una visione molto più ampia. Il nostro obiettivo finale è costruire esattamente il livello di controllo multimodale descritto in questa tesi: un livello in grado di governare modalità come voce, video, telemetria del mondo fisico e inferenze biometriche prima che vengano esposte ad agenti di terzi, fornitori di IA o qualsiasi ambiente non affidabile. Stiamo costruendo l’architettura per un futuro in cui potrai sfruttare appieno la potenza degli agenti senza rinunciare ai dati che rendono la tua azienda difendibile e fanno sì che la tua vita privata rimanga tua.

Riteniamo che Agent Redactor avrà un effetto dirompente spostando il controllo delle informazioni dalle promesse dei fornitori di IA a un livello locale e verificabile, governato dall’utente.

Si tratta di un’impresa enorme che richiede un approccio aperto e collaborativo. Il futuro che abbiamo descritto sta arrivando rapidamente.

Il momento per proteggere i nostri dati è adesso, prima che l’ecosistema degli agenti si chiuda e venga controllato da pochi grandi attori. Ti invitiamo a scoprire Agent Redactor. Provalo nei tuoi flussi di lavoro, condividi il tuo feedback o contribuisci direttamente al codice sorgente. Dobbiamo dimostrare la domanda di privacy verificabile e integrare subito questi controlli nel sistema, prima che le architetture degli agenti si chiudano definitivamente. Unisciti a noi nella costruzione dell’infrastruttura di privacy per l’era degli agenti.