Agentes em toda parte: o fluxo de informações - Negative Star Innovators Blog

Nossa tese é que todo ser humano acabará dirigindo agentes de IA nos domínios digital e físico, em sua vida pessoal e profissional. Até mesmo o trabalho físico será automatizado por robôs e orquestrado por agentes dirigidos por seres humanos. Muitos agentes operarão de forma persistente com pouca ou nenhuma supervisão humana contínua, delegando tarefas e trocando informações com outros agentes muito depois de terem sido configurados por uma pessoa. Esses agentes executarão trabalhos e trocarão informações em uma escala que os seres humanos não conseguirão gerenciar nem compreender manualmente. Simplesmente não haverá tempo humano suficiente para entender a enorme quantidade de informações trocadas por esses agentes. Cada agente e interação adicionais aumentam a superfície por meio da qual as informações podem fluir para terceiros, com implicações perigosas.

Acreditamos que os agentes intermediarão todos os aspectos da vida cotidiana participando de chamadas, pesquisando gravações anteriores, gerenciando mensagens, recuperando documentos, operando câmeras, fazendo compras, controlando robôs e representando pessoas em negociações. Muitas vezes, cada parte terá seu próprio agente. Em uma entrevista de emprego, o agente do empregador poderá transcrever e analisar a conversa enquanto o agente do candidato recupera experiências relevantes, avalia as alegações do empregador e aconselha o candidato. Na negociação de um contrato, o agente de cada parte poderá analisar os termos propostos de acordo com suas próprias prioridades, sinalizar riscos e propor revisões antes que as pessoas envolvidas aprovem o acordo final.

Mesmo que você não use agentes, as informações que compartilha com outras pessoas e organizações ainda poderão ser processadas por agentes que você não controla. Esses agentes poderão reter e analisar esses dados, derivar novas informações deles e agir com base nos resultados.

Quais informações podem vazar

As informações que podem vazar e ser usadas contra nós vão muito além das informações de identificação pessoal (PII) e das credenciais.

Registros confidenciais e credenciais de acesso
Informações que são privadas por natureza ou que podem ser usadas para acessar contas, ativos, identidades ou comunicações privadas. Isso inclui PII, senhas, tokens de autenticação, números de telefone, endereços, dados de contas e pagamentos, registros financeiros e jurídicos, comunicações privadas e registros de contas e transações de clientes. Esses riscos se aplicam tanto a indivíduos quanto a organizações e vão muito além das definições convencionais de PII.
Contexto privado, planos e know-how
Informações cuja sensibilidade decorre do que revelam sobre intenções, capacidades, métodos, relacionamentos ou conhecimentos acumulados. Para as empresas, isso inclui estratégia de produtos, métodos proprietários, pesquisas, estratégias de preços e condições comerciais não públicas, relacionamentos com fornecedores, estratégias de sourcing, condições negociadas, código-fonte proprietário, inteligência sobre clientes, documentos internos e know-how operacional. Para os indivíduos, isso inclui projetos privados, trabalhos criativos inéditos, hobbies, interesses e atividades de lazer, planos pessoais e profissionais, relacionamentos familiares, sociais e profissionais, obrigações e rotinas pessoais e outros contextos privados cuja divulgação poderia permitir marketing manipulador, golpes direcionados, danos à reputação ou aos relacionamentos, perda de poder de negociação ou ameaças ao seu sustento, autonomia ou segurança.
Dados humanos sensíveis e inferências
Dados biométricos, fisiológicos e comportamentais, e as inferências deles derivadas, podem ser usados para nos identificar, inferir nossa saúde mental e física, nossas preferências e aversões, e criar modelos que prevejam como provavelmente nos comportaremos em determinadas circunstâncias. Por exemplo, pesquisadores demonstraram que câmeras de vídeo comuns podem captar mudanças fisiológicas minúsculas para medir indicadores de saúde física como batimentos cardíacos, pressão arterial, saturação de oxigênio no sangue, frequência respiratória, variabilidade da frequência cardíaca e idade sem qualquer contato físico [1] [2] [3]. No campo da saúde mental e cognitiva, “biomarcadores de voz” extraídos de breves gravações de áudio podem indicar se você tem demência, depressão, insônia e ansiedade por meio da análise de características auditivas sutis como velocidade da fala, tom, taxas de cruzamento por zero e escolha de vocabulário [4] [5] [6] [7]. Sinais de Wi-Fi e radar de RF podem detectar nossas posições corporais precisas, estágios do sono, frequências respiratórias e batimentos cardíacos medindo como as radiofrequências refletem no corpo humano, mesmo através de paredes [8] [9] [10]. A marcha humana fornece outro fluxo de dados sensíveis: padrões de caminhada podem ser usados para identificar indivíduos, a velocidade da marcha está associada à sobrevivência de idosos e as características da marcha podem indicar distúrbios neurológicos, carga cognitiva, fadiga e privação de sono [11] [12] [13] [14] [15] [16]. Além disso, modalidades como o rastreamento ocular fisiológico — que avalia a dilatação das pupilas, a duração da fixação e os padrões do olhar — podem avaliar nossa carga cognitiva, revelar estratégias de resolução de problemas específicas de tarefas e aspectos do desempenho nessas tarefas, e indicar nossas preferências e aversões [17] [18] [19].
Operações no mundo físico e dados de sensores
Informações captadas por robôs, veículos, câmeras, microfones e outros sensores físicos. Isso inclui vídeo, áudio, mapas espaciais, localizações precisas, layouts de residências ou instalações, eventos de segurança, telemetria de máquinas, padrões domésticos e de movimento e os processos operacionais que revelam como uma empresa ou residência realmente funciona. A exposição pode criar riscos para a privacidade, a segurança e a segurança física, não apenas riscos convencionais para a segurança dos dados.

Essas categorias se sobrepõem, e informações que parecem inofensivas isoladamente podem se tornar sensíveis quando vinculadas a outros dados, acumuladas ao longo do tempo ou usadas para derivar novas inferências.

Como as informações vazadas podem ser usadas contra você

Como registros confidenciais e credenciais podem ser usados contra você

Senhas, tokens de autenticação e dados de contas podem fornecer acesso imediato a contas, ativos e comunicações privadas. Outros registros podem não fornecer acesso imediato, mas podem expor disputas judiciais, pressões financeiras, relacionamentos com clientes, informações de saúde ou conversas privadas.

Para um indivíduo, isso pode significar roubo de identidade, fraude, chantagem ou exposição da vida privada. Para uma empresa, pode significar danos aos clientes, responsabilidade regulatória, interrupção das operações e perda de confiança. Um registro vazado também pode se tornar o ponto de partida para um ataque maior: um único documento pode revelar nomes de contas, sistemas internos, relacionamentos ou práticas de segurança que tornem ataques subsequentes mais eficazes.

O caso das empresas: seus dados e o contexto acumulado são seu fosso

Seus dados são seu fosso. Perder o controle sobre eles pode expor sua empresa, fortalecer concorrentes e corroer sua diferenciação. Se empresas de IA de fronteira treinarem com os dados da sua empresa, o que aprenderem poderá melhorar os resultados que fornecem a todos, inclusive aos seus concorrentes. O conhecimento acumulado dentro da sua empresa pode, portanto, se tornar uma capacidade disponível em todo o mercado. Os provedores de IA também podem se expandir para os mercados de seus clientes. O Claude Design poderia competir com o Figma, enquanto o Personal Finance in Claude poderia competir com serviços de consultoria financeira e finanças pessoais. Você poderia acabar pagando um futuro concorrente enquanto fornece o contexto que o ajuda a criar o seu substituto.

A IA está tornando mais barato abrir e administrar uma empresa e desenvolver produtos. À medida que o desenvolvimento de produtos e as operações se tornam mais fáceis, os mercados se encherão de ofertas semelhantes competindo por atenção escassa. Nesse ambiente, seus dados e seu know-how operacional estão entre os poucos fossos que podem permanecer.

O risco não se limita à reutilização deliberada por um provedor de IA. Assim que as informações saem do seu controle, elas podem ser expostas por uma violação de segurança, retidas por mais tempo do que o esperado, compartilhadas descuidadamente com funcionários, contratados ou terceiros, ou divulgadas por meio de processos legais como intimações, ordens judiciais, produção de provas ou backdoors governamentais. Elas também podem ser combinadas com outros conjuntos de dados para revelar mais do que você pretendia compartilhar.

O caso dos indivíduos: relacionamentos, rotinas e manipulação

Para os indivíduos, o dano não se limita ao roubo de identidade ou à exposição de um documento privado. O contexto acumulado pode revelar relacionamentos familiares e sociais, obrigações pessoais, hobbies, rotinas, intenções, limitações, planos futuros e nossas condições psicológicas mais pessoais. Ele pode mostrar quem está ligado a quem, quem confia em quem, quem depende de quem e sob quais pressões uma pessoa está. Isso já está acontecendo, mas a IA mudou os fatores econômicos, que discutiremos mais adiante.

Empresas de marketing podem usar essas informações para produzir publicidade altamente individualizada e manipuladora. Golpistas podem usar o mesmo contexto para tornar solicitações fraudulentas e personificações mais convincentes. Um golpista que conheça os relacionamentos familiares, os planos atuais e futuros e os padrões de comunicação de uma pessoa poderia usar essas informações para fazer com que uma personificação de um familiar por deepfake parecesse crível.

Esse contexto também pode enfraquecer a posição de negociação de uma pessoa. Um empregador, comprador, cliente ou outra contraparte pode descobrir com que urgência alguém precisa de um emprego ou de uma venda, quais alternativas possui ou quais limitações estão moldando suas decisões. Rotinas privadas e informações sobre relacionamentos também podem criar riscos para a autonomia e a segurança, incluindo manipulação, perseguição, coerção e contato indesejado.

Nenhum fato isolado precisa parecer altamente sensível para que o panorama acumulado se torne perigoso.

Como os dados humanos sensíveis podem ser usados contra você

Considere o que aconteceria com o preço das ações de uma empresa se seu CEO apresentasse sinais de sofrimento mental, distúrbios psiquiátricos e/ou doença durante uma teleconferência de resultados que a IA pudesse detectar monitorando a voz e o corpo do CEO. O resultado ainda poderia ser desastroso se a IA produzisse um falso positivo.

Outro exemplo é que as empresas poderiam determinar quais imagens e temas atraem você, por quais pessoas você sente atração sexual — até mesmo por características individuais específicas —, o que você não gosta de ver e quais estilos de comunicação considera mais persuasivos. Elas poderiam então manipulá-lo com base nessas informações, por exemplo, usando vídeo de IA generativa para criar milhões de anúncios personalizados para milhões de indivíduos — um vídeo personalizado para cada pessoa — e veicular cada um no momento em que essa pessoa estiver mais suscetível a fazer uma compra.

Um entrevistador que analise sua videochamada poderá estimar em tempo real o quanto você está desesperado por um emprego e usar essa inferência para justificar uma oferta muito baixa. Uma seguradora de saúde poderia alterar seus prêmios com base em uma conversa telefônica sem nunca informar por que sua avaliação de risco mudou.

A inferência não precisa ser conclusiva para que alguém aja com base nela. Tampouco a pessoa afetada precisa saber que a inferência foi feita. Na maioria dos casos, ela nunca saberia. A melhor abordagem é impedir, desde o início, que inferências biológicas e psicológicas sejam geradas ou compartilhadas a partir de vídeos, áudios e outros fluxos de dados.

Exposição no mundo físico: segurança, proteção e processos operacionais

Os dados do mundo físico revelam mais do que os objetos que aparecem no vídeo de uma câmera. Mapas de instalações podem expor entradas, áreas restritas e cobertura de segurança. A telemetria de robôs e máquinas pode revelar taxas de produção, capacidade, problemas de manutenção, cronogramas operacionais e detalhes de processos proprietários. Eventos de segurança podem mostrar onde os sistemas falham e onde existem vulnerabilidades físicas.

Em uma residência, mapas espaciais, câmeras, microfones e padrões de movimento podem revelar a planta do imóvel, quando há pessoas presentes, quais itens pessoais sensíveis estão presentes, quais cômodos elas usam e como se movimentam em suas rotinas diárias. Informações coletadas para realizar uma tarefa física útil podem, portanto, se tornar informações sobre ocupação, vulnerabilidade e análise comportamental.

À medida que os agentes assumirem o controle de robôs, veículos e outros sistemas físicos, as informações vazadas não apenas descreverão o mundo físico. Elas também poderão revelar como influenciar os sistemas que atuam dentro dele.

Por que a IA muda os fatores econômicos da exploração da informação

A IA permite analisar mais informações e inferir mais informações do que jamais foi possível. Além disso, a IA pode agir sobre as informações por conta própria. Por exemplo, ela pode enviar mensagens automaticamente, direcionar anúncios, gerar conteúdo, aprovar ou rejeitar solicitações, definir valores de taxas, iniciar transações e controlar robôs sem esperar que uma pessoa analise cada decisão.

No passado, o tempo humano limitado e seu custo faziam com que a maior parte das informações disponíveis não pudesse ser usada em todo o seu potencial. Somente quando o retorno potencial justificava o custo víamos análises e ações altamente eficazes, como agências de inteligência de Estados-nação espionando umas às outras ou espionagem corporativa entre empresas de alto valor.

O custo da análise em massa e do uso altamente individualizado de informações por meio da IA está caindo rapidamente. O custo do tempo humano não é mais o gargalo. O gargalo será a computação, e a computação continuará a se tornar mais barata e mais potente com o tempo.

Isso muda os fatores econômicos da exploração. Informações que antes eram caras demais para analisar, combinar ou usar agora podem ser processadas continuamente e em escala. Um agente não precisa mais justificar o custo de designar uma pessoa para investigar você ou sua empresa.

Os exploradores não precisam estar certos o tempo todo

Uma inferência não precisa estar correta 100% do tempo para ser útil. Ela só precisa proporcionar uma vantagem estatística.

Um anunciante que consiga melhorar ligeiramente sua estimativa de quando alguém está suscetível a uma oferta pode se beneficiar em milhões de impressões. Um golpista pode lucrar mesmo que a maioria das tentativas fracasse. Um empregador, seguradora ou concorrente pode se beneficiar de uma avaliação probabilística que esteja errada em muitos casos individuais, mas seja útil na média.

Falsos positivos não eliminam o risco. Uma inferência falsa sobre doença, sofrimento, vulnerabilidade, desonestidade ou intenção ainda pode afetar uma decisão, uma negociação ou a reputação de uma pessoa. A pessoa avaliada talvez nunca saiba quais informações inferidas foram usadas nem tenha uma oportunidade significativa de contestá-las.

Onde as informações dos agentes vazam

As informações podem fluir para terceiros quando agentes enviam contexto a provedores externos de IA de fronteira, quando agentes executados localmente se comunicam com o mundo exterior, quando agentes trocam informações com outros agentes em um contexto empresarial ou de clientes e até mesmo quando um agente se comunica diretamente com uma pessoa externa.

As mesmas categorias de informações podem aparecer em prompts, documentos, históricos de conversas, chamadas de ferramentas, logs de fluxos de trabalho e mensagens entre agentes. Uma mensagem de agente pode conter credenciais, conhecimento estratégico, inferências humanas ou um mapa físico com a mesma facilidade de um arquivo convencional.

A divulgação externa também não exige que um agente envie um documento inteiro. Um agente pode revelar informações sensíveis por meio de uma consulta curta, um pedido de ajuda, um resumo, um parâmetro de ferramenta ou uma resposta dada a outra parte.

A inferência local não elimina o vazamento de informações

A inferência local não elimina esse problema. Ela apenas muda onde o modelo é executado, não se as informações ainda precisam sair.

A inferência local será cada vez mais utilizada à medida que seu custo diminuir. No entanto, os modelos de fronteira continuarão a ser fornecidos por empresas de IA na nuvem, porque treinar e servir os modelos mais capazes exige computação cara, além do orçamento da maioria das pessoas. O fornecimento pela nuvem também permite que os provedores controlem o acesso a novos modelos e observem seu desempenho no uso real.

Mesmo quando o modelo principal é executado localmente, os agentes ainda podem precisar se comunicar com ferramentas, serviços, clientes, robôs e outros agentes externos. Portanto, a inferência local é um controle importante, mas não uma solução completa.

Os agentes precisam de limites internos de acesso

Os agentes também precisarão de limites internos. Os funcionários não recebem acesso irrestrito a todos os sistemas e documentos da empresa; da mesma forma, os agentes só devem receber e compartilhar as informações necessárias para sua função e tarefa.

Um agente que auxilia o suporte ao cliente não deve herdar automaticamente acesso ao código-fonte, registros jurídicos ou comunicações de executivos. Um agente que coordena um robô não precisa necessariamente ter acesso aos registros dos funcionários. O fato de um agente precisar de informações não significa que todos os agentes subsequentes precisem das mesmas informações.

Esses limites também devem reger a comunicação entre agentes. As informações não devem se propagar simplesmente porque outro agente as solicita. O acesso deve ser delimitado pela tarefa, limitado às informações necessárias e restringido por regras explícitas sobre o que pode ser retido ou compartilhado.

Governança da informação para um mundo de agentes

Em última análise, este é um problema de governança de dados. Políticas estáticas escritas para documentos e bancos de dados não serão suficientes quando as informações circularem continuamente por prompts, ferramentas, agentes e sistemas físicos. A governança também deve levar em conta agentes que, se receberem permissões suficientes, podem alterar configurações, ferramentas ou outras partes do ambiente operacional destinadas a restringi-los.

Organizações e indivíduos precisarão de maneiras de determinar a quais informações um agente pode acessar, quais informações devem ser mascaradas antes de ultrapassar um limite de confiança, quais agentes podem recebê-las e quais registros existem dessas divulgações. Eles também precisarão de controles para informações que se tornam sensíveis por agregação ou inferência, e não por sua classificação original.

Também existe um problema de independência. Os provedores de IA têm objetivos próprios legítimos: melhorar seus modelos, aplicar políticas de segurança e contra abusos, gerenciar capacidade e custos, cumprir obrigações legais, obter lucro e expandir para novos produtos. Esses objetivos não são idênticos a proteger a vantagem competitiva ou a continuidade operacional de cada cliente. Os provedores também podem alterar suas práticas de aplicação com pouco aviso — e o fazem.

Acordos empresariais, compromissos de não treinamento e controles de conformidade podem reduzir riscos, mas não eliminam essa dependência. As organizações também usarão vários modelos, provedores e inferência local. Elas precisam de uma camada independente de privacidade e governança que permaneça sob seu controle e aplique políticas consistentes a toda essa combinação, permitindo que usem a melhor inteligência disponível sem expor mais contexto sensível do que o necessário nem depender de cada provedor para aplicar as mesmas regras. Um acordo com um provedor de IA não impede que seus dados vazem por violações de segurança, sejam compartilhados com contratados e funcionários ou sejam divulgados por ordens judiciais ou backdoors governamentais.

A privacidade e a restrição de informações se tornarão infraestrutura crítica usada por todas as empresas e pessoas. O objetivo não é impedir que os agentes usem informações. É garantir que agentes cada vez mais poderosos só possam usar as informações de que realmente precisam, sem que cada interação se torne uma transferência descontrolada de conhecimento para o mundo exterior.

Agent Redactor: o primeiro passo para um controle verificável

Para construir essa infraestrutura de privacidade multimodal, temos que começar onde os agentes mais estão vazando informações atualmente. Ou seja, textos, prompts e chamadas de ferramentas enviados a provedores de IA.

O Agent Redactor é um proxy local de código aberto que fica diretamente entre os agentes de IA e seus endpoints de LLM. Usando um modelo de IA no dispositivo, regras determinísticas e correspondência de palavras-chave, ele intercepta e mascara o contexto sensível das solicitações de saída antes que elas deixem sua máquina. Em seguida, ele restaura perfeitamente os valores originais nas respostas para que seus fluxos de trabalho continuem funcionando sem interrupção. Atualmente, ele foi testado para funcionar com Claude Code, Codex, Hermes, OpenClaw e OpenCode. Ele também deve funcionar com outros frameworks de agentes, mas isso ainda não foi testado.

Hoje, o Agent Redactor aborda o caminho de vazamento mais imediato e prático: o contexto escrito enviado por agentes a provedores de modelos externos. Mas nossa visão vai muito além do texto enviado a um provedor de IA.

O Agent Redactor é o passo fundamental de uma visão muito maior. Nosso objetivo final é construir exatamente a camada de controle multimodal descrita nesta tese: uma camada capaz de governar modalidades como voz, vídeo, telemetria do mundo físico e inferências biométricas antes que sejam expostas a agentes de terceiros, provedores de IA ou qualquer ambiente não confiável. Estamos construindo a arquitetura para um futuro em que você possa aproveitar plenamente o poder dos agentes sem abrir mão dos dados que tornam sua empresa defensável e mantêm sua vida privada como sua.

Acreditamos que o Agent Redactor será disruptivo ao transferir o controle das informações das promessas dos provedores de IA para uma camada local e verificável governada pelo usuário.

Este é um empreendimento enorme e exige uma abordagem aberta e colaborativa. O futuro que descrevemos está chegando rapidamente.

A janela para proteger nossos dados é agora, antes que o ecossistema de agentes se feche e passe a ser controlado por alguns grandes participantes. Convidamos você a conhecer o Agent Redactor. Teste-o em seus fluxos de trabalho, compartilhe seu feedback ou contribua diretamente com o código-base. Precisamos demonstrar a demanda por privacidade verificável e incorporar esses controles ao sistema agora, antes que as arquiteturas de agentes se fechem permanentemente. Junte-se a nós na construção da infraestrutura de privacidade para a era dos agentes.