Agentes por todas partes: el flujo de información - Blog de Negative Star Innovators

Nuestra tesis es que cada ser humano acabará dirigiendo agentes de IA en los ámbitos digital y físico, tanto en su vida personal como profesional. Incluso el trabajo físico será automatizado por robots y orquestado por agentes dirigidos por seres humanos. Muchos agentes funcionarán de forma persistente con poca supervisión humana continuada o sin ella, delegando tareas e intercambiando información con otros agentes mucho después de que una persona los haya configurado. Estos agentes ejecutarán trabajos e intercambiarán información a una escala que los seres humanos no podrán gestionar ni comprender manualmente. Sencillamente, no habrá suficiente tiempo humano para entender la enorme cantidad de información que intercambiarán estos agentes. Cada agente e interacción adicionales aumentan la superficie a través de la cual la información puede fluir hacia terceros, con implicaciones peligrosas.

Creemos que los agentes mediarán en todos los aspectos de la vida cotidiana uniéndose a llamadas, buscando en grabaciones anteriores, gestionando mensajes, recuperando documentos, manejando cámaras, realizando compras, controlando robots y representando a personas en negociaciones. A menudo, cada parte tendrá su propio agente. En una entrevista de trabajo, el agente del empleador podría transcribir y analizar la conversación mientras el agente del candidato recupera experiencia relevante, evalúa las afirmaciones del empleador y asesora al candidato. En la negociación de un contrato, el agente de cada parte puede revisar los términos propuestos en función de sus propias prioridades, señalar riesgos y proponer revisiones antes de que las personas implicadas aprueben el acuerdo final.

Aunque no uses agentes personalmente, la información que compartas con otras personas y organizaciones podrá seguir siendo procesada por agentes que no controlas. Esos agentes podrán conservar y analizar estos datos, derivar nueva información de ellos y actuar en función de los resultados.

Qué información puede filtrarse

La información que puede filtrarse y utilizarse contra nosotros va mucho más allá de la información de identificación personal (PII) y las credenciales.

Registros confidenciales y credenciales de acceso
Información que es privada por naturaleza o que puede utilizarse para acceder a cuentas, activos, identidades o comunicaciones privadas. Esto incluye PII, contraseñas, tokens de autenticación, números de teléfono, direcciones, datos de cuentas y pagos, registros financieros y legales, comunicaciones privadas y registros de cuentas y transacciones de clientes. Estos riesgos afectan tanto a personas como a organizaciones y van mucho más allá de las definiciones convencionales de PII.
Contexto privado, planes y conocimientos especializados
Información cuya sensibilidad procede de lo que revela sobre intenciones, capacidades, métodos, relaciones o conocimientos acumulados. En el caso de las empresas, esto incluye la estrategia de producto, métodos patentados, investigación, estrategias de precios y condiciones comerciales no públicas, relaciones con proveedores, estrategias de abastecimiento, condiciones negociadas, código fuente propietario, inteligencia sobre clientes, documentos internos y conocimientos operativos. En el caso de las personas, incluye proyectos privados, trabajos creativos inéditos, aficiones, intereses y actividades de ocio, planes personales y profesionales, relaciones familiares, sociales y profesionales, obligaciones y rutinas personales, y cualquier otro contexto privado cuya divulgación podría facilitar marketing manipulador, estafas dirigidas, daños a la reputación o a las relaciones, pérdida de poder de negociación o amenazas a su sustento, autonomía o seguridad.
Datos humanos sensibles e inferencias
Los datos biométricos, fisiológicos y conductuales, y las inferencias derivadas de ellos, pueden utilizarse para identificarnos, inferir nuestra salud mental y física, nuestras preferencias y aversiones, y crear modelos que predigan cómo es probable que nos comportemos en determinadas circunstancias. Por ejemplo, investigadores han demostrado que las cámaras de vídeo convencionales pueden captar cambios fisiológicos diminutos para medir indicadores de salud física como los latidos, la presión arterial, la saturación de oxígeno en sangre, la frecuencia respiratoria, la variabilidad de la frecuencia cardiaca y la edad sin ningún contacto físico [1] [2] [3]. En el ámbito de la salud mental y cognitiva, los «biomarcadores de voz» extraídos de breves grabaciones de audio pueden indicar si padeces demencia, depresión, insomnio o ansiedad mediante el análisis de características auditivas sutiles como la velocidad del habla, el tono, las tasas de cruces por cero y la elección del vocabulario [4] [5] [6] [7]. Las señales de Wi-Fi y radar de radiofrecuencia pueden detectar nuestras posiciones corporales precisas, las fases del sueño, las frecuencias respiratorias y los latidos midiendo cómo rebotan las radiofrecuencias en el cuerpo humano, incluso a través de las paredes [8] [9] [10]. La marcha humana proporciona otro flujo de datos sensibles: los patrones de marcha pueden utilizarse para identificar a las personas, la velocidad al caminar está asociada con la supervivencia de las personas mayores y las características de la marcha pueden indicar trastornos neurológicos, carga cognitiva, fatiga y privación del sueño [11] [12] [13] [14] [15] [16]. Además, modalidades como el seguimiento ocular fisiológico —que evalúa la dilatación de las pupilas, la duración de la fijación y los patrones de mirada— pueden valorar nuestra carga cognitiva, revelar estrategias de resolución de problemas específicas de una tarea y aspectos del desempeño de la tarea, e indicar nuestras preferencias y aversiones [17] [18] [19].
Operaciones en el mundo físico y datos de sensores
Información captada por robots, vehículos, cámaras, micrófonos y otros sensores físicos. Esto incluye vídeo, audio, mapas espaciales, ubicaciones precisas, distribuciones de viviendas o instalaciones, incidentes de seguridad, telemetría de máquinas, patrones domésticos y de movimiento, y los procesos operativos que revelan cómo funciona realmente una empresa o un hogar. Su exposición puede crear riesgos para la privacidad, la seguridad y la seguridad física, no solo los riesgos convencionales para la seguridad de los datos.

Estas categorías se solapan, y la información que parece inofensiva de forma aislada puede volverse sensible cuando se vincula con otros datos, se acumula con el tiempo o se utiliza para derivar nuevas inferencias.

Cómo puede utilizarse la información filtrada en tu contra

Cómo pueden utilizarse los registros confidenciales y las credenciales en tu contra

Las contraseñas, los tokens de autenticación y los datos de cuentas pueden proporcionar acceso inmediato a cuentas, activos y comunicaciones privadas. Es posible que otros registros no proporcionen acceso inmediato, pero pueden exponer disputas legales, presiones financieras, relaciones con clientes, información sanitaria o conversaciones privadas.

Para una persona, esto puede significar robo de identidad, fraude, chantaje o la exposición de su vida privada. Para una empresa, puede significar daños a los clientes, responsabilidad regulatoria, interrupción de las operaciones y pérdida de confianza. Un registro filtrado también puede convertirse en el punto de partida de un ataque mayor: un solo documento puede revelar nombres de cuentas, sistemas internos, relaciones o prácticas de seguridad que hagan más eficaces los ataques posteriores.

El caso empresarial: tus datos y el contexto acumulado son tu foso defensivo

Tus datos son tu foso defensivo. Perder el control sobre ellos puede exponer tu empresa, fortalecer a la competencia y erosionar tu diferenciación. Si las empresas de IA de vanguardia entrenan sus modelos con los datos de tu empresa, lo que aprendan podría mejorar los resultados que ofrecen a todo el mundo, incluidos tus competidores. Por tanto, el conocimiento acumulado dentro de tu empresa puede convertirse en una capacidad disponible en todo el mercado. Los proveedores de IA también pueden expandirse a los mercados de sus clientes. Claude Design podría competir con Figma, mientras que Personal Finance in Claude podría competir con servicios de asesoramiento financiero y finanzas personales. Podrías acabar pagando a un futuro competidor mientras le proporcionas el contexto que le ayuda a crear tu sustituto.

La IA está abaratando la creación y gestión de empresas, así como el desarrollo de productos. A medida que el desarrollo de productos y las operaciones se vuelvan más sencillos, los mercados se llenarán de ofertas similares que competirán por una atención escasa. En ese entorno, tus datos y tus conocimientos operativos se encuentran entre los pocos fosos defensivos que pueden permanecer.

El riesgo no se limita a la reutilización deliberada por parte de un proveedor de IA. Una vez que la información sale de tu control, puede exponerse mediante una brecha de seguridad, conservarse más tiempo del previsto, compartirse descuidadamente con empleados, contratistas o terceros, o divulgarse mediante procesos legales como citaciones, órdenes judiciales, descubrimiento de pruebas o puertas traseras de los gobiernos. También puede combinarse con otros conjuntos de datos para revelar más de lo que pretendías compartir.

El caso individual: relaciones, rutinas y manipulación

Para las personas, el daño no se limita al robo de identidad o a la exposición de un documento privado. El contexto acumulado puede revelar relaciones familiares y sociales, obligaciones personales, aficiones, rutinas, intenciones, limitaciones, planes futuros y nuestros estados psicológicos más personales. Puede mostrar quién está relacionado con quién, quién confía en quién, quién depende de quién y qué presiones soporta una persona. Esto ya está ocurriendo, pero la IA ha cambiado los factores económicos, que analizaremos más adelante.

Las empresas de marketing pueden utilizar esta información para producir publicidad altamente individualizada y manipuladora. Los estafadores pueden utilizar el mismo contexto para que sus solicitudes fraudulentas y sus suplantaciones resulten más convincentes. Un estafador que conozca las relaciones familiares, los planes presentes y futuros y los patrones de comunicación de una persona podría utilizar esa información para que una suplantación mediante deepfake de un familiar pareciera creíble.

Este contexto también puede debilitar la posición negociadora de una persona. Un empleador, comprador, cliente u otra contraparte podría averiguar con qué urgencia necesita alguien un empleo o una venta, qué alternativas tiene o qué limitaciones condicionan sus decisiones. Las rutinas privadas y la información sobre relaciones también pueden crear riesgos para la autonomía y la seguridad, incluidos la manipulación, el acecho, la coacción y el contacto no deseado.

Ningún dato aislado tiene que parecer muy sensible para que el conjunto acumulado se vuelva peligroso.

Cómo pueden utilizarse los datos humanos sensibles en tu contra

Piensa qué ocurriría con el precio de las acciones de una empresa si su consejero delegado mostrara signos de angustia mental, trastornos psiquiátricos o enfermedad durante una conferencia sobre resultados que una IA pudiera detectar monitorizando su voz y su cuerpo. El resultado podría seguir siendo desastroso aunque la IA produjera un falso positivo.

Otro ejemplo es que las empresas podrían determinar qué imágenes y temas te atraen, qué personas te atraen sexualmente —hasta el detalle de sus características individuales—, qué te disgusta ver y qué estilos de comunicación te resultan más persuasivos. Después podrían manipularte basándose en esa información, por ejemplo, utilizando vídeo generado por IA para crear millones de anuncios personalizados para millones de personas —un vídeo personalizado para cada individuo— y mostrar cada uno en el momento en que esa persona sea más susceptible de realizar una compra.

Un entrevistador que revise tu videollamada podría estimar en tiempo real lo desesperado que estás por conseguir un empleo y utilizar esa inferencia para justificar una oferta a la baja. Una compañía de seguros médicos podría modificar tus primas basándose en una conversación telefónica sin informarte nunca de por qué cambió su evaluación del riesgo.

La inferencia no tiene que ser concluyente para que alguien actúe en función de ella. Tampoco es necesario que la persona afectada sepa que se ha realizado la inferencia. En la mayoría de los casos, nunca lo sabría. El mejor enfoque consiste en impedir desde el principio que se generen o compartan inferencias biológicas y psicológicas a partir de vídeos, audio y otros flujos de datos.

Exposición en el mundo físico: seguridad, protección y procesos operativos

Los datos del mundo físico revelan más que los objetos que aparecen en la imagen de una cámara. Los mapas de instalaciones pueden exponer entradas, zonas restringidas y cobertura de seguridad. La telemetría de robots y máquinas puede revelar ritmos de producción, capacidad, problemas de mantenimiento, calendarios de funcionamiento y detalles de procesos propietarios. Los incidentes de seguridad pueden mostrar dónde fallan los sistemas y dónde existen vulnerabilidades físicas.

En un hogar, los mapas espaciales, las cámaras, los micrófonos y los patrones de movimiento pueden revelar la distribución de la vivienda, cuándo hay personas presentes, qué objetos personales sensibles hay, qué habitaciones utilizan y cómo se desplazan en sus rutinas diarias. Por tanto, la información recopilada para realizar una tarea física útil puede convertirse en información sobre ocupación, vulnerabilidad y análisis del comportamiento.

A medida que los agentes adquieran control sobre robots, vehículos y otros sistemas físicos, la información filtrada no solo describirá el mundo físico. También podrá revelar cómo influir en los sistemas que actúan dentro de él.

Por qué la IA cambia los factores económicos de la explotación de la información

La IA permite analizar más información e inferir más información de lo que nunca antes fue posible. Es más, la IA puede actuar sobre la información por sí misma. Por ejemplo, puede enviar mensajes automáticamente, orientar anuncios, generar contenido, aprobar o rechazar solicitudes, establecer importes de tarifas, iniciar transacciones y controlar robots sin esperar a que una persona revise cada decisión.

En el pasado, el tiempo humano limitado y su coste hacían que la mayor parte de la información disponible no pudiera aprovecharse plenamente. Solo cuando el rendimiento potencial justificaba el coste veíamos análisis y acciones muy eficaces, como agencias de inteligencia estatales espiándose entre sí o espionaje corporativo entre empresas de gran valor.

El coste del análisis masivo y del uso altamente individualizado de la información mediante IA está disminuyendo rápidamente. El coste del tiempo humano ya no es el cuello de botella. El cuello de botella será la computación, y la computación seguirá abaratándose y ganando potencia con el tiempo.

Esto cambia los factores económicos de la explotación. La información que antes resultaba demasiado cara de analizar, combinar o utilizar ahora puede procesarse de forma continua y a escala. Un actor ya no necesita justificar el coste de asignar a una persona para investigarte a ti o a tu empresa.

Los explotadores no necesitan acertar siempre

Una inferencia no tiene que ser correcta el 100 % de las veces para ser útil. Solo necesita proporcionar una ventaja estadística.

Un anunciante que pueda mejorar ligeramente su estimación de cuándo alguien es susceptible a una oferta puede beneficiarse a lo largo de millones de impresiones. Un estafador puede obtener beneficios aunque la mayoría de los intentos fracasen. Un empleador, asegurador o competidor puede beneficiarse de una evaluación probabilística que sea errónea en muchos casos individuales, pero útil en promedio.

Los falsos positivos no eliminan el riesgo. Una inferencia falsa sobre una enfermedad, angustia, vulnerabilidad, deshonestidad o intención puede seguir afectando a una decisión, una negociación o la reputación de una persona. Es posible que la persona evaluada nunca sepa qué información inferida se utilizó ni tenga una oportunidad real de impugnarla.

Dónde se filtra la información de los agentes

La información puede fluir hacia terceros cuando los agentes envían contexto a proveedores externos de IA de vanguardia, cuando agentes que se ejecutan localmente se comunican con el mundo exterior, cuando los agentes intercambian información con otros agentes en un contexto empresarial o de clientes, e incluso cuando un agente se comunica directamente con una persona externa.

Las mismas categorías de información pueden aparecer en prompts, documentos, historiales de conversaciones, llamadas a herramientas, registros de flujos de trabajo y mensajes entre agentes. Un mensaje de agente puede contener credenciales, conocimientos estratégicos, inferencias humanas o un mapa físico con la misma facilidad que un archivo convencional.

Además, la divulgación externa no requiere que un agente envíe un documento completo. Un agente puede revelar información sensible mediante una consulta breve, una solicitud de ayuda, un resumen, un parámetro de herramienta o una respuesta dada a otra parte.

La inferencia local no elimina la filtración de información

La inferencia local no elimina este problema. Solo cambia dónde se ejecuta el modelo, no si la información sigue necesitando salir.

La inferencia local se utilizará cada vez más a medida que disminuya su coste. Sin embargo, los modelos de vanguardia seguirán siendo proporcionados por empresas de IA en la nube porque entrenar y servir los modelos más capaces requiere una computación costosa que supera los presupuestos de la mayoría de las personas. El suministro en la nube también permite a los proveedores controlar el acceso a los nuevos modelos y observar su rendimiento en usos reales.

Incluso cuando el modelo principal se ejecuta localmente, es posible que los agentes sigan necesitando comunicarse con herramientas, servicios, clientes, robots y otros agentes externos. Por tanto, la inferencia local es un control importante, pero no una solución completa.

Los agentes necesitan límites internos de acceso

Los agentes también necesitarán límites internos. Los empleados no reciben acceso ilimitado a todos los sistemas y documentos de la empresa; del mismo modo, los agentes solo deberían recibir y compartir la información necesaria para su función y su tarea.

Un agente que ayude con la atención al cliente no debería heredar automáticamente acceso al código fuente, los registros legales o las comunicaciones de la dirección. Un agente que coordine un robot no necesita necesariamente acceso a los registros de los empleados. Que un agente necesite información no significa que todos los agentes posteriores necesiten la misma información.

Estos límites también deben regir la comunicación entre agentes. La información no debería propagarse simplemente porque otro agente la solicite. El acceso debería circunscribirse a la tarea, limitarse a la información necesaria y estar restringido por reglas explícitas sobre qué puede conservarse o compartirse.

Gobernanza de la información para un mundo de agentes

En última instancia, se trata de un problema de gobernanza de datos. Las políticas estáticas escritas para documentos y bases de datos no serán suficientes cuando la información circule continuamente por prompts, herramientas, agentes y sistemas físicos. La gobernanza también debe tener en cuenta a los agentes que, si reciben permisos suficientes, pueden cambiar configuraciones, herramientas u otras partes del entorno operativo destinadas a limitarlos.

Las organizaciones y las personas necesitarán formas de determinar a qué información puede acceder un agente, qué información debe redactarse antes de abandonar un límite de confianza, qué agentes pueden recibirla y qué registros existen de esas divulgaciones. También necesitarán controles para la información que se vuelve sensible mediante agregación o inferencia, y no por su clasificación original.

También existe un problema de independencia. Los proveedores de IA tienen objetivos propios legítimos: mejorar sus modelos, aplicar políticas de seguridad y contra los abusos, gestionar la capacidad y los costes, cumplir obligaciones legales, obtener beneficios y expandirse a nuevos productos. Esos objetivos no son idénticos a proteger la ventaja competitiva o la continuidad operativa de cada cliente. Los proveedores también pueden cambiar sus prácticas de aplicación con poca antelación, y lo hacen.

Los acuerdos empresariales, los compromisos de no entrenamiento y los controles de cumplimiento pueden reducir el riesgo, pero no eliminan esta dependencia. Las organizaciones también utilizarán varios modelos, proveedores e inferencia local. Necesitan una capa independiente de privacidad y gobernanza que permanezca bajo su control y aplique políticas coherentes a toda esa combinación, lo que les permita utilizar la mejor inteligencia disponible sin exponer más contexto sensible del necesario ni depender de que cada proveedor aplique las mismas reglas. Un acuerdo con un proveedor de IA no impide que tus datos se filtren mediante brechas de seguridad, se compartan con contratistas y empleados, o se divulguen por órdenes judiciales o puertas traseras de los gobiernos.

La privacidad y la restricción de la información se convertirán en infraestructuras críticas utilizadas por todas las empresas y personas. El objetivo no es impedir que los agentes utilicen información. Es garantizar que los agentes cada vez más potentes solo puedan utilizar la información que realmente necesitan, sin que cada interacción se convierta en una transferencia incontrolada de conocimientos al mundo exterior.

Agent Redactor: el primer paso hacia un control verificable

Para construir esta infraestructura de privacidad multimodal, tenemos que empezar donde los agentes están perdiendo más información en la actualidad. Es decir, en los textos, prompts y llamadas a herramientas que se envían a los proveedores de IA.

Agent Redactor es un proxy local de código abierto que se sitúa directamente entre los agentes de IA y sus puntos finales de LLM. Mediante un modelo de IA en el dispositivo, reglas deterministas y coincidencia de palabras clave, intercepta y redacta el contexto sensible de las solicitudes salientes antes de que salgan de tu máquina. Después restaura perfectamente los valores originales en las respuestas para que tus flujos de trabajo sigan funcionando sin interrupciones. Actualmente se ha probado con Claude Code, Codex, Hermes, OpenClaw y OpenCode. También debería funcionar con otros marcos de agentes, pero no se ha probado.

Hoy, Agent Redactor aborda la vía de filtración más inmediata y práctica: el contexto escrito que los agentes envían a proveedores de modelos externos. Pero nuestra visión va mucho más allá del texto enviado a un proveedor de IA.

Agent Redactor es el paso fundamental de una visión mucho más amplia. Nuestro objetivo final es construir exactamente la capa de control multimodal descrita en esta tesis: una capa capaz de gobernar modalidades como la voz, el vídeo, la telemetría del mundo físico y las inferencias biométricas antes de que queden expuestas a agentes de terceros, proveedores de IA o cualquier entorno no fiable. Estamos construyendo la arquitectura para un futuro en el que puedas aprovechar plenamente la potencia de los agentes sin renunciar a los datos que hacen que tu empresa sea defendible y que tu vida privada siga siendo tuya.

Creemos que Agent Redactor será disruptivo al trasladar el control de la información de las promesas de los proveedores de IA a una capa local y verificable gobernada por el usuario.

Se trata de una empresa enorme que requiere un enfoque abierto y colaborativo. El futuro que hemos descrito está llegando rápidamente.

El momento de proteger nuestros datos es ahora mismo, antes de que el ecosistema de agentes se cierre y quede controlado por unos pocos grandes actores. Te invitamos a probar Agent Redactor. Pruébalo en tus flujos de trabajo, comparte tus comentarios o contribuye directamente al código base. Debemos demostrar la demanda de privacidad verificable e incorporar estos controles al sistema ahora, antes de que las arquitecturas de agentes se cierren de forma permanente. Únete a nosotros para construir la infraestructura de privacidad de la era de los agentes.