智能体无处不在：信息流 - Negative Star Innovators 博客

我们的论点是，每一个人最终都将在个人生活和工作中，指挥横跨数字和物理领域的 AI 智能体。即使是体力劳动，也将由机器人实现自动化，并由人类指挥的智能体进行编排。许多智能体将持续运行，几乎不需要或完全不需要后续的人类监督；在人们完成设置后很久，它们仍会向其他智能体分派任务并交换信息。这些智能体将以人类无法手动管理或理解的规模执行工作并交换信息。人类根本没有足够的时间来理解这些智能体之间交换的海量信息。每增加一个智能体和一次交互，信息可流向第三方的范围就会扩大，并带来危险的影响。

我们认为，智能体将通过加入通话、搜索以往的录音、管理消息、检索文档、操作摄像头、进行采购、控制机器人以及在谈判中代表人们，成为日常生活方方面面的中介。通常，每一方都会有自己的智能体。在求职面试中，雇主的智能体可以转录并分析对话，而候选人的智能体则调取相关经验、评估雇主的说法并为候选人提供建议。在合同谈判中，每一方的智能体都可以根据自身的优先事项审查拟议条款、标出风险并提出修订建议，然后由相关人员批准最终协议。

即便你本人不使用智能体，你与其他人和组织共享的信息仍可能被不受你控制的智能体处理。这些智能体将能够保留并分析这些数据，从中推导出新信息，并根据结果采取行动。

哪些信息可能泄露

可能泄露并被用来对付我们的信息，远远不止个人身份信息（Personally Identifiable Information，PII）和凭证。

机密记录和访问凭证
本质上属于隐私的信息，或可用于访问账户、资产、身份或私密通信的信息。这包括 PII、密码、身份验证令牌、电话号码、地址、账户和支付信息、财务和法律记录、私密通信，以及客户账户和交易记录。这些风险同时适用于个人和组织，并且远远超出 PII 的常规定义。
私密背景、计划和专有知识
这类信息的敏感性，源于它揭示了意图、能力、方法、关系或积累的知识。对企业而言，这包括产品战略、专有方法、研究、非公开的定价策略和商业条款、供应商关系、采购策略、谈判达成的条款、专有源代码、客户情报、内部文档和运营专有知识。对个人而言，这包括私人项目、未发表的创作、爱好、兴趣和休闲活动、个人和职业计划、家庭关系、社会关系和职业关系、个人义务和日常安排，以及其他私密背景信息；这些信息的披露可能助长操纵性营销、定向诈骗、名誉或关系损害、议价能力丧失，或对其生计、自主权或安全构成威胁。
敏感的人类数据和推断
生物特征、生理和行为数据，以及从中得出的推断，可用于识别我们的身份，推断我们的心理和身体健康状况、偏好和厌恶，并建立模型来预测我们在特定情况下可能的行为。例如，研究人员已经证明，标准摄像机可以捕捉微小的生理变化，从而在没有任何身体接触的情况下测量心跳、血压、血氧饱和度、呼吸频率、心率变异性和年龄等身体健康指标 [1] [2] [3]。在心理和认知健康领域，从简短录音中提取的“语音生物标志物”，可以通过分析语速、音高、过零率和词汇选择等细微听觉特征，表明你是否患有痴呆症、抑郁症、失眠症和焦虑症 [4] [5] [6] [7]。Wi-Fi 和射频雷达信号可以通过测量无线电频率如何从人体反射，检测我们精确的身体位置、睡眠阶段、呼吸频率和心跳，甚至可以穿墙检测 [8] [9] [10]。人类步态提供了另一个敏感数据流：行走模式可用于识别个人，步速与老年人的生存率相关，而步态特征可以表明神经系统疾病、认知负荷、疲劳和睡眠不足 [11] [12] [13] [14] [15] [16]。此外，生理眼动追踪（评估瞳孔扩张、注视持续时间和视线模式）等模态可以评估我们的认知负荷，揭示针对特定任务的问题解决策略和任务表现的各个方面，并表明我们的偏好和厌恶 [17] [18] [19]。
物理世界运行与传感器数据
由机器人、车辆、摄像头、麦克风和其他物理传感器捕获的信息。这包括视频、音频、空间地图、精确位置、住宅或设施布局、安全事件、机器遥测、家庭活动和移动模式，以及揭示企业或家庭实际如何运作的运营流程。此类信息的暴露可能带来隐私、安全和人身实体安全风险，而不仅仅是传统的数据安全风险。

这些类别相互重叠；看似孤立无害的信息，在与其他数据关联、随时间积累或用于推导新推断时，可能会变得敏感。

泄露的信息如何被用来对付你

机密记录和凭证如何被用来对付你

密码、身份验证令牌和账户信息可以让人立即访问账户、资产和私密通信。其他记录可能不会提供即时访问权限，但可能暴露法律纠纷、财务压力、客户关系、健康信息或私人对话。

对个人而言，这可能意味着身份盗用、欺诈、勒索或私生活曝光。对企业而言，这可能意味着客户受损、监管责任、运营中断和信任丧失。一条泄露的记录还可能成为更大规模攻击的起点：一份文档就可能暴露账户名称、内部系统、关系或安全实践，使后续攻击更加有效。

企业层面：你的数据和积累的背景信息就是你的护城河

你的数据就是你的护城河。失去对数据的控制可能使你的企业暴露于风险之中、增强竞争对手的实力并削弱你的差异化优势。如果前沿 AI 公司使用你的企业数据进行训练，它们学到的内容可能会改善它们提供给所有人的结果，包括你的竞争对手。因此，你的企业内部积累的知识可能成为整个市场都可获得的能力。AI 提供商还可能扩展到其客户所在的市场。Claude Design 可能与 Figma 竞争，而 Claude 中的 Personal Finance 可能与财务咨询和个人理财服务竞争。你最终可能一边向未来的竞争对手付费，一边提供背景信息，帮助它打造你的替代品。

AI 正在降低创办和经营企业以及开发产品的成本。随着产品开发和运营变得越来越容易，市场上将充斥类似产品，争夺稀缺的注意力。在这种环境下，你的数据和运营专有知识是为数不多可能保留下来的护城河。

风险并不限于 AI 提供商有意重复使用数据。信息一旦脱离你的控制，就可能因安全漏洞而暴露、被保留比预期更长的时间、被不慎共享给员工、承包商或第三方，或通过传票、法院命令、证据开示或政府后门等法律程序被披露。它还可能与其他数据集结合，从而揭示超出你原本打算共享范围的信息。

个人层面：关系、日常安排和操纵

对个人而言，危害并不限于身份盗用或私人文档曝光。积累的背景信息可以揭示家庭和社会关系、个人义务、爱好、日常安排、意图、限制、未来计划以及我们最私密的心理状况。它可以显示谁与谁有联系、谁信任谁、谁依赖谁，以及某人正承受什么压力。这已经正在发生，但 AI 改变了其中的经济逻辑，我们将在后文讨论。

营销公司可以利用这些信息制作高度个性化和具有操纵性的广告。诈骗者可以利用同样的背景信息，使欺诈请求和冒充行为更具说服力。如果诈骗者了解某人的家庭关系、当前和未来计划以及沟通模式，就可能利用这些信息，让深度伪造的家庭成员冒充显得可信。

这些背景信息还可能削弱一个人的谈判地位。雇主、买家、客户或其他交易方可能会了解某人多么迫切地需要一份工作或完成一笔销售、他们有哪些替代方案，或者哪些限制正在影响他们的决定。私密的日常安排和关系信息还可能给自主权和人身安全带来风险，包括操纵、跟踪、胁迫和不受欢迎的接触。

要让积累起来的整体情况变得危险，并不需要任何单个事实看起来非常敏感。

敏感的人类数据如何被用来对付你

试想一下，如果一家公司的首席执行官在财报电话会议上表现出精神痛苦、精神障碍和／或疾病的迹象，而 AI 可以通过监测首席执行官的声音和身体检测出来，该公司的股价会发生什么。即使 AI 给出了假阳性结果，后果仍可能是灾难性的。

另一个例子是，企业可以确定哪些图像和主题会吸引你、哪些人会对你产生性吸引（具体到个人特征）、你不喜欢看到什么，以及你认为哪些沟通风格最有说服力。然后，它们可以根据这些信息操纵你，例如使用生成式 AI 视频，为数百万人制作数百万条定制广告（为每个人制作一条定制视频），并在每个人最容易进行购买的时刻向其投放。

审查你视频通话的面试官可能能够实时估计你多么迫切地需要一份工作，并利用这一推断来证明压低报价是合理的。医疗保险公司可以根据一通电话更改你的保费，却始终不告诉你其风险评估为何发生变化。

推断不必具有结论性，就有人会根据它采取行动。受到影响的人也不需要知道有人作出了这项推断。在大多数情况下，受到影响的人永远不会知道。更好的方法是从一开始就防止根据视频、音频和其他数据流生成或共享生理和心理推断。

物理世界的暴露：安全、防护和运营流程

物理世界的数据揭示的不仅仅是摄像头画面中的物体。设施地图可以暴露入口、限制区域和安保覆盖范围。机器人和机器遥测可以揭示生产率、产能、维护问题、运行时间表以及专有流程的细节。安全事件可以显示系统在何处发生故障，以及存在哪些实体漏洞。

在家庭中，空间地图、摄像头、麦克风和移动模式可以揭示住宅布局、何时有人在家、有哪些私密的个人物品、人们使用哪些房间，以及他们在日常生活中如何活动。因此，为执行一项有用的实体任务而收集的信息，可能会变成有关居住情况、脆弱性和行为分析的信息。

随着智能体获得对机器人、车辆和其他物理系统的控制权，泄露的信息将不仅描述物理世界，还可能揭示如何影响在其中运行的系统。

为什么 AI 会改变信息利用的经济逻辑

AI 能够分析比以往任何时候都更多的信息，并从中推断出更多信息。更重要的是，AI 可以自行根据信息采取行动。例如，它可以自动发送消息、定向投放广告、生成内容、批准或拒绝请求、设定费用金额、发起交易和控制机器人，而无需等待人们逐项审查决定。

过去，人类时间和成本的限制意味着，大多数可用信息无法得到充分利用。只有当潜在回报足以证明成本合理时，我们才会看到高效的分析和行动，例如民族国家的情报机构相互监视，或高价值公司之间的商业间谍活动。

通过 AI 进行大规模分析和高度个性化信息利用的成本正在迅速下降。人类时间的成本不再是瓶颈。瓶颈将是算力，而算力将随着时间的推移继续变得更便宜、更强大。

这改变了信息利用的经济逻辑。以前分析、组合或利用成本过高的信息，现在可以持续、大规模地处理。行为者不再需要证明，指派一个人来调查你或你的公司所需的成本是合理的。

利用信息的人不必始终正确

一项推断不必 100% 正确就有用。它只需要提供统计优势。

如果广告商能稍微提高对某人何时容易接受报价的估计准确性，就能在数百万次广告展示中获益。即使大多数尝试都失败，诈骗者仍然可以获利。雇主、保险公司或竞争对手可能会从概率性评估中获益，即使这种评估在许多个案中是错误的，但平均而言有用。

假阳性并不会消除风险。有关疾病、痛苦、脆弱性、不诚实或意图的错误推断，仍然可能影响一项决定、一场谈判或一个人的声誉。被评估的人可能永远不会知道使用了哪些推断信息，也可能没有有意义的机会对其提出质疑。

智能体的信息在哪里泄露

当智能体向外部前沿 AI 提供商发送背景信息、本地运行的智能体与外部世界通信、智能体在商业或客户场景中与其他智能体交换信息，甚至当智能体直接与外部人员通信时，信息都可能流向第三方。

同样类别的信息可能出现在提示词、文档、对话历史、工具调用、工作流日志和智能体之间的消息中。一条智能体消息可以像传统文件一样，轻而易举地包含凭证、战略知识、对人类的推断或物理地图。

对外披露也不需要智能体发送整份文档。智能体可能通过一次简短查询、一项协助请求、一份摘要、一个工具参数或向另一方给出的回答，泄露敏感信息。

本地推理并不能消除信息泄露

本地推理并不能消除这个问题。它只是改变模型运行的位置，并不会改变信息是否仍需要流出。

随着成本降低，本地推理将得到越来越多的应用。然而，前沿模型仍将由云端的 AI 公司提供，因为训练和服务能力最强的模型需要昂贵的算力，超出大多数人的预算。云端提供还使提供商能够控制对新模型的访问，并观察这些模型在实际使用中的表现。

即使主要模型在本地运行，智能体仍可能需要与外部工具、服务、客户、机器人和其他智能体通信。因此，本地推理是一项重要的控制措施，但不是完整的解决方案。

智能体需要内部访问边界

智能体也需要内部边界。员工不会获得对公司每个系统和文档的无限制访问权限；同样，智能体也只应接收和共享其角色和任务所需的信息。

协助客户支持的智能体不应自动继承对源代码、法律记录或高管通信的访问权限。协调机器人的智能体不一定需要访问员工记录。一个智能体需要某些信息，并不意味着每个下游智能体都需要同样的信息。

这些边界也必须约束智能体之间的通信。不应仅仅因为另一个智能体提出请求，信息就传播出去。访问权限应限定于任务，限于必要信息，并受到明确规则的约束，规定哪些内容可以保留或共享。

智能体世界的信息治理

归根结底，这是一个数据治理问题。当信息不断通过提示词、工具、智能体和物理系统流动时，为文档和数据库编写的静态政策将不再足够。治理还必须考虑到，如果智能体获得足够的权限，它们可以更改配置、工具或运行环境中旨在约束它们的其他部分。

组织和个人需要一些方法来确定智能体可以访问哪些信息、哪些信息在离开信任边界之前必须脱敏、哪些智能体可以接收这些信息，以及有哪些关于这些披露的记录。他们还需要控制那些通过聚合或推断、而非通过原始分类变得敏感的信息。

这里还存在独立性问题。AI 提供商有自己的合理目标，包括改进模型、执行安全和反滥用政策、管理容量和成本、履行法律义务、实现盈利以及拓展新产品。这些目标并不等同于保护每一位客户的竞争优势或运营连续性。提供商还可以在短时间内改变执行方式，而且它们确实会这样做。

企业协议、不用于训练的承诺和合规控制可以降低风险，但无法消除这种依赖。组织还将使用多种模型、多个提供商和本地推理。它们需要一层独立的隐私和治理层，始终处于自身控制之下，并在这种混合环境中实施一致的政策，使其能够利用可用的最佳智能能力，而不必暴露超出必要范围的敏感背景信息，也无须依赖每个提供商执行相同的规则。与 AI 提供商达成协议，并不能阻止你的数据通过安全漏洞泄露、被共享给承包商和员工、因法院命令而被披露，或通过政府后门泄露。

隐私和信息限制将成为所有公司和个人都使用的关键基础设施。目标不是阻止智能体使用信息，而是确保日益强大的智能体只能使用它们真正需要的信息，同时避免每一次交互都成为向外部世界不受控制地转移知识。

Agent Redactor：迈向可验证控制的第一步

为了构建这种多模态隐私基础设施，我们必须从当今智能体信息流失最严重的地方入手。那就是发送给 AI 提供商的文本、提示词和工具调用。

Agent Redactor 是一个开源的本地代理，直接位于 AI 智能体与其 LLM 端点之间。它利用设备端 AI 模型、确定性规则和关键词匹配，在出站请求离开你的机器之前，拦截其中的敏感背景信息并进行脱敏。随后，它会在响应中无缝还原原始值，使你的工作流继续不受中断地运行。目前，它已经过测试，可用于 Claude Code、Codex、Hermes、OpenClaw 和 OpenCode。它也应该能够用于其他智能体框架，但尚未经过测试。

如今，Agent Redactor 应对的是最直接、最现实的泄露路径，即智能体发送给外部模型提供商的书面背景信息。但我们的愿景远远超出发送给 AI 提供商的文本。

Agent Redactor 是一个更宏大愿景的基础一步。我们的最终目标是构建本论点所描述的多模态控制层：一个能够在语音、视频、物理世界遥测和生物特征推断等模态暴露给第三方智能体、AI 提供商或任何不受信任的环境之前，对其实施治理的控制层。我们正在构建面向未来的架构，让你能够充分利用智能体的力量，而不必放弃那些使你的企业具备防御能力、让你的私生活真正属于你自己的数据。

我们相信，Agent Redactor 将带来颠覆性影响，把信息控制从 AI 提供商的承诺转移到由用户治理的本地、可验证层。

这是一项庞大的工程，需要开放、协作的方式。我们所描述的未来正在迅速到来。

保护我们数据的窗口期就是现在，要赶在智能体生态系统走向封闭并受少数主要参与者控制之前。我们邀请你了解 Agent Redactor。在你的工作流中测试它，分享你的反馈，或直接向代码库作出贡献。我们必须证明市场对可验证隐私的需求，并立即将这些控制措施嵌入系统，否则智能体架构将永久封闭。与我们一起构建智能体时代的隐私基础设施。