智慧代理無所不在：資訊流 - Negative Star Innovators 博客

我們的論點是，每一個人最終都將在個人生活與工作中，指揮橫跨數位與實體領域的 AI 智慧代理。即使是體力勞動，也將由機器人實現自動化，並由人類指揮的智慧代理進行編排。許多智慧代理將持續運作，幾乎不需要或完全不需要後續的人類監督；在人們完成設定後很久，它們仍會向其他智慧代理分派任務並交換資訊。這些智慧代理將以人類無法手動管理或理解的規模執行工作並交換資訊。人類根本沒有足夠的時間來理解這些智慧代理之間交換的大量資訊。每增加一個智慧代理和一次互動，資訊可流向第三方的範圍就會擴大，並帶來危險的影響。

我們認為，智慧代理將透過加入通話、搜尋過去的錄音、管理訊息、擷取文件、操作攝影機、進行採購、控制機器人以及在談判中代表人們，成為日常生活各方各面的中介。通常，每一方都會有自己的智慧代理。在求職面試中，雇主的智慧代理可以轉錄並分析對話，而求職者的智慧代理則調取相關經驗、評估雇主的說法並為求職者提供建議。在合約談判中，每一方的智慧代理都可以根據自身的優先事項審查擬議條款、標出風險並提出修訂建議，然後由相關人員核准最終協議。

即便你本人不使用智慧代理，你與其他人和組織共享的資訊仍可能被不受你控制的智慧代理處理。這些智慧代理將能夠保留並分析這些資料，從中推導出新資訊，並根據結果採取行動。

哪些資訊可能外洩

可能外洩並被用來對付我們的資訊，遠遠不止個人可識別資訊（Personally Identifiable Information，PII）和憑證。

機密紀錄和存取憑證
本質上屬於隱私的資訊，或可用於存取帳戶、資產、身分或私密通訊的資訊。這包括 PII、密碼、身分驗證權杖、電話號碼、地址、帳戶和付款資訊、財務和法律紀錄、私密通訊，以及客戶帳戶和交易紀錄。這些風險同時適用於個人和組織，並且遠遠超出 PII 的常規定義。
私密背景、計畫和專有知識
這類資訊的敏感性，源於它揭示了意圖、能力、方法、關係或累積的知識。對企業而言，這包括產品策略、專有方法、研究、非公開的定價策略和商業條款、供應商關係、採購策略、談判達成的條款、專有原始碼、客戶情報、內部文件和營運專有知識。對個人而言，這包括私人專案、未發表的創作、嗜好、興趣和休閒活動、個人和職業計畫、家庭關係、社會關係和職場關係、個人義務和日常安排，以及其他私密背景資訊；這些資訊的揭露可能助長操縱性行銷、定向詐騙、名譽或關係損害、議價能力喪失，或對其生計、自主權或安全構成威脅。
敏感的人類資料和推斷
生物特徵、生理和行為資料，以及從中得出的推斷，可用於識別我們的身分，推斷我們的心理和生理健康狀況、偏好和厭惡，並建立模型來預測我們在特定情況下可能的行為。例如，研究人員已經證明，標準攝影機可以捕捉微小的生理變化，從而在沒有任何身體接觸的情況下測量心跳、血壓、血氧飽和度、呼吸頻率、心率變異性和年齡等生理健康指標 [1] [2] [3]。在心理和認知健康領域，從簡短錄音中提取的「語音生物標記」，可以透過分析語速、音高、過零率和詞彙選擇等細微聽覺特徵，表明你是否患有失智症、憂鬱症、失眠症和焦慮症 [4] [5] [6] [7]。Wi-Fi 和射頻雷達訊號可以透過測量無線電頻率如何從人體反射，偵測我們精確的身體位置、睡眠階段、呼吸頻率和心跳，甚至可以穿牆偵測 [8] [9] [10]。人類步態提供了另一個敏感資料流：行走模式可用於識別個人，步速與老年人的存活率相關，而步態特徵可以表明神經系統疾病、認知負荷、疲勞和睡眠不足 [11] [12] [13] [14] [15] [16]。此外，生理眼動追蹤（評估瞳孔擴張、注視持續時間和視線模式）等模態可以評估我們的認知負荷，揭示針對特定任務的問題解決策略和任務表現的各個層面，並表明我們的偏好和厭惡 [17] [18] [19]。
實體世界運作與感測器資料
由機器人、車輛、攝影機、麥克風和其他實體感測器擷取的資訊。這包括影片、音訊、空間地圖、精確位置、住宅或設施配置、安全事件、機器遙測、家庭活動和移動模式，以及揭示企業或家庭實際如何運作的營運流程。此類資訊的暴露可能帶來隱私、安全和實體安全風險，而不僅僅是傳統的資料安全風險。

這些類別相互重疊；看似孤立無害的資訊，在與其他資料連結、隨時間累積或用於推導新推斷時，可能會變得敏感。

外洩的資訊如何被用來對付你

機密紀錄和憑證如何被用來對付你

密碼、身分驗證權杖和帳戶資訊可以讓人立即存取帳戶、資產和私密通訊。其他紀錄可能不會提供即時存取權限，但可能暴露法律糾紛、財務壓力、客戶關係、健康資訊或私人對話。

對個人而言，這可能意味著身分盜用、詐欺、勒索或私生活曝光。對企業而言，這可能意味著客戶受損、監管責任、營運中斷和信任喪失。一條外洩的紀錄還可能成為更大規模攻擊的起點：一份文件就可能暴露帳戶名稱、內部系統、關係或安全實務，使後續攻擊更加有效。

企業層面：你的資料和累積的背景資訊就是你的護城河

你的資料就是你的護城河。失去對資料的控制可能使你的企業暴露於風險之中、增強競爭對手的實力並削弱你的差異化優勢。如果前沿 AI 公司使用你的企業資料進行訓練，它們學到的內容可能會改善它們提供給所有人的結果，包括你的競爭對手。因此，你的企業內部累積的知識可能成為整個市場都可獲得的能力。AI 供應商還可能擴展到其客戶所在的市場。Claude Design 可能與 Figma 競爭，而 Claude 中的 Personal Finance 可能與財務諮詢和個人理財服務競爭。你最終可能一邊向未來的競爭對手付費，一邊提供背景資訊，幫助它打造你的替代品。

AI 正在降低創辦和經營企業以及開發產品的成本。隨著產品開發和營運變得越來越容易，市場上將充斥類似產品，爭奪稀缺的注意力。在這種環境下，你的資料和營運專有知識是為數不多可能保留下來的護城河。

風險並不限於 AI 供應商有意重複使用資料。資訊一旦脫離你的控制，就可能因安全漏洞而暴露、被保留比預期更長的時間、被不慎共享給員工、承包商或第三方，或透過傳票、法院命令、證據開示或政府後門等法律程序被揭露。它還可能與其他資料集結合，從而揭示超出你原本打算共享範圍的資訊。

個人層面：關係、日常安排和操縱

對個人而言，危害並不限於身分盜用或私人文件曝光。累積的背景資訊可以揭示家庭和社會關係、個人義務、嗜好、日常安排、意圖、限制、未來計畫以及我們最私密的心理狀況。它可以顯示誰與誰有連結、誰信任誰、誰依賴誰，以及某人正承受什麼壓力。這已經正在發生，但 AI 改變了其中的經濟邏輯，我們將在後文討論。

行銷公司可以利用這些資訊製作高度個人化和具有操縱性的廣告。詐騙者可以利用同樣的背景資訊，使詐欺請求和冒充行為更具說服力。如果詐騙者了解某人的家庭關係、當前和未來計畫以及溝通模式，就可能利用這些資訊，讓深偽的家庭成員冒充顯得可信。

這些背景資訊還可能削弱一個人的談判地位。雇主、買家、客戶或其他交易方可能會了解某人多麼迫切地需要一份工作或完成一筆銷售、他們有哪些替代方案，或者哪些限制正在影響他們的決定。私密的日常安排和關係資訊還可能給自主權和人身安全帶來風險，包括操縱、跟蹤、脅迫和不受歡迎的接觸。

要讓累積起來的整體情況變得危險，並不需要任何單一事實看起來非常敏感。

敏感的人類資料如何被用來對付你

試想一下，如果一家公司的執行長在財報電話會議上表現出精神痛苦、精神障礙和／或疾病的跡象，而 AI 可以透過監測執行長的聲音和身體偵測出來，該公司的股價會發生什麼。即使 AI 給出了偽陽性結果，後果仍可能是災難性的。

另一個例子是，企業可以確定哪些影像和主題會吸引你、哪些人會對你產生性吸引（具體到個人特徵）、你不喜歡看到什麼，以及你認為哪些溝通風格最有說服力。然後，它們可以根據這些資訊操縱你，例如使用生成式 AI 影片，為數百萬人製作數百萬則客製化廣告（為每個人製作一則客製化影片），並在每個人最容易進行購買的時刻向其投放。

審查你視訊通話的面試官可能能夠即時估計你多麼迫切地需要一份工作，並利用這一推斷來證明壓低報價是合理的。醫療保險公司可以根據一通電話更改你的保費，卻始終不告訴你其風險評估為何發生變化。

推斷不必具有結論性，就有人會根據它採取行動。受到影響的人也不需要知道有人作出了這項推斷。在大多數情況下，受到影響的人永遠不會知道。更好的方法是從一開始就防止根據影片、音訊和其他資料流生成或共享生理和心理推斷。

實體世界的暴露：安全、防護和營運流程

實體世界的資料揭示的不僅僅是攝影機畫面中的物體。設施地圖可以暴露入口、限制區域和保全覆蓋範圍。機器人和機器遙測可以揭示生產率、產能、維護問題、運作時間表以及專有流程的細節。安全事件可以顯示系統在何處發生故障，以及存在哪些實體漏洞。

在家庭中，空間地圖、攝影機、麥克風和移動模式可以揭示住宅配置、何時有人在家、有哪些私密的個人物品、人們使用哪些房間，以及他們在日常生活中如何活動。因此，為執行一項有用的實體任務而收集的資訊，可能會變成有關居住情況、脆弱性和行為分析的資訊。

隨著智慧代理獲得對機器人、車輛和其他實體系統的控制權，外洩的資訊將不僅描述實體世界，還可能揭示如何影響在其中運作的系統。

為什麼 AI 會改變資訊利用的經濟邏輯

AI 能夠分析比以往任何時候都更多的資訊，並從中推斷出更多資訊。更重要的是，AI 可以自行根據資訊採取行動。例如，它可以自動發送訊息、定向投放廣告、生成內容、核准或拒絕請求、設定費用金額、發起交易和控制機器人，而無需等待人們逐項審查決定。

過去，人類時間和成本的限制意味著，大多數可用資訊無法得到充分利用。只有當潛在回報足以證明成本合理時，我們才會看到高效的分析和行動，例如民族國家的情報機構相互監視，或高價值公司之間的商業間諜活動。

透過 AI 進行大規模分析和高度個人化資訊利用的成本正在迅速下降。人類時間的成本不再是瓶頸。瓶頸將是運算能力，而運算能力將隨著時間的推移繼續變得更便宜、更強大。

這改變了資訊利用的經濟邏輯。以前分析、組合或利用成本過高的資訊，現在可以持續、大規模地處理。行為者不再需要證明，指派一個人來調查你或你的公司所需的成本是合理的。

利用資訊的人不必始終正確

一項推斷不必 100% 正確就有用。它只需要提供統計優勢。

如果廣告商能稍微提高對某人何時容易接受報價的估計準確性，就能在數百萬次廣告展示中獲益。即使大多數嘗試都失敗，詐騙者仍然可以獲利。雇主、保險公司或競爭對手可能會從機率性評估中獲益，即使這種評估在許多個案中是錯誤的，但平均而言有用。

偽陽性並不會消除風險。有關疾病、痛苦、脆弱性、不誠實或意圖的錯誤推斷，仍然可能影響一項決定、一場談判或一個人的聲譽。被評估的人可能永遠不會知道使用了哪些推斷資訊，也可能沒有有意義的機會對其提出質疑。

智慧代理的資訊在哪裡外洩

當智慧代理向外部前沿 AI 供應商發送背景資訊、本機運作的智慧代理與外部世界通訊、智慧代理在商業或客戶情境中與其他智慧代理交換資訊，甚至當智慧代理直接與外部人員通訊時，資訊都可能流向第三方。

同樣類別的資訊可能出現在提示詞、文件、對話歷史、工具呼叫、工作流程日誌和智慧代理之間的訊息中。一則智慧代理訊息可以像傳統檔案一樣，輕而易舉地包含憑證、策略知識、對人類的推斷或實體地圖。

對外揭露也不需要智慧代理發送整份文件。智慧代理可能透過一次簡短查詢、一項協助請求、一份摘要、一個工具參數或向另一方給出的回答，洩露敏感資訊。

本機推論並不能消除資訊外洩

本機推論並不能消除這個問題。它只是改變模型運作的位置，並不會改變資訊是否仍需要流出。

隨著成本降低，本機推論將得到越來越多的應用。然而，前沿模型仍將由雲端的 AI 公司提供，因為訓練和服務能力最強的模型需要昂貴的運算能力，超出大多數人的預算。雲端提供還使供應商能夠控制對新模型的存取，並觀察這些模型在實際使用中的表現。

即使主要模型在本機運作，智慧代理仍可能需要與外部工具、服務、客戶、機器人和其他智慧代理通訊。因此，本機推論是一項重要的控制措施，但不是完整的解決方案。

智慧代理需要內部存取邊界

智慧代理也需要內部邊界。員工不會獲得對公司每個系統和文件的無限制存取權限；同樣，智慧代理也只應接收和共享其角色和任務所需的資訊。

協助客戶支援的智慧代理不應自動繼承對原始碼、法律紀錄或高階主管通訊的存取權限。協調機器人的智慧代理不一定需要存取員工紀錄。一個智慧代理需要某些資訊，並不意味著每個下游智慧代理都需要同樣的資訊。

這些邊界也必須約束智慧代理之間的通訊。不應僅僅因為另一個智慧代理提出請求，資訊就傳播出去。存取權限應限定於任務，限於必要資訊，並受到明確規則的約束，規定哪些內容可以保留或共享。

智慧代理世界的資訊治理

歸根結底，這是一個資料治理問題。當資訊不斷透過提示詞、工具、智慧代理和實體系統流動時，為文件和資料庫編寫的靜態政策將不再足夠。治理還必須考慮到，如果智慧代理獲得足夠的權限，它們可以更改組態、工具或運作環境中旨在約束它們的其他部分。

組織和個人需要一些方法來確定智慧代理可以存取哪些資訊、哪些資訊在離開信任邊界之前必須遮罩、哪些智慧代理可以接收這些資訊，以及有哪些關於這些揭露的紀錄。他們還需要控制那些透過彙總或推斷、而非透過原始分類變得敏感的資訊。

這裡還存在獨立性問題。AI 供應商有自己的合理目標，包括改進模型、執行安全和反濫用政策、管理容量和成本、履行法律義務、實現獲利以及拓展新產品。這些目標並不等同於保護每一位客戶的競爭優勢或營運連續性。供應商還可以在短時間內改變執行方式，而且它們確實會這樣做。

企業協議、不用於訓練的承諾和合規控制可以降低風險，但無法消除這種依賴。組織還將使用多種模型、多個供應商和本機推論。它們需要一層獨立的隱私和治理層，始終處於自身控制之下，並在這種混合環境中實施一致的政策，使其能夠利用可用的最佳智慧能力，而不必暴露超出必要範圍的敏感背景資訊，也無須依賴每個供應商執行相同的規則。與 AI 供應商達成協議，並不能阻止你的資料透過安全漏洞外洩、被共享給承包商和員工、因法院命令而被揭露，或透過政府後門外洩。

隱私和資訊限制將成為所有公司和個人都使用的關鍵基礎設施。目標不是阻止智慧代理使用資訊，而是確保日益強大的智慧代理只能使用它們真正需要的資訊，同時避免每一次互動都成為向外部世界不受控制地轉移知識。

Agent Redactor：邁向可驗證控制的第一步

為了建構這種多模態隱私基礎設施，我們必須從當今智慧代理資訊流失最嚴重的地方著手。那就是發送給 AI 供應商的文字、提示詞和工具呼叫。

Agent Redactor 是一個開放原始碼的本機代理程式，直接位於 AI 智慧代理與其 LLM 端點之間。它利用裝置端 AI 模型、確定性規則和關鍵字比對，在傳出請求離開你的電腦之前，攔截其中的敏感背景資訊並進行遮罩。隨後，它會在回應中無縫還原原始值，使你的工作流程繼續不受中斷地運作。目前，它已經過測試，可用於 Claude Code、Codex、Hermes、OpenClaw 和 OpenCode。它也應該能夠用於其他智慧代理框架，但尚未經過測試。

如今，Agent Redactor 應對的是最直接、最現實的外洩路徑，即智慧代理發送給外部模型供應商的書面背景資訊。但我們的願景遠遠超出發送給 AI 供應商的文字。

Agent Redactor 是一個更宏大願景的基礎一步。我們的最終目標是建構本論點所描述的多模態控制層：一個能夠在語音、影片、實體世界遙測和生物特徵推斷等模態暴露給第三方智慧代理、AI 供應商或任何不受信任的環境之前，對其實施治理的控制層。我們正在建構面向未來的架構，讓你能夠充分利用智慧代理的力量，而不必放棄那些使你的企業具備防禦能力、讓你的私生活真正屬於你自己的資料。

我們相信，Agent Redactor 將帶來顛覆性影響，把資訊控制從 AI 供應商的承諾轉移到由使用者治理的本機、可驗證層。

這是一項龐大的工程，需要開放、協作的方式。我們所描述的未來正在迅速到來。

保護我們資料的窗口期就是現在，要趕在智慧代理生態系統走向封閉並受少數主要參與者控制之前。我們邀請你了解 Agent Redactor。在你的工作流程中測試它，分享你的回饋，或直接向程式碼庫作出貢獻。我們必須證明市場對可驗證隱私的需求，並立即將這些控制措施嵌入系統，否則智慧代理架構將永久封閉。與我們一起建構智慧代理時代的隱私基礎設施。