私たちの論旨は、すべての人が最終的には、私生活と仕事の両方で、デジタル領域と物理領域にまたがるAIエージェントを指揮するようになるというものです。肉体労働でさえ、ロボットによって自動化され、人間が指揮するエージェントによってオーケストレーションされるようになります。多くのエージェントは、継続的な人間の監督がほとんど、あるいはまったくなくても常時稼働し、人が設定を行った後も長期にわたって、他のエージェントにタスクを委任し、情報を交換します。これらのエージェントは、人間が手作業で管理したり理解したりできない規模で、業務を実行し、情報を交換します。これらのエージェント間で交換される膨大な量の情報を理解するには、人間の時間が単純に足りなくなります。エージェントとインタラクションが増えるたびに、情報が第三者へ流れ得る範囲は拡大し、危険な影響をもたらします。
私たちは、エージェントが通話への参加、過去の録音の検索、メッセージの管理、文書の取得、カメラの操作、購入、ロボットの制御、交渉における人の代理を通じて、日常生活のあらゆる側面を仲介するようになると考えています。多くの場合、各当事者が独自のエージェントを持つことになります。採用面接では、雇用主のエージェントが会話を文字起こしして分析する一方で、候補者のエージェントが関連する経験を取得し、雇用主の主張を評価し、候補者に助言する可能性があります。契約交渉では、各当事者のエージェントが、提示された条件を自らの優先事項と照らし合わせて確認し、リスクを指摘し、関係者が最終合意を承認する前に修正を提案できます。
あなた自身がエージェントを使用しなくても、他の人や組織と共有した情報は、あなたが管理していないエージェントによって処理される可能性があります。それらのエージェントは、このデータを保持して分析し、新しい情報を導き出し、その結果に基づいて行動できるようになります。
どのような情報が漏洩する可能性があるのか
漏洩し、私たちに不利に利用され得る情報は、個人を特定できる情報(Personally Identifiable Information、PII)や認証情報にとどまりません。
- 機密記録とアクセス認証情報
本質的に私的な情報、またはアカウント、資産、身分、私的な通信へのアクセスに利用できる情報です。これには、PII、パスワード、認証トークン、電話番号、住所、アカウントおよび支払い情報、財務および法的記録、私的な通信、顧客のアカウントおよび取引記録が含まれます。これらのリスクは個人と組織の双方に当てはまり、従来のPIIの定義を大きく超えています。 - 私的なコンテキスト、計画、ノウハウ
意図、能力、方法、人間関係、蓄積された知識について明らかにする内容に由来する機微性を持つ情報です。企業の場合、これには製品戦略、独自の方法、研究、非公開の価格戦略と商取引条件、サプライヤーとの関係、調達戦略、交渉で取り決めた条件、独自のソースコード、顧客に関する情報、内部文書、運用上のノウハウが含まれます。個人の場合、これには私的なプロジェクト、未発表の創作物、趣味、関心事、余暇活動、個人的および職業上の計画、家族・社会的・職業上の人間関係、個人的な義務と日課、その他の私的なコンテキストが含まれます。こうした情報の開示によって、操作的なマーケティング、標的型詐欺、評判や人間関係への損害、交渉力の喪失、あるいは生計、自律性、安全への脅威が可能になる可能性があります。 - 人間に関する機微データと推論
生体、生理、行動データ、およびそこから導き出される推論は、私たちを特定し、精神面と身体面の健康状態、好みや嫌いなものを推測し、特定の状況で私たちがどのように行動する可能性があるかを予測するモデルを構築するために利用できます。例えば、研究者たちは、標準的なビデオカメラが微細な生理的変化を捉え、心拍、血圧、血中酸素飽和度、呼吸数、心拍変動、年齢などの身体的健康指標を、一切身体的接触を行うことなく測定できることを実証しています [1] [2] [3]。精神・認知健康の領域では、短い音声録音から抽出された「音声バイオマーカー」によって、話速、音の高さ、ゼロ交差率、語彙の選択といった微細な聴覚特徴を分析し、認知症、うつ病、不眠症、不安症の有無を示すことができます [4] [5] [6] [7]。Wi-FiとRFレーダー信号は、無線周波数が人体でどのように反射するかを測定することで、壁越しであっても、正確な身体位置、睡眠段階、呼吸数、心拍を検出できます [8] [9] [10]。人間の歩行も、もう1つの機微なデータストリームです。歩行パターンは個人の特定に利用でき、歩行速度は高齢者の生存と関連し、歩行の特徴は神経疾患、認知負荷、疲労、睡眠不足を示す可能性があります [11] [12] [13] [14] [15] [16]。さらに、生理学的アイトラッキング(瞳孔拡張、注視時間、視線パターンの評価)などのモダリティは、認知負荷を評価し、タスク固有の問題解決戦略やタスク実行状況の側面を明らかにし、好みや嫌いなものを示すことができます [17] [18] [19]。 - 物理世界の運用とセンサーデータ
ロボット、車両、カメラ、マイク、その他の物理センサーによって取得される情報です。これには、映像、音声、空間地図、正確な位置、住宅や施設の間取り、安全に関する事象、機械のテレメトリー、家庭内および移動のパターン、企業や家庭が実際にどのように機能しているかを明らかにする運用プロセスが含まれます。こうした情報の露出は、従来のデータセキュリティリスクだけでなく、プライバシー、安全性、物理セキュリティのリスクを生み出す可能性があります。
これらのカテゴリーは重なり合っており、単独では無害に見える情報でも、他のデータと結び付けられたり、時間をかけて蓄積されたり、新たな推論の導出に利用されたりすることで、機微なものになる可能性があります。
漏洩した情報はどのようにあなたに対して利用されるのか
機密記録と認証情報はどのようにあなたに対して利用されるのか
パスワード、認証トークン、アカウント情報は、アカウント、資産、私的な通信への即時アクセスを可能にします。その他の記録は即時アクセスを可能にしなくても、法的紛争、経済的な圧力、顧客との関係、健康情報、私的な会話を暴露する可能性があります。
個人にとって、これはなりすまし、詐欺、恐喝、私生活の暴露を意味する可能性があります。企業にとっては、顧客への被害、規制上の責任、事業の中断、信頼の喪失を意味する可能性があります。漏洩した記録が、より大規模な攻撃の出発点になることもあります。1つの文書からアカウント名、内部システム、関係、セキュリティ慣行が明らかになり、その後の攻撃がより効果的になる可能性があります。
企業の場合:データと蓄積されたコンテキストこそが堀
あなたのデータは、あなたを守る堀です。その管理を失うと、企業が露出し、競合他社が強化され、差別化が損なわれる可能性があります。フロンティアAI企業があなたの企業データで学習を行えば、そこから得た知見によって、競合他社を含むすべての利用者に提供する結果が改善される可能性があります。そのため、企業内部に蓄積された知識が、市場全体で利用できる能力になる可能性があります。AIプロバイダーが顧客の市場に参入する可能性もあります。Claude DesignはFigmaと競合し、Claude内のPersonal Financeはファイナンシャルアドバイスや個人向け金融サービスと競合する可能性があります。将来的な競合他社に料金を支払いながら、あなたに代わる存在を構築するためのコンテキストを提供する事態になりかねません。
AIは、企業の設立と運営、製品の構築にかかるコストを低下させています。製品開発と運用が容易になるにつれて、市場は類似のサービスであふれ、限られた注目を巡って競争するようになります。そのような環境では、データと運用上のノウハウが、残り得る数少ない堀の1つです。
リスクは、AIプロバイダーによる意図的な再利用に限定されません。情報があなたの管理下を離れると、セキュリティ侵害によって暴露されたり、予想より長く保持されたり、従業員、請負業者、第三者と不用意に共有されたり、召喚状、裁判所命令、ディスカバリー、政府のバックドアなどの法的手続きを通じて開示されたりする可能性があります。また、他のデータセットと組み合わされ、共有するつもりだった以上のことが明らかになる可能性もあります。
個人の場合:人間関係、日課、操作
個人にとっての被害は、なりすましや私的文書の暴露に限定されません。蓄積されたコンテキストは、家族や社会的な人間関係、個人的な義務、趣味、日課、意図、制約、将来の計画、最も私的な心理状態を明らかにする可能性があります。誰が誰とつながっているか、誰が誰を信頼しているか、誰が誰に依存しているか、誰がどのような圧力を受けているかを示すことができます。これはすでに起きていますが、AIがその経済性を変えました。これについては後述します。
マーケティング企業は、この情報を利用して、高度に個別化された操作的な広告を作成できます。詐欺師も同じコンテキストを利用して、詐欺的な要求やなりすましをより説得力のあるものにできます。ある人の家族関係、現在と将来の計画、コミュニケーションパターンを知っている詐欺師は、その情報を利用して、家族のディープフェイクによるなりすましを本物らしく見せることができます。
このコンテキストは、その人の交渉上の立場を弱める可能性もあります。雇用主、買い手、顧客、その他の取引相手は、ある人がどれほど切実に仕事や販売を必要としているか、どのような代替案があるか、どのような制約が意思決定を左右しているかを知る可能性があります。私的な日課や人間関係の情報は、操作、ストーキング、強要、望まない接触など、自律性と安全に対するリスクも生み出します。
蓄積された全体像が危険になるために、個々の事実が非常に機微に見える必要はありません。
人間に関する機微データはどのようにあなたに対して利用されるのか
CEOが決算説明会で精神的苦痛、精神障害、病気の兆候を示し、AIがCEOの声と身体を監視することでそれを検出できた場合、その企業の株価に何が起こるかを考えてみてください。AIが誤検知をした場合でも、結果は壊滅的になり得ます。
もう1つの例として、企業は、どのような画像や話題があなたに訴求するか、どのような人に性的な魅力を感じるか(個々の特徴に至るまで)、どのようなものを見たくないか、どのようなコミュニケーションスタイルを最も説得力があると感じるかを特定できます。そして、例えば生成AI動画を使って、何百万人もの個人向けに何百万ものカスタマイズ広告(個人ごとにカスタマイズされた動画)を作成し、それぞれの人が購入に最も傾きやすい瞬間に配信するなど、こうした情報に基づいてあなたを操作できます。
ビデオ通話を確認する採用面接官は、あなたがどれほど切実に仕事を必要としているかをリアルタイムで推定し、その推論を根拠に極端に低いオファーを正当化できる可能性があります。医療保険会社は、電話での会話に基づいて保険料を変更し、リスク評価が変わった理由を一切伝えない可能性があります。
誰かが推論に基づいて行動するために、その推論が決定的である必要はありません。また、影響を受ける人が推論が行われたことを知っている必要もありません。ほとんどの場合、その人が知ることはありません。より良いアプローチは、動画、音声、その他のデータストリームから生物学的・心理学的推論が生成または共有されることを、そもそも防ぐことです。
物理世界の露出:安全性、セキュリティ、運用プロセス
物理世界のデータが明らかにするのは、カメラ映像に映る物体だけではありません。施設の地図は、入口、立入制限区域、セキュリティの覆域を暴露する可能性があります。ロボットと機械のテレメトリーは、生産速度、能力、保守上の問題、稼働スケジュール、独自プロセスの詳細を明らかにする可能性があります。安全に関する事象は、システムがどこで障害を起こし、どこに物理的な脆弱性が存在するかを示す可能性があります。
家庭では、空間地図、カメラ、マイク、移動パターンによって、住宅の間取り、人がいる時間、存在する私的で機微な物品、使用する部屋、日課の中での動きが明らかになる可能性があります。そのため、有用な物理的タスクを実行するために収集された情報が、在宅状況、脆弱性、行動分析に関する情報になる可能性があります。
エージェントがロボット、車両、その他の物理システムを制御するようになると、漏洩した情報は物理世界を記述するだけではなくなります。その中で動作するシステムに影響を与える方法まで明らかにする可能性があります。
AIが情報悪用の経済性を変える理由
AIは、これまで不可能だった以上の情報の分析と、より多くの情報の推論を可能にします。さらに、AIは情報に基づいて自ら行動できます。例えば、メッセージの自動送信、広告のターゲティング、コンテンツの生成、要求の承認または拒否、料金額の設定、取引の開始、ロボットの制御を、人が各決定を確認するのを待たずに実行できます。
かつては、人間の時間とコストが限られていたため、利用可能な情報のほとんどを十分に活用できませんでした。潜在的な利益がコストを正当化する場合にのみ、国家の情報機関が互いをスパイしたり、価値の高い企業間で産業スパイが行われたりするような、非常に効果的な分析と行動が見られました。
AIによる大規模分析と、情報の高度に個別化された利用のコストは急速に低下しています。人間の時間のコストはもはやボトルネックではありません。ボトルネックはコンピューティングリソースとなり、それは今後も時間の経過とともに安価で強力になり続けます。
これによって悪用の経済性が変わります。これまでは分析、組み合わせ、利用にコストがかかりすぎた情報を、継続的かつ大規模に処理できるようになります。行為者は、あなたやあなたの企業を調査するために人を配置するコストを正当化する必要がなくなります。
悪用者は常に正しい必要はない
推論は、有用であるために100%正しい必要はありません。統計的な優位性をもたらすだけで十分です。
ある人がオファーを受け入れやすい時期の推定をわずかに改善できる広告主は、何百万回ものインプレッション全体で利益を得られます。ほとんどの試みが失敗しても、詐欺師は利益を得られます。雇用主、保険会社、競合他社は、多くの個別ケースでは誤っていても平均的には有用な確率的評価から利益を得る可能性があります。
誤検知によってリスクがなくなるわけではありません。病気、苦痛、脆弱性、不誠実、意図に関する誤った推論でも、決定、交渉、個人の評判に影響を与える可能性があります。評価された人は、どの推論情報が使用されたのかを知ることなく、それに異議を唱える有意義な機会も得られない可能性があります。
エージェントの情報が漏洩する場所
エージェントが外部のフロンティアAIプロバイダーにコンテキストを送信する場合、ローカルで実行されるエージェントが外部と通信する場合、エージェントが企業や顧客とのコンテキストで他のエージェントと情報を交換する場合、さらにはエージェントが外部の人間と直接通信する場合にも、情報は第三者へ流れる可能性があります。
同じカテゴリーの情報が、プロンプト、文書、会話履歴、ツール呼び出し、ワークフローログ、エージェント間メッセージに現れる可能性があります。エージェントのメッセージには、従来のファイルと同じくらい簡単に、認証情報、戦略的知識、人間に関する推論、物理的な地図を含めることができます。
外部への開示に、エージェントが文書全体を送信する必要もありません。短いクエリ、支援の要求、要約、ツールパラメーター、他の当事者への回答を通じて、機微情報が明らかになる可能性があります。
ローカル推論は情報漏洩をなくさない
ローカル推論は、この問題をなくしません。変わるのはモデルが実行される場所だけであり、情報が外部に出る必要があるかどうかは変わりません。
ローカル推論は、コストの低下に伴い、ますます利用されるようになります。しかし、フロンティアモデルは今後もクラウド上のAI企業から提供され続けます。最も高性能なモデルの学習と提供には、ほとんどの人の予算を超える高価なコンピューティングリソースが必要だからです。クラウド経由の提供により、プロバイダーは新しいモデルへのアクセスを管理し、実際の利用環境での性能を観察することもできます。
プライマリーモデルがローカルで実行される場合でも、エージェントは外部のツール、サービス、顧客、ロボット、他のエージェントと通信する必要がある場合があります。したがって、ローカル推論は重要な管理手段ですが、完全な解決策ではありません。
エージェントには内部アクセス境界が必要
エージェントにも内部境界が必要です。従業員が企業のあらゆるシステムと文書に無制限にアクセスできるわけではないのと同様に、エージェントもその役割とタスクに必要な情報だけを受け取り、共有すべきです。
カスタマーサポートを支援するエージェントが、ソースコード、法的記録、経営陣の通信へのアクセス権を自動的に継承すべきではありません。ロボットを調整するエージェントが、従業員記録へのアクセスを必要とするとは限りません。あるエージェントが情報を必要とすることは、下流のすべてのエージェントが同じ情報を必要とすることを意味しません。
これらの境界は、エージェント間通信も管理しなければなりません。別のエージェントが要求したという理由だけで、情報が伝播すべきではありません。アクセスはタスクに限定し、必要な情報に制限し、何を保持または共有してよいかについての明示的なルールによって制約すべきです。
エージェントの世界における情報ガバナンス
これは最終的には、データガバナンスの問題です。情報がプロンプト、ツール、エージェント、物理システムを通じて継続的に移動するようになれば、文書とデータベースを対象に作成された静的なポリシーだけでは不十分です。ガバナンスはまた、十分な権限を与えられた場合に、自らを制約するための構成、ツール、運用環境のその他の部分を変更できるエージェントも考慮しなければなりません。
組織と個人には、エージェントがどの情報にアクセスしてよいか、信頼境界を離れる前にどの情報を墨消ししなければならないか、どのエージェントがその情報を受け取ってよいか、それらの開示についてどのような記録が存在するかを決定する方法が必要になります。また、元の分類ではなく、集約や推論によって機微になる情報を管理する仕組みも必要です。
独立性の問題もあります。AIプロバイダーには、モデルの改善、安全性と悪用防止ポリシーの適用、処理能力とコストの管理、法的義務の履行、利益の創出、新製品への拡大という正当な独自目標があります。それらの目標は、すべての顧客の競争上の優位性や事業継続性を保護することと同一ではありません。プロバイダーは、短期間の予告で適用実務を変更することもあり、実際に変更しています。
企業向け契約、学習に利用しないという約束、コンプライアンス管理はリスクを軽減できますが、この依存関係をなくすことはできません。組織は複数のモデル、プロバイダー、ローカル推論も利用します。そこで必要なのは、組織の管理下に置かれ、こうした組み合わせ全体に一貫したポリシーを適用する独立したプライバシー・ガバナンスレイヤーです。これにより、必要以上に機微なコンテキストを露出したり、各プロバイダーが同じルールを適用することに依存したりすることなく、利用可能な最高の知能を活用できます。AIプロバイダーとの契約があっても、セキュリティ侵害によるデータ漏洩、請負業者や従業員とのデータ共有、裁判所命令や政府のバックドアを防ぐことはできません。
プライバシーと情報の制限は、すべての企業と個人が利用する重要なインフラになります。目的は、エージェントによる情報の利用を防ぐことではありません。ますます強力になるエージェントが実際に必要な情報だけを利用できるようにし、あらゆるインタラクションが外部世界への無制御な知識移転にならないようにすることです。
Agent Redactor:検証可能な管理への第一歩
このマルチモーダルなプライバシーインフラを構築するには、現在エージェントから最も多くの情報が漏れている場所から始める必要があります。それは、AIプロバイダーに送信されるテキスト、プロンプト、ツール呼び出しです。
Agent Redactorは、AIエージェントとそのLLMエンドポイントの間に直接配置されるオープンソースのローカルプロキシです。オンデバイスAIモデル、決定論的ルール、キーワードマッチングを使用して、送信リクエストがマシンから出る前に機微なコンテキストを傍受して墨消しします。その後、応答内の元の値をシームレスに復元するため、ワークフローは中断なく機能し続けます。現在、Claude Code、Codex、Hermes、OpenClaw、OpenCodeで動作することがテスト済みです。他のエージェントフレームワークでも動作するはずですが、テストは行われていません。
現在、Agent Redactorが対処しているのは、最も差し迫った現実的な漏洩経路、つまりエージェントから外部モデルプロバイダーに送信される書面のコンテキストです。しかし、私たちのビジョンはAIプロバイダーに送信されるテキストをはるかに超えています。
Agent Redactorは、はるかに大きなビジョンの基礎となる第一歩です。私たちの最終目標は、この論旨で説明したマルチモーダル制御レイヤーをまさに構築することです。音声、動画、物理世界のテレメトリー、生体情報に関する推論などのモダリティが、サードパーティーのエージェント、AIプロバイダー、信頼できない環境に露出する前に管理できるレイヤーです。私たちは、エージェントの力を十分に活用しながら、企業を防御可能にし、私生活を自分のものに保つデータを手放さずに済む未来に向けたアーキテクチャを構築しています。
Agent Redactorは、情報管理をAIプロバイダーの約束から、ユーザーが管理するローカルで検証可能なレイヤーへ移すことで、破壊的革新をもたらすと私たちは考えています。
これは大規模な取り組みであり、オープンで協調的なアプローチが必要です。私たちが説明した未来は急速に近づいています。
データを保護する好機は、エージェントのエコシステムが閉鎖され、少数の大手事業者に管理される前の今です。ぜひAgent Redactorをご確認ください。ワークフローでテストし、フィードバックを共有するか、コードベースに直接貢献してください。検証可能なプライバシーへの需要を示し、エージェントアーキテクチャが永続的に閉鎖される前に、こうした管理機能をシステムに組み込む必要があります。エージェント時代のプライバシーインフラを、私たちとともに構築しましょう。
参考文献
[1] https://pubmed.ncbi.nlm.nih.gov/20952328/
[2] https://www.oaepublish.com/articles/chatmed.2022.025
[3] https://doi.org/10.6028/NIST.IR.8525
[4] https://doi.org/10.21437/Interspeech.2020-2571
[5] https://pubmed.ncbi.nlm.nih.gov/26484921/
[6] https://doi.org/10.1016/j.specom.2015.03.004
[7] https://www.jmir.org/2024/1/e58572/
[9] https://www.media.mit.edu/publications/smart-homes-that-monitor-breathing-and-heart-rate/
[10] https://proceedings.mlr.press/v70/zhao17d.html
[11] https://doi.org/10.1016/j.cviu.2018.01.007
[12] https://doi.org/10.1001/jama.2010.1923
[13] https://doi.org/10.3389/fnins.2017.00555
[14] https://doi.org/10.1001/jamaneurol.2017.0643
[15] https://www.mdpi.com/1424-8220/23/17/7368
[16] https://doi.org/10.1038/s41598-021-00705-9
[17] https://doi.org/10.1037/0033-2909.91.2.276



