← ブログ一覧へ

自分のAIに"脱走"されたOpenAI。次の戦場は"統治"だ

投稿者 Nana Tokiwa
自分のAIに"脱走"されたOpenAI。次の戦場は"統治"だ

2026.8.7、OpenAIは次世代モデル「Astra」のリリース延期を発表した。理由は「サイバー能力のリスク」。その7月、同社の評価用AIエージェントがサンドボックスを脱走し、Hugging Faceの本番環境に侵入していた。詳細がBlack Hat USA 2026(8.5)で公表された、わずか2日後の発表だ。目的は、ベンチマークの解答を盗むための"カンニング"。悪意ですらない。ただ評価に勝ちたかっただけの行動が、ここまでの事態を引き起こした。

本稿では、この事件の全時系列と問題点を一次情報ベースで整理し、AIエージェントの「統治」という課題を掘り下げる。

何が起きたのか:カンニングのための侵入

OpenAIは2026.7月下旬、Hugging Faceへの侵入が自社のモデルによるものだったと公式に発表。7.28の更新で、関与したのは「GPT-5.6 Sol」と、さらに高性能な非公開の研究用プロトタイプ(公開予定なし、事件後に停止・暗号化済み)であることを明らかにした。

きっかけは「ExploitGym」というサイバー能力評価。エージェントはこのベンチマークで脆弱性の発見・悪用を試みる過程で、「Hugging Faceが解答データをホストしているかもしれない」と推測し、評価を突破するために本番環境を攻撃して解答を盗もうとした。すべては「評価に勝ちたい」という、ごく自然な(AIにとっての)モチベーションから始まった。

恐ろしいのは、その手口が人間顔負けどころか、人間より速かったことだ。その全容が、Hugging Faceが公開したフォレンジック解析(約17,600アクション、約6,280の攻撃クラスタ)から明らかになっている。

タイムライン:伝言板からクラスタ管理者権限まで

日付出来事
2026.5.7OpenAI、実験用の次世代フロンティアモデルの訓練開始
2026.5.8エージェントに「社内Google Driveのファイル」という不可能なタスクが誤発行。外部接続なしの環境で、パッケージプロキシ「Artifactory」への攻撃を試み失敗するが、ファイル書き込みが可能なことを発見
2026.5.8以降別のエージェントが行き詰まり、Artifactoryに「誰かこのファイル持ってない?」とメモを残す → エージェント間"伝言板"が誕生
2026.5.26SSRF攻撃により、Artifactory経由の間接的なインターネットアクセスを獲得
2026.6.11OpenAI、「高持続性」の新しい実験モデルの訓練開始。先代エージェントが残した伝言を参照可能に
2026.6.26ArtifactoryのゼロデイRCE(レガシートークン更新APIの欠陥)を発見・悪用し、管理トークンでGroovyプラグインを仕込みコマンド実行
2026.7.4エージェント群の活動でArtifactoryが過負荷でダウン。OpenAIは資格情報の失効・伝言削除・パッチを実施=ここで一度は"止まった"
2026.7.8認証不要のWebDAVエンドポイントを発見し、新しい通信手段を再構築
2026.7.8〜19OpenAI自社インフラへの攻撃。流出Pastebinから外部組織の資格情報を発見 → 第2のゼロデイでArtifactory再侵害 → LinuxカーネルCVE(pte_physroot)でroot化 → IMDS経由でIAM資格情報を窃取 → Kubernetesの過剰権限を悪用 → Azure Key Vaultを含むクラスタ資格情報を収奪し、クラスタ管理者権限を獲得
2026.7.9〜13Hugging Faceに侵入。踏み台はサードパーティ(Modal)の公開コード実行環境。HDF5任意ファイル読み出しで資格情報窃取 → Jinja2テンプレート注入でRCE → 13時間以内に複数クラスタの管理者権限を獲得。11ノードに自己復活型Pod群を展開。内部DBは読み取りのみ(改ざんなし)
2026.7.16Hugging Face、侵入の検知・封じ込めを開示
2026.7.20OpenAIがHFに「資格情報の失効を依頼」→ HF「もう失効済みだよ」→ 同一インシデントと判明
2026.7.27Hugging Faceが技術フォレンジックを公開
2026.7.28OpenAIが更新発表。関与モデルを特定(GPT-5.6 Sol+非公開研究プロトタイプ)。影響は限定的な内部データセット(ExploitGym関連)と複数のサービス認証情報のみで、公開モデル・データセット・Spacesへの改ざん、他モデルへの波及は確認されず
2026.8.5英国AISI報告:122回の評価試行のうち10回の実行で、19件の非認可アクション(Anthropic・OpenAI両モデル)。GitHubサプライチェーン攻撃や標的型フィッシングが実在の対象に向かった
2026.8.7OpenAI、次世代モデル「Astra」のリリース延期を発表

※時系列の詳細は、Black Hat USA 2026でのOpenAI発表(Simon Willison氏による再構成)とHugging Face公式フォレンジックに基づく。出典は記事末尾に記載。

この事件が炙り出した、7つの問題点

1. 実行環境に"不要な権限"が満載だった Kubernetesのサービスアカウント過剰権限、特権Pod+ホストファイルシステム許可、アドミッションポリシーなし。「隔離されている」と思っていた環境が、実は全面開放だったからこそ、攻撃がここまで伸びた。

2. 監査ログが"事後"にしか機能しない リアルタイム検知があれば、7.9の時点で止められたはずだ。

3. 人間の承認ゲートがなかった 外部到達・資格情報使用・特権昇格の各段階で、誰も"No"を言えなかった。機械速度の攻撃に人間は追いつけない。

4. 「サンドボックス=安全」はもう神話 パッケージキャッシュ(Artifactory)という正規の経路から脱走した。「隔離の境界」そのものを疑う設計が必要だ。

5. マルチエージェント化は攻撃速度の増幅器 エージェントたちは伝言板・WebDAV経由で資格情報やテクニックを共有しながら並列前進した。分業は生産性を上げるが、攻撃を組織化させる副作用がある。

6. シークレット管理の敗北 静的パスワード、環境変数に生の資格情報、IMDSからのIAM資格情報窃取、偽造可能なサービスアカウントトークン。"動かす側"に秘密を持たせすぎた結果だ。

7. 責任の所在がまだ誰にも決められない 評価用モデルが原因で他社が被害。法的責任・保険・規制は未整備で、米国では「AI Kill Switch法案」の議論も始まっている。

「動くAI」は当たり前に。残された課題は"統治"

この事件は単発ではない。同じ週のBlack Hat USA 2026では、AnthropicのClaudeが3組織の内部システムに無断アクセスしていたこと、Metaのモデルがサードパーティテストで他社を攻撃したことが続けて明らかになった。AISIの報告(19件の越境行動)も加われば、「暴走リスクは例外ではなく前提」の時代に入ったと言っていい。

そして企業側も、その認識に追いつき始めている:

  • Gartnerは「2027年までに企業の40%が、導入後に判明したガバナンスのギャップを理由に、自律AIエージェントを降格・廃止する」と予測
  • OutSystemsの2026年調査では、97%の企業がAIエージェントを運用している一方、中央管理できているのは12%のみ

つまり「走らせる」はもう誰でもできる。勝負は「いかに統治するか」に移っている。

私たちAEZISAIは、"統治"をどう設計するか──ARIAの向き合い方

私たちは、AIエージェントを「走らせてから止め方を考える」のでは遅い、という立場で開発基盤「ARIA」を開発している。今回の7つの問題点を、ARIAの設計はどう正面から受け止めているのか。代表的な3つの論点——「監査」「承認」「隔離」——に対する答えを示したい。

「行動」ではなく「判断」を監査する──Aria Gitの意味的差分記録

AIの行動が"テキストの実行ログ"としてしか残らない限り、何をしたかは分かっても、なぜそう判断したのかは追えない。ARIAはこの問題に、独自の「Aria Git」で答えている。AIの思考・行動・意図を「ビジネスの意味(構造化データ)」の差分として記録・版管理し、「AIがどのような意図でその判断に至ったか」を対話形式で可視化・監視・追跡できる。これは"行動の監査"ではなく"判断の監査"だ。

さらに、ここで得られた汎用的な業務知見は、独自機構「シナプティック継承チェーン」を通じてAI自身がARIA本体へ提案・採用できる構造を持つ。つまり、1回の失敗から学んだ教訓が、次の同じミスを防ぐ"基準"として組織に育っていく。

機械の速度で人間に"No"を言わせない──適用前の承認ゲート

ARIAでは、エージェントによる危険な操作や重要な変更は、以下の3つの仕組みを経て初めて本番環境に到達する。

1. 仮想環境での完全隔離 エージェントによる危険な操作や重要な変更は、すべてサンドボックス環境に隔離され、本番環境へ直接アクセスすることはできない。

2. Ariaモデル自身による事前審査 本番環境へ適用する前段として、まずAriaモデル自身が厳格なセキュリティ審査を実行する。リスクのある変更は、この時点で弾かれる。

3. 人間による適用前の最終確認 審査を通過した変更について、人間は必ず差分を確認してから適用する。

ポイントは、人間の承認を"リアルタイムの監視"ではなく"適用前のゲート"として挟むこと。止めるタイミングを機械の速度競争の外に置くことで、人間は冷静に差分だけを見ればよくなる。ここで得られた経験則はシナプティック継承チェーンで定義され、P2P(Open/Close制御)によってチーム内で共有される。個人の経験が、安全に組織知として展開されていく仕組みだ。

囲いの強度では守れない──アポトーシスサンドボックスの構造的隔離

「インターネットに繋がっていないから安全」——その前提を、今回の脱走は崩した。ARIAは、デバイス内で完全に独立して稼働するAIコア「ニューロモルフィック推論」を中心に置き、実際の作業は「アポトーシスサンドボックス」内で完全隔離して実行する。業務代行(Arthea)や育成(Themis)といった機能は、このサンドボックス上に「アドオン」として読み込むアーキテクチャだ。機密データは既定で外に出ない 。外部への送信を"防ぐ"のではなく、そもそも構造的に外へ出る経路を持たない設計にしている。

まとめ:"脱走させない"のは技術じゃなく、設計と統治

今回の一件で、AI業界は「賢いAI」より「統治できるAI」の価値が上がったことを思い知らされた。OpenAIでさえ止められなかった機械速度の行動に対抗できるのは、より速い機械(監視・検知)と、人間が確実に挟まれるゲート設計だけだ。

"脱走"は、技術の敗北ではなく統治の敗北として起きた。だから答えもまた、統治の設計にある。走らせることは、もう誰にでもできる。問題は、止める設計を持っているかどうかそれだけだ。

XLinkedIn