Transformer作者Illia Polosukhinは、Rustを用いてOpenClawを完全に書き直し、安全版AIスマート体フレームワークIronClawをリリースし、認証情報漏洩の脆弱性をアーキテクチャの面から解決した。転載元 | 量子位インターネット上で裸で走るロブスターはどれくらいいるのか?AIスマート体があなたのパスワードやAPIキーを露出させ、全ネットに晒されている。Transformerの作者Illia Polosukhinはこれを見過ごせず、安全版ロブスター:IronClawをゼロから再構築した。IronClawは現在GitHubでオープンソース化されており、macOS、Linux、Windows向けのインストーラーを提供。ローカル展開もクラウドホスティングもサポートしている。プロジェクトは引き続き高速なイテレーション段階にあり、v0.15.0のバイナリもダウンロード可能だ。Polosukhin(以下、菠蘿哥)はRedditでも投稿を行い、関心が高い。01 OpenClawが話題に、しかし「火事」も----------------------菠蘿哥自身もOpenClawの早期ユーザーであり、これは彼が20年待ち望んだ技術だと語る。> これによって、私の計算とのインタラクションの仕方が変わった。しかし、OpenClawの安全性は悲惨な状況で、一クリックのリモートコード実行、プロンプトインジェクション攻撃、悪意あるスキルによるパスワード窃盗など、多くの脆弱性が次々と明らかになっている。公開例だけでも25,000以上が安全管理なしにインターネットに晒されており、安全専門家からは「セキュリティダンプスターファイア(安全ゴミ箱火災)」と呼ばれている。### 問題の根源はアーキテクチャそのものにある。ユーザーが自分のメールアドレスやBearer TokenをOpenClawに渡すと、それは直接LLM提供者のサーバーに送信される。Redditで菠蘿哥はこれが何を意味するかを指摘した。> あなたのすべての情報、明示的に許可していないデータも含めて、その会社の従業員がアクセスできる可能性がある。これはあなたの雇用主のデータにも当てはまる。悪意があるわけではないが、現実にはユーザーのプライバシーは守られていない。彼は、便利さのために自分や家族の安全とプライバシーを危険にさらす価値はないと述べている。02 Rustでゼロから再構築---------------IronClawはRust言語を用いてOpenClawを完全に書き直したものである。Rustのメモリ安全性は従来のバッファオーバーフローなどの脆弱性を根本から排除し、秘密鍵やユーザ認証情報を扱うシステムにとって極めて重要だ。安全なアーキテクチャの上に、IronClawは四層の深層防御を構築している。第一層はRust自体が提供するメモリ安全保証。第二層はWASMサンドボックス隔離。すべてのサードパーティツールやAI生成コードは独立したWebAssemblyコンテナ内で動作し、悪意のあるツールでも破壊範囲はサンド内に限定される。第三層は暗号化された認証情報保管庫。APIキーやパスワードはAES-256-GCMで暗号化保存され、各認証情報には特定のドメインのみで使用可能なポリシールールが付与されている。第四層は信頼できる実行環境(TEE)。ハードウェアレベルの隔離により、クラウドサービス提供者さえもユーザの敏感情報にアクセスできない。この設計の最も重要なポイントは:**大規模モデル自体が原始的な認証情報に一切触れないこと。**外部サービスと通信が必要なときだけ、認証情報はネットワーク境界で注入される。菠蘿哥は例を挙げて、たとえ大規模モデルに対してインジェクション攻撃が行われ、ユーザのGoogle OAuthトークンを攻撃者に送信しようとしても、認証情報の保存層はそのリクエストを拒否し、ログを記録し、ユーザに警告を出すと説明した。しかし、開発者コミュニティは依然として不安を抱いている。OpenClawでは2000以上の公開例が攻撃され、多数の悪意あるスキルも存在している。IronClawが普及したら同じ過ちを繰り返すのではないかと。菠蘿哥の回答は、IronClawのアーキテクチャはOpenClawの核心的な脆弱性を根本から塞いでいるというものだ。認証情報は常に暗号化された状態で保存され、LLMに触れることはなく、サードパーティスキルはホスト上でスクリプトを実行できず、コンテナ内だけで動作する。CLI経由でもアクセスにはユーザのシステムキーチェーンの解読が必要であり、得られる暗号鍵自体には意味がない。また、コアバージョンが安定化するにつれ、チームはレッドチームテストや専門的なセキュリティ監査も計画している。インジェクション攻撃という業界共通の難題について、菠蘿哥はより詳細なアイデアを示した。現状のIronClawはヒューリスティックルールによるパターン検出を行っているが、将来的には継続的に更新される小型の言語分類器を導入し、インジェクションパターンを識別することを目指している。しかし、彼はインジェクション攻撃は認証情報の窃盗だけでなく、ユーザのコードベースの改ざんや通信ツールを通じた悪意あるメッセージ送信も可能にすると認めている。こうした攻撃に対抗するには、入力内容を見ずにスマート体の行動意図を審査できるより賢い戦略システムが必要だとし、「まだまだ改善の余地があり、コミュニティの協力を歓迎します」と述べている。ローカル展開とクラウド展開の選択について質問された際、菠蘿哥は純粋なローカルソリューションには明らかな制約があると答えた。デバイスの電源を切るとスマート体は動かなくなるし、モバイル端末の電力消費も耐えられず、長時間の複雑なタスクも実行できない。彼は、機密性の高いクラウド(confidential cloud)が現時点で最適な妥協案だと考えている。ローカルに近いプライバシー保護を提供しつつ、「常時オンライン」の問題も解決できる。また、ある細かい点として、ユーザは戦略を設定できる。例えば、海外旅行時に自動的に追加のセキュリティ層を設け、不正アクセスを防ぐといったことだ。03 より大きな野望----------菠蘿哥は単なるオープンソース開発者ではない。2017年、「Attention Is All You Need」を共同執筆し、その中で提案されたTransformerアーキテクチャは、現在のすべての大規模言語モデルの基盤となっている。名前は最後に記されているが、論文には「Equal contribution. Listing order is random.」とあり、順位はランダムだ。同年、彼はGoogleを離れ、NEAR Protocolを設立。AIとブロックチェーンの融合に取り組む。IronClawの背後には、NEAR Protocolのより大きな戦略構想:ユーザー所有のAI(User-Owned AI)がある。このビジョンでは、ユーザは自分のデータと資産を完全に管理し、AIスマート体が信頼できる環境でユーザに代わってタスクを実行する。NEARはこれに向けてAIクラウドプラットフォームや分散型GPUマーケットなどのインフラを構築済みで、IronClawはそのランタイム層だ。菠蘿哥は、スマート体同士を雇用し合うマーケットも開発している。NEARのmarket.near.aiでは、ユーザが専門化したスマート体を登録し、評価や信頼を積み重ねることで、より高価値なタスクを獲得できる仕組みだ。将来の五年間で一般人がAI時代にどう適応すべきかと問われ、菠蘿哥は、できるだけ早くAIスマート体を仕事の一部として取り入れ、作業フローを自動化させることを推奨した。この判断は最近になって思いついたものではなく、2017年にNEAR AIを立ち上げた頃からすでに示していた。当時、多くの人は彼らの言葉を狂言だと思ったが、今やそれが現実になりつつある。「AIスマート体は人類とオンラインのあらゆるインタラクションの究極のインターフェースだ」とPolosukhinは書き、「しかし、それを安全に作り上げよう」と締めくくった。---GitHubアドレス:https://github.com/nearai/ironclaw参考リンク:[1] https://www.reddit.com/r/MachineLearning/comments/1rlnwsk/d_ama_secure_version_of_openclaw/
Transformer論文の著者がロブスターを再構築し、OpenClawの裸奔脆弱性に別れを告げる
Transformer作者Illia Polosukhinは、Rustを用いてOpenClawを完全に書き直し、安全版AIスマート体フレームワークIronClawをリリースし、認証情報漏洩の脆弱性をアーキテクチャの面から解決した。
転載元 | 量子位
インターネット上で裸で走るロブスターはどれくらいいるのか?
AIスマート体があなたのパスワードやAPIキーを露出させ、全ネットに晒されている。
Transformerの作者Illia Polosukhinはこれを見過ごせず、安全版ロブスター:IronClawをゼロから再構築した。
IronClawは現在GitHubでオープンソース化されており、macOS、Linux、Windows向けのインストーラーを提供。ローカル展開もクラウドホスティングもサポートしている。プロジェクトは引き続き高速なイテレーション段階にあり、v0.15.0のバイナリもダウンロード可能だ。
Polosukhin(以下、菠蘿哥)はRedditでも投稿を行い、関心が高い。
01 OpenClawが話題に、しかし「火事」も
菠蘿哥自身もOpenClawの早期ユーザーであり、これは彼が20年待ち望んだ技術だと語る。
しかし、OpenClawの安全性は悲惨な状況で、一クリックのリモートコード実行、プロンプトインジェクション攻撃、悪意あるスキルによるパスワード窃盗など、多くの脆弱性が次々と明らかになっている。
公開例だけでも25,000以上が安全管理なしにインターネットに晒されており、安全専門家からは「セキュリティダンプスターファイア(安全ゴミ箱火災)」と呼ばれている。
問題の根源はアーキテクチャそのものにある。
ユーザーが自分のメールアドレスやBearer TokenをOpenClawに渡すと、それは直接LLM提供者のサーバーに送信される。
Redditで菠蘿哥はこれが何を意味するかを指摘した。
彼は、便利さのために自分や家族の安全とプライバシーを危険にさらす価値はないと述べている。
02 Rustでゼロから再構築
IronClawはRust言語を用いてOpenClawを完全に書き直したものである。
Rustのメモリ安全性は従来のバッファオーバーフローなどの脆弱性を根本から排除し、秘密鍵やユーザ認証情報を扱うシステムにとって極めて重要だ。
安全なアーキテクチャの上に、IronClawは四層の深層防御を構築している。
第一層はRust自体が提供するメモリ安全保証。
第二層はWASMサンドボックス隔離。すべてのサードパーティツールやAI生成コードは独立したWebAssemblyコンテナ内で動作し、悪意のあるツールでも破壊範囲はサンド内に限定される。
第三層は暗号化された認証情報保管庫。APIキーやパスワードはAES-256-GCMで暗号化保存され、各認証情報には特定のドメインのみで使用可能なポリシールールが付与されている。
第四層は信頼できる実行環境(TEE)。ハードウェアレベルの隔離により、クラウドサービス提供者さえもユーザの敏感情報にアクセスできない。
この設計の最も重要なポイントは:大規模モデル自体が原始的な認証情報に一切触れないこと。
外部サービスと通信が必要なときだけ、認証情報はネットワーク境界で注入される。
菠蘿哥は例を挙げて、たとえ大規模モデルに対してインジェクション攻撃が行われ、ユーザのGoogle OAuthトークンを攻撃者に送信しようとしても、認証情報の保存層はそのリクエストを拒否し、ログを記録し、ユーザに警告を出すと説明した。
しかし、開発者コミュニティは依然として不安を抱いている。OpenClawでは2000以上の公開例が攻撃され、多数の悪意あるスキルも存在している。IronClawが普及したら同じ過ちを繰り返すのではないかと。
菠蘿哥の回答は、IronClawのアーキテクチャはOpenClawの核心的な脆弱性を根本から塞いでいるというものだ。認証情報は常に暗号化された状態で保存され、LLMに触れることはなく、サードパーティスキルはホスト上でスクリプトを実行できず、コンテナ内だけで動作する。
CLI経由でもアクセスにはユーザのシステムキーチェーンの解読が必要であり、得られる暗号鍵自体には意味がない。
また、コアバージョンが安定化するにつれ、チームはレッドチームテストや専門的なセキュリティ監査も計画している。
インジェクション攻撃という業界共通の難題について、菠蘿哥はより詳細なアイデアを示した。
現状のIronClawはヒューリスティックルールによるパターン検出を行っているが、将来的には継続的に更新される小型の言語分類器を導入し、インジェクションパターンを識別することを目指している。
しかし、彼はインジェクション攻撃は認証情報の窃盗だけでなく、ユーザのコードベースの改ざんや通信ツールを通じた悪意あるメッセージ送信も可能にすると認めている。
こうした攻撃に対抗するには、入力内容を見ずにスマート体の行動意図を審査できるより賢い戦略システムが必要だとし、「まだまだ改善の余地があり、コミュニティの協力を歓迎します」と述べている。
ローカル展開とクラウド展開の選択について質問された際、菠蘿哥は純粋なローカルソリューションには明らかな制約があると答えた。
デバイスの電源を切るとスマート体は動かなくなるし、モバイル端末の電力消費も耐えられず、長時間の複雑なタスクも実行できない。
彼は、機密性の高いクラウド(confidential cloud)が現時点で最適な妥協案だと考えている。ローカルに近いプライバシー保護を提供しつつ、「常時オンライン」の問題も解決できる。
また、ある細かい点として、ユーザは戦略を設定できる。例えば、海外旅行時に自動的に追加のセキュリティ層を設け、不正アクセスを防ぐといったことだ。
03 より大きな野望
菠蘿哥は単なるオープンソース開発者ではない。
2017年、「Attention Is All You Need」を共同執筆し、その中で提案されたTransformerアーキテクチャは、現在のすべての大規模言語モデルの基盤となっている。
名前は最後に記されているが、論文には「Equal contribution. Listing order is random.」とあり、順位はランダムだ。
同年、彼はGoogleを離れ、NEAR Protocolを設立。AIとブロックチェーンの融合に取り組む。
IronClawの背後には、NEAR Protocolのより大きな戦略構想:ユーザー所有のAI(User-Owned AI)がある。
このビジョンでは、ユーザは自分のデータと資産を完全に管理し、AIスマート体が信頼できる環境でユーザに代わってタスクを実行する。
NEARはこれに向けてAIクラウドプラットフォームや分散型GPUマーケットなどのインフラを構築済みで、IronClawはそのランタイム層だ。
菠蘿哥は、スマート体同士を雇用し合うマーケットも開発している。
NEARのmarket.near.aiでは、ユーザが専門化したスマート体を登録し、評価や信頼を積み重ねることで、より高価値なタスクを獲得できる仕組みだ。
将来の五年間で一般人がAI時代にどう適応すべきかと問われ、菠蘿哥は、できるだけ早くAIスマート体を仕事の一部として取り入れ、作業フローを自動化させることを推奨した。
この判断は最近になって思いついたものではなく、2017年にNEAR AIを立ち上げた頃からすでに示していた。
当時、多くの人は彼らの言葉を狂言だと思ったが、今やそれが現実になりつつある。
「AIスマート体は人類とオンラインのあらゆるインタラクションの究極のインターフェースだ」とPolosukhinは書き、「しかし、それを安全に作り上げよう」と締めくくった。
GitHubアドレス:
https://github.com/nearai/ironclaw
参考リンク:
[1] https://www.reddit.com/r/MachineLearning/comments/1rlnwsk/d_ama_secure_version_of_openclaw/