ドキュメントの一行を変更するだけで毒を仕込めるAIプログラミングアシスタント:ワン・エンダーのContext Hubが全工程で審査ゼロと暴露

BlockBeatNews

2023年10月のAIニュース監視によると、DeepLearning.AI創設者でスタンフォード大学の非常勤教授のワン・ダ氏が2週間前にリリースしたAIプログラミングドキュメントサービス「Context Hub」が、セキュリティ研究者によってサプライチェーン攻撃のリスクが指摘された。Context HubはMCPサーバーを通じてプログラミングエージェントにAPIドキュメントを提供し、貢献者はGitHubのプルリクエスト(PR)を通じてドキュメントを提出、メンテナがマージした後、エージェントが必要に応じて読み取る仕組みだ。代替サービスのlap.shの作成者であるミッキー・シュミュエリは、概念実証攻撃(PoC)を公開し、「このパイプラインの各段階には内容の審査が一切ない」と指摘した。

シュミュエリはPlaid LinkとStripe Checkout向けの偽のドキュメントを2つ作成し、それぞれに偽のPyPIパッケージ名を埋め込み、Anthropicの3つのレベルのモデルを用いて40回ずつテストした。

  1. Haikuは毎回悪意のあるパッケージをrequirements.txtに書き込み、出力に警告は表示されない
  2. Sonnetは40回中19回(48%)で警告を出すが、53%(21/40)のケースで悪意のある依存関係を書き込み続ける
  3. Opusは最も良好で、75%(30/40)のケースで警告を出し、悪意のある依存関係をコードに書き込まなかった

攻撃者は1つのPRを提出し、マージされるだけで毒入りコードの注入が完了する。審査のハードルは低く、既に閉鎖された97件のPRのうち58件がマージされている。シュミュエリは、これは本質的に間接的なプロンプトインジェクションの一種であり、AIモデルは内容を処理する際にデータと指示を区別できず、他のコミュニティドキュメントサービスも内容審査の面で同様に脆弱だと指摘している。ワン・ダ氏はコメント要請に応じていない。

原文表示
免責事項:このページの情報は第三者から提供される場合があり、Gateの見解または意見を代表するものではありません。このページに表示される内容は参考情報のみであり、いかなる金融、投資、または法律上の助言を構成するものではありません。Gateは情報の正確性または完全性を保証せず、当該情報の利用に起因するいかなる損失についても責任を負いません。仮想資産への投資は高いリスクを伴い、大きな価格変動の影響を受けます。投資元本の全額を失う可能性があります。関連するリスクを十分に理解したうえで、ご自身の財務状況およびリスク許容度に基づき慎重に判断してください。詳細は免責事項をご参照ください。
コメント
0/400
コメントなし