ラスベガスで年次カンファレンス「Black Hat」が開幕する中、120 以上の組織が参加する Open Secure AI Alliance は、自律的に動作するエージェント型 AI のサイバーセキュリティを強化するための新たなガイドラインの策定を進めています。
Linux Foundation は本日、Shared AI Findings Exchange (SAFE) に関する意見募集 (RFC) を開始しました。これは、エージェント型 AI に関連するサイバーセキュリティ インシデントの情報を、エコシステム全体で共有可能な防御策へと転換することを目的としたガイドライン案です。
SAFE ガイドラインの草案は、Open Secure AI Alliance のワーキング グループによって作成されています。NVIDIA、Cisco、CrowdStrike、Hugging Face、Red Hat といった同アライアンスのメンバー企業が、Linux Foundation と協力してこの初期案の策定に取り組んでいます。
SAFE ガイドラインには、AI インシデントおよびニアミスを機密保持のもとで収集および分析し、影響を受けた関係者に情報を提供しながら、繰り返される制御上の不備を特定し、システム リスクを低減するための証拠に基づいた運用推奨事項を公開することが提案に含まれています。
サイバーセキュリティはゴールのない競争です。主要な技術革新はすべて、新たな潜在的な攻撃対象領域を生み出してきました。防御側は、インフラと知的財産を保護するために、エージェント並みのスピードで迅速に対応する必要があります。そして、そのためには連携が不可欠です。信頼できるエコシステムが脅威インテリジェンスをオープンに共有することで、集団的な防御は相乗効果を発揮します。
Open Secure AI Alliance が AI サイバーセキュリティのためのツールをさらに提供
SAFE フレームワークは、Open Secure AI Alliance メンバーが、AI セキュリティ スタック全体にわたるオープンで検証可能なツールを構築および共有するために行っている技術貢献をさらに強化するものです。
AI エージェントは単なるモデルではありません。それはアイデンティティ制御、ハーネス、ガードレール、ログ、評価機能などを備えたシステムであり、そのセキュリティを確保するには、単なる脆弱性スキャン以上の対策が求められます。
セキュリティは常に、多層的な構造と、知見を共有しようとするコミュニティの姿勢によって最も強固なものとなります。防御側が互いに学び合い、オープンかつ迅速に連携することで、最も困難な課題も解決へと導かれます。
NVIDIA のオープンなサイバーセキュリティ ソフトウェアとモデルによるフルスタック
NVIDIA の貢献はスタック全体に及んでいます。その一例として、GitHub で公開されている研究用ハーネスである NVIDIA Labs Object-Oriented Agent (NOOA) が挙げられます。これは、エージェントの動作のテスト、追跡、監査、およびガバナンスを容易にするものです。
NVIDIA OpenShell ランタイムは、エージェントが「何を見、何に触れ、何を実行できるか」を制限します。エージェント レベルでセキュリティおよびプライバシーの制御を強制することで、エージェントが本来アクセスすべきでないリソースに到達できないようにします。
エージェント型 AI 向けの NVIDIA Nemotron、フィジカル AI 向けの NVIDIA Cosmos、ロボティクス向けの NVIDIA Isaac GR00T、ヘルスケアおよびライフ サイエンス向けの NVIDIA BioNeMo、そして商用利用が許諾された自動運転車向けの世界最大級のモデルである NVIDIA Alpamayo などの NVIDIA のオープンモデル群は、オープンなウェイト、データセット、および学習手法と共に提供されます。
NVIDIA のオープンソースかつ検証済みのエージェント スキルは、その信頼性をケーパビリティ レイヤー (機能実装層) にまで拡張します。
各スキルは、ポータブルな命令セットとして提供されます。これらはカタログ化され、プロンプト インジェクションやツール ポイズニングといったリスクの有無がスキャンされ、暗号署名が施されるとともに、スキル カードによる文書化が行われています。これにより、セキュリティ担当者は、エージェント スキルの動作内容や出自、さらには公開後に改ざんされていないかどうかを正確に把握できます。
NeMo Guardrails、NeMo Anonymizer、および NeMo Safe Synthesizer は、安全ポリシーの適用、機密データの保護、そしてプライバシーに配慮した合成データの生成を支援します。
また、NVIDIA のオープンソース LLM 脆弱性スキャナーである Garak を活用することで、セキュリティ チームはモデルをリリースする前に、データ漏洩、プロンプト インジェクション、ジェイル ブレイクといったリスクがないか検証することが可能になります。
アライアンス加盟各社がオープンなエコシステム開発に向けたツールを拡充
Open Secure AI Alliance の他の加盟企業も、防御スタック全体にわたるソリューションの構築に取り組んでいます。その領域は、ID と権限管理、ハーネス、ランタイム ガードレール、セキュリティ AI モデル、可観測性と評価、データ セキュリティとプライバシー、可用性とレジリエンスなど多岐にわたります。
スタックの各層における最新の貢献の一部を以下に紹介します。今後もさらなる取り組みが続く予定です。
ID と権限 — 誰がアクションを実行できるか
識別できないものを保護することはできません。
Okta は、エージェントの ID とアクセスに関するリファレンス実装を開発しています。これは、オープン プロトコルである Cross App Access (XAA) を活用し、OpenShell サンドボックス環境で動作する AI エージェントが、企業のアプリケーションに安全に接続する方法を示すものです。
Palo Alto Networks は、同社の次世代 ID セキュリティ プラットフォーム Idira から、Agent Guard や Agent Watch を含むオープン ソース ツールを提供しています。これらのツールは、開発者やエージェント構築者が ID セキュリティのベスト プラクティスやエージェント型ワークフローにおけるシークレットの安全な取得などといった安全策を適用するのに役立ちます。
Red Hat が立ち上げた新しいオープン ソース プロジェクト asago は、NIST、OWASP、EU AI 法などで言及されているような組織独自のガバナンス要件を取り込み、それらをランタイムにおけるエージェントの許容動作へと直接マッピングします。これにより、ポリシーの条項から実際の制御に至るまで、単一の監査証跡が確保されます。
ハーネスとツール — セキュリティ業務のオーケストレーション
AI エージェントは単なるモデルではありません。オープン モデルやクローズド モデル、ハーネス、ツール、ランタイムといったシステム群を活用し、タスクを遂行します。
モデルがエージェントの脳であるならば、ハーネスはツールを駆使して実際に行動を起こす身体にあたります。モデルを取り囲むハーネスは、エージェントの展開、連携、そして制約のあり方を決定するオーケストレーターのような役割を果たします。
アライアンスのメンバーは、AI セキュリティ スタックにおけるこの新たなレイヤー全体にわたり、ツールやハーネス、および関連技術を提供しています。
本日 Open Secure AI Alliance の新たなメンバーとなった Amazon は、AI エージェント構築用のオープン ソース ツール キット Strands Agents を提供します。これはあらゆるレイヤーがオープンになっており、開発者はエージェントの挙動を完全に可視化できるほか、本番環境でエージェント システムを評価することが可能です。また Amazon は、AI エージェントの許容される動作に対して決定論的かつ検証可能な境界を設けるオープンソースの認可言語 Cedar も提供します。これにより、顧客はきめ細かく分析可能なアクセス制御を行い、承認されたアクションのみが企業のリソースに到達するようにすることが可能になります。
Capital One は、エージェント型 AI のコード セキュリティを対象とした VulnHunter をオープンソースとして公開しました。
Cloudflare は、エージェント システムにセキュリティ機能を追加するためのオープン ソースの Vulnerability Discovery Harness を提供しています。
Microsoft AI Red Team は、いくつかのツールとハーネスをオープン ソース化しました。PyRIT (Python Risk Identification toolkit) を使用すると、AI レッド チーム メンバーは、組み込みメモリを使用して、一般的なターゲットだけでなくカスタム エンドポイントをサポートする、自動化されたレッドチーム活動を実行できます。
RAMPART は、レッドチームの発見事項と実際のインシデントを、ソフトウェアの変更時に実行可能な再現可能なテストに変換します。Clarity は、チームが設計上の前提を検証し、コードを書く前に潜在的な障害を特定するのに役立ちます。
Microsoft は、自然言語による要件と期待される AI の安全性およびセキュリティ動作を実行可能な評価に変換する Assert もオープン ソース化しました。
Atlas は、Wiz の自律型脆弱性調査エンジンであり、専用の AI エージェントをオーケストレーションして、コードとオープン ソース パッケージ全体にわたるセキュリティ上の欠陥を発見および検証します。
Visa は Open Secure AI Alliance に参画し、オープンソースの Visa Vulnerability Agentic Harness を提供しています。これにより、チームは問題の特定、修正、検証を迅速かつ安全に行えるようになります。
モデル — AI の安全性と防御のために構築されたインテリジェンス
あらゆるセキュリティや安全性のタスクに汎用モデルが必要なわけではありません。セキュリティや安全性に特化したモデルは、防御を目的として構築されています。これらは、コードの理解、脆弱性の特定、そして脅威に関するリーズニングを大規模に行えるよう学習されています。また、オープン モデルとクローズド モデルが連携するモデルのシステムとしてエージェント型ワークフローを支援し、効率的にタスクを遂行することも可能です。
Cisco DefenseClaw は、NVIDIA OpenShell 上で動作するオープン ソースのエージェント型ガバナンス レイヤーであり、エージェント型ワークフォースを拡張する際、ランタイム レベルで堅牢かつ自動化されたセキュリティを提供します。さらに Cisco は、コード ベース内の既知の脆弱性の所在を特定する Antares セキュリティ小規模言語モデル (SLM) の 2 つのモデルや、AI コーディングのワーク フローにセキュア バイ デフォルトの手法を直接組み込む Project CodeGuard も公開しています。
CrowdStrike は、サイバー防御向けに NVIDIA Nemotron Nano モデルのファインチューニングを行っています。社内テストでは、Falcon LogScale 内での調査用クエリ生成において 96% の精度を達成し、エージェントの調査効率を向上させる自然言語インターフェースを実現しました。また同社は、NVIDIA Nemotron Nano をベースとした専門的なリーズニング モデルが、セキュリティ オペレーション センター (SOC) における検知トリアージ業務において、はるかに大規模なモデルを凌駕する性能を示すことを実証する研究成果も発表しました。このモデルは、調整されたロジットに基づく信頼度の概念を導入することで、測定、調整、監査が可能な自律的なセキュリティ判断を可能にします。
Mistral は本日、マルチモーダルな安全性分類モデル Shieldstral を、Apache 2.0 ライセンスの下、オープン ウェイト モデルとして公開しました。
エージェントがどのような動作を行ったかを確認するだけでは、全体像を把握したことにはなりません。防御側には、なぜその動作が行われたのか、システムが安全に動作しているか、そして現実世界で攻撃がどのように進化しているかを理解することも求められます。
Akamai は、同社の State of the Internet レポートや Security Intelligence Group による調査から得られた知見と実環境のデータを活用し、AI 時代の脅威を明らかにするとともに、新たな攻撃手法の仕組みを解説しています。これにより、防御側は脅威について学び、適応し、適切に対処できるようになります。Cognition は、オープンソース由来のモデルにおけるアライメントやセキュリティ リスクを測定する信頼性評価手法を公開しました。この評価により、ポスト トレーニングを通じてこうしたリスクを軽減できることが示されています。
Numbat は、クライアント エンド ポイント向けのオープン ソース エージェント セキュリティ スイートです。macOS、Linux、Windows 上のエージェントの活動を検知、調査および防止し、エージェントが実際に行った動作の体系的な記録を防御側に提供します。
Uber は、セキュリティ チームによる脅威検知を支援する本番稼働システム ADR (Agentic AI Detection and Response) の主要コンポーネントをオープンソース化しました。ADR は、プロンプトからリーズニング、ツール呼び出し、そして最終的な結果に至るまで、AI エージェントの活動における完全な因果関係の連鎖を再構築します。現在、ADR は 3 万台のエンドポイントで 1 日あたり 20 万件以上のエージェント セッションをサポートしており、効率的な検知と、確度の高い脅威に対する詳細な調査を組み合わせた 2 段階の分析アプローチを採用しています。
可用性とレジリエンス — 重要な局面での迅速な復旧
エージェント システムは、障害発生時にも信頼性を維持し、障害を局所化し、重要な状態情報を失ったり広範な環境に悪影響を及ぼしたりすることなく、安全に復旧できなければなりません。
LangChain は、Deep Agents、LangGraph、LangChain といった同社のオープン ソース フレーム ワークにレジリエンス機能を強化しています。これにより、エージェントは中断された処理の再試行、安全な復旧手順の実行、最初からやり直すのではなく保存された状態からの再開、そしてプライマリモデルの障害時に自動的に代替モデルへフォールバックする、といったことが可能になります。
Veeam は、Kubernetes 上のデータ保護向けオープンソース フレームワークである Kaniste などの技術を活用し、AI を支えるデータとインフラのレジリエンスと復旧能力の維持を支援しています。同社のソリューションは、AI ワークロード、ベクトル データベース、およびデータを保護し、検証済みの正常な状態へと復旧させることを可能にします。
今後もさらなる貢献が予定されています。メンバーが再利用可能な緩和策を公開することで、エコシステム全体で防御担当者がそれらを検証、適応、および改善できるようになり、AI の進化に合わせてセキュリティ対策も発展していくことになります。
8 月 4 日 (火) の午後 5 時 15 分 (太平洋夏時間)、マンダレイ ベイ コンベンション センターのビジネス ホールにあるメイン ステージ外にて、Open Secure AI Alliance のメンバーによる集合写真撮影が行われました。
Open Secure AI Alliance の詳細や参加については、こちらをご覧ください。