株式会社renue
renueについて
renueは、AIで業務を実装する会社です
AIコンサルティングから図面AI・広告運用エージェント・コールセンターAIまで、実際に動いているサービスをご覧いただけます。renueが何をしている会社か、まずはサービス一覧からご確認ください。
AIレッドチーミングとは
AIレッドチーミングとは、AIシステム（特にLLM: 大規模言語モデル）に対して意図的に攻撃的なテストを行い、脆弱性やリスクを本番運用前に発見・修正するセキュリティ評価手法です。従来のペネトレーションテストがネットワークやWebアプリケーションを対象としていたのに対し、AIレッドチーミングはプロンプトインジェクション、ジェイルブレイク、データ漏洩、エージェントの行動操作など、AI固有の攻撃ベクトルを対象とします。
Adversa AIが2025年7月30日に公表した「Top AI Security Incidents – 2025 Edition」の紹介では、同社が取り上げた実際のAIセキュリティインシデントの約35%が単純なプロンプトによるもので、10万ドル以上の損失につながった例もあると報告しています。同社の事例分析に関する発表であり、世界全体の発生率や任意のAIシステムの被害確率を示す統計ではありません。集計対象の選定・期間・件数や、1件ごとの損失額の算定は原報告書・個別事例による確認が必要です。OWASPのLLMアプリケーション向けTop 10では、プロンプトインジェクションが2023–24年版と2025年版のいずれでもLLM01に挙げられています。これは版ごとのリスク整理であり、2年分の実際の発生件数を比較したランキングではありません。なお、2026年版の公開案内もあるため、本記事の2025年版との比較と区別して利用してください。こうしたリスクを踏まえ、AIレッドチーミングの重要性が急速に高まっています。
なぜAIレッドチーミングが必要なのか
AI固有の脆弱性の急増
LLMを搭載したチャットボット、AIコパイロット、自律型エージェントの企業導入が加速する中、従来のセキュリティテストでは検出できないAI固有の脆弱性が新たなリスクとなっています。敵対的テストを行わずにLLMを顧客向けにデプロイすると、公開から短期間で問題のある出力が見つかり、緊急対応を迫られるケースがあります。
ジェイルブレイク成功率の高さ
Gibbsらの2024年研究「Emerging Vulnerabilities in Frontier Models」では、同じ内容でも単一ターンと複数ターンの構成によって攻撃の成功やフィルターの防御性能が変わることが示されています。特定の入力構成への対策だけでは、別の構成にも同じ防御性能があるとは限りません。結果は研究時点のモデルと評価条件に基づくもので、現在の全モデルに共通する成功率ではありません。ガードレールの実装だけでは不十分であり、敵対的テストによる継続的な脆弱性評価が不可欠です。
EU AI Actの規制要件
EU AI Actの適用は段階的で、2026年8月2日は透明性などの規定の適用開始日であり、完全施行日ではありません。2026年7月27日に発効したAI Omnibus改正により、附属書IIIの高リスクAIに関する主要義務は2027年12月2日、附属書Iの規制対象製品に組み込まれる高リスクAIは2028年8月2日からの適用となりました。第55条が敵対的テストの実施・文書化を求めるのは、システミックリスクを持つ汎用AI（GPAI）モデルの提供者です。高リスクAIの精度・堅牢性・サイバーセキュリティ要件とは区別します。GPAIモデルの義務は2025年8月2日から適用され、それ以前に市場投入されたモデルの提供者には2027年8月2日までの経過措置があります。罰金も対象が異なります。GPAIモデル提供者の故意・過失による義務違反等は、第101条で最大1,500万ユーロまたは前年度の全世界年間売上高の3%の高い方です。最大3,500万ユーロまたは7%の高い方は、第99条の禁止AI慣行への違反に関する上限で、中小企業等には同条の特例があります。
AIレッドチーミングの主要攻撃ベクトル
プロンプトインジェクション
OWASPの2023–24年版と2025年版のLLM向けTop 10で、いずれもLLM01に挙げられるリスクです。攻撃者が巧みに設計されたプロンプトを入力することで、LLMのシステムプロンプトや安全ガードレールを回避し、意図しない動作を引き起こします。直接的なプロンプトインジェクション（ユーザー入力経由）と間接的なプロンプトインジェクション（外部データソース経由）の2種類があります。
機密情報の漏洩
OWASPの2023–24年版ではLLM06、2025年版ではLLM02に整理されたリスクです。この掲載順の変化だけで、漏洩の発生件数が急増したとはいえません。LLMが学習データや検索拡張生成（RAG）で取得した社内データを、意図しない形でユーザーに公開してしまうリスクです。
サプライチェーン攻撃
OWASPの2023–24年版ではLLM05、2025年版ではLLM03に整理されたリスクです。こちらも発生頻度の順位を示すものではありません。悪意のあるモデル、汚染されたトレーニングデータ、脆弱なプラグインやツール連携を通じてAIシステムが攻撃されるリスクです。
エージェントのゴールハイジャック
自律型AIエージェントの普及に伴い登場した新しい攻撃カテゴリです。個々のレスポンスを対象とするプロンプトインジェクションとは異なり、エージェントのコアミッション自体を操作・改変する攻撃です。OWASPは2025年12月9日に「Top 10 for Agentic Applications」を公開しました。LLMアプリケーション向けTop 10とは対象範囲を分けて参照します。
データポイズニング
AIモデルの学習データに悪意のあるデータを混入させ、モデルの判断を歪める攻撃です。特にファインチューニングやRAGのデータソースが汚染されるリスクが高まっています。
AIレッドチーミングの実施方法
手動レッドチーミング
セキュリティ専門家がAIシステムに対して創造的な攻撃シナリオを設計・実行します。人間の創造性と文脈理解が必要な高度な攻撃（社会工学的なプロンプト、多段階の攻撃チェーン等）の発見に効果的です。
自動化レッドチーミング
AIを使ってAIを攻撃する自動化手法です。Novee、DeepTeam（オープンソース）などのツールが、大量の攻撃パターンを自動生成・実行し、脆弱性を体系的に探索します。CI/CDパイプラインに統合することで、AIアプリケーションのデプロイ前に自動的にセキュリティテストを実行できます。
ハイブリッドアプローチ
手動と自動化の組み合わせが最も効果的です。自動化ツールで広範な脆弱性スキャンを行い、手動テストで深堀りと創造的な攻撃シナリオの検証を行います。
主要AIレッドチーミングツール
| ツール | 種別 | 特徴 |
|---|---|---|
| Novee | 商用 | 自律型AIレッドチーミングエージェント。LLMアプリケーションの脆弱性を自動探索（2026年3月24日発表）。同社は2026年1月14日に5,150万ドルの調達と設立4か月以内のシリーズAを発表 |
| DeepTeam | OSS | LLMレッドチーミングフレームワーク。プロンプトインジェクション、バイアス、情報漏洩のテストを自動化 |
| Microsoft PyRIT | OSS | Microsoftが開発したAIレッドチーミングツールキット。多段階攻撃のオーケストレーション |
| garak | OSS | LLM脆弱性スキャナー。多数の攻撃プローブを搭載 |
| NVIDIA NeMo Guardrails | OSS | ガードレール実装とテストのフレームワーク |
導入のステップ
ステップ1: AIシステムの脅威モデリング
自社で運用するAIシステムの一覧、各システムが処理するデータの機密度、想定される攻撃者のプロファイルを定義し、脅威モデルを作成します。OWASP LLM Top 10をベースにリスク評価を行います。
ステップ2: レッドチーミング体制の構築
社内のセキュリティチームにAIセキュリティの知見を追加するか、外部のAIレッドチーミング専門企業と契約します。AI/MLエンジニアとセキュリティエンジニアの協働体制が効果的です。
ステップ3: テスト計画の策定と実施
攻撃シナリオ（プロンプトインジェクション、情報漏洩、ジェイルブレイク等）を定義し、手動+自動化のハイブリッドアプローチでテストを実施します。本番環境ではなくステージング環境でテストを行い、サービス影響を回避します。
ステップ4: 脆弱性の修復と再テスト
発見された脆弱性を優先度に応じて修復し、修復後に再テストで有効性を確認します。ガードレールの追加、入出力フィルタリングの強化、RAGデータソースのアクセス制御見直しなどが一般的な対策です。
ステップ5: 継続的テストの自動化
CI/CDパイプラインにAIレッドチーミングツールを統合し、モデルの更新やアプリケーションの変更のたびに自動テストを実行します。AIアプリケーションは基盤モデルや統合先のデータが頻繁に変化するため、継続的なテストが不可欠です。
よくある質問（FAQ）
Q. AIレッドチーミングと従来のペネトレーションテストの違いは何ですか？
従来のペネトレーションテストがネットワーク、Web、APIの技術的脆弱性を対象とするのに対し、AIレッドチーミングはプロンプトインジェクション、ジェイルブレイク、エージェントの行動操作など、AIモデルの非決定的な振る舞いに起因する脆弱性を対象とします。AIシステムの出力は確率的であるため、同じ入力でも異なる結果が得られる可能性があり、従来のルールベースのテストでは検出困難な脆弱性をカバーします。
Q. AIレッドチーミングはどの程度の頻度で実施すべきですか？
モデルの更新やアプリケーションの変更のたびに実施するのが理想です。CI/CDパイプラインに自動テストを組み込むことで、継続的なテストが可能になります。少なくとも四半期に1回の包括的な手動レッドチーミングと、デプロイごとの自動テストを組み合わせるという頻度の目安は、推奨主体・対象条件の確認が必要です。実施間隔は扱うデータ、権限、モデルや連携先の変更、過去の問題の重大性に応じて設計し、この頻度をEU AI Actの一律の法定間隔として扱わないでください。
Q. 小規模なAI導入でもレッドチーミングは必要ですか？
AIシステムが顧客データや機密情報にアクセスする場合、規模を問わずレッドチーミングは推奨されます。DeepTeamやgarakなどのオープンソースツールを活用すれば、低コストで基本的なセキュリティテストを実施できます。EU AI Actでは、システミックリスクを持つGPAIモデルの提供者に対する敵対的テスト・文書化の義務と、高リスクAIの堅牢性・サイバーセキュリティ要件を区別します。高リスクAIに関する主要義務には2027年12月2日または2028年8月2日の適用時期があり、単に小規模なAIを導入する企業すべてに同じレッドチーミング義務が生じるわけではありません。
まとめ
AIレッドチーミングは、LLMやAIエージェントの企業導入が加速する中、AI固有の脆弱性を事前に発見・修正するための不可欠なセキュリティプラクティスです。プロンプトインジェクションはOWASP LLM向けTop 10の2023–24年版と2025年版のLLM01です。攻撃の成功率は、対象モデル・入力構成・試行回数・成功判定によって変わります。入力の構成によって防御性能が変わる研究結果も踏まえ、ガードレールの実装だけで安全性を保証せず、継続的に評価してください。EU AI Actの2026年8月2日の適用開始は一部規定を除くもので、高リスクAIの主要義務は2027年・2028年へ段階適用されます。自社の役割と対象AIに対応したテスト・記録体制を整備してください。
株式会社renueでは、AIセキュリティ戦略の策定やAI導入支援のコンサルティングを提供しています。AIレッドチーミングの実施体制についてお気軽にご相談ください。