ARTICLE

AI導入プロジェクトのテスト戦略|AIの非決定性に対応する品質保証の設計と評価フレームワーク【2026年版】

2026/9/16 (更新: 2026/10/13)

SHARE

AI導入プロジェクトのテスト戦略。AIの非決定性に対応する品質保証の設計と評価フレームワーク【2026年版】

AI

AI導入プロジェクトのテスト戦略|AIの非決定性に対応する品質保証の設計と評価フレームワーク【2026年版】

ARTICLE株式会社renue
renue

株式会社renue

2026/9/16 公開2026/10/13 更新

renueについて

renueは、AIで業務を実装する会社です

AIコンサルティングから図面AI・広告運用エージェント・コールセンターAIまで、実際に動いているサービスをご覧いただけます。renueが何をしている会社か、まずはサービス一覧からご確認ください。

なぜAIプロジェクトには従来と異なるテスト戦略が必要なのか

固定仕様の処理は期待値や性質をテストします。一方、LLMによる生成は非決定的な場合があり、同じ要約依頼から表現の違う文章が返ることがあります。それぞれが定めた内容・形式の条件を満たせば、複数の回答を正解と評価できます。全ての出力が正しいとは限らず、誤情報や条件違反も検証します。

LangChainのState of Agent Engineeringは、2025年11月18日〜12月2日に実施した公開調査の1,340回答を集計しています。要約では回答者の57%がエージェントを本番運用しているとし、品質を本番化の主要障壁として挙げた回答者が32%と報告しています。全組織を代表する無作為標本の普及率や、全案件の失敗率とは区別します。

本記事では、AIの非決定性に対応する3層テスト戦略と、実務で使える評価フレームワークを解説します。

3層テスト戦略

層対象テスト方法実行タイミング
Layer 1:決定論的テスト固定ルールのルーティング、ツール実行処理、引数パース、フォーマット変換、定義済み状態遷移従来の単体テスト(pytest等)毎コミット(CI)
Layer 2:出力の性質チェック出力の構造的特性(JSON準拠、必須フィールド存在、文字数制限)スキーマバリデーション + アサーション毎コミット(CI)
Layer 3:LLM評価テスト回答の品質(正確性、関連性、有害性、忠実性)LLM-as-a-Judge + 人間評価main マージ時 or 日次

Layer 1:決定論的テスト

AIシステムの固定ルールやパーサ、ツール実行処理など、決定論的に動作する部分を単体テストで検証します。100%カバレッジを目指す場合は対象コード・分岐などの指標を定義し、100%でも全てのAI出力や誤りを検証できたとは扱いません。LLMが動的に選ぶツールや引数の適切さは、生成結果として評価します。

  • 固定ルールのツール選択のテスト(定義済み入力と分岐を確認。LLMが選ぶツール・引数はLayer 3でも評価)
  • 入力バリデーション(不正な入力に対して適切なエラーが返るか)
  • レスポンス整形(LLMの出力がJSON形式に正しく変換されるか)

Layer 2:出力の性質チェック

LLMの出力表現が変わる場合でも、出力が満たすべき「性質」は固定して検証できます。固定ケースに対するスキーマ検証やアサーションは性質チェックです。Hypothesis等のプロパティベーステストは、入力を戦略から生成し、多様なケースで定めた性質を検証する手法で、単に出力のJSON形式を確認することとは区別します。

プロパティテスト内容例
構造出力がスキーマに準拠しているかJSONの必須フィールドが全て存在する
長さ出力が規定の文字数/トークン数以内か要約が500文字以内
禁止出力に含まれてはいけない情報がないか個人情報、禁止語句が含まれていない
言語出力が指定言語で生成されているか日本語で回答(英語混入なし)

Layer 3:LLM評価テスト

回答の「品質」を評価するテストです。4つのベースライン指標で評価します。

指標内容測定方法
回答関連性質問に対して的確に回答しているかLLM-as-a-Judge(別のLLMが採点)
忠実性参照データに基づいた回答か(ハルシネーションなし)回答の各主張をソースと照合
有害性有害・不適切な内容が含まれていないかコンテンツフィルタ + LLM判定
ツール正確性正しいツールが正しいパラメータで呼ばれたかツール呼び出しログの検証

実務上のポイント:LLM評価テストは非決定的なため、3回以上実行してスコアを平均化することで、単発の揺れを吸収してください。

テストケース設計のフレームワーク

カテゴリテスト項目合格基準
正常系標準的な入力に対して正しい出力が返るか正答率85%以上(100件中85件正解)
境界系非常に長い入力、空入力、特殊文字を含む入力エラーハンドリングが適切に動作
攻撃系プロンプトインジェクション、脱獄試行用意した攻撃ケースでは、有害出力・権限違反・情報漏えいの観測件数ゼロを要求。有限の試験で本番の全攻撃への安全を保証しない
性能系同時接続数、レスポンスタイム同時200接続でP95レスポンス5秒以内
回帰系モデル/プロンプト変更後に既存テストが通るか変更前と同等以上のスコア

評価パイプラインの設計

  1. テストデータセット準備:正常系100件 + 境界系20件 + 攻撃系10件(計130件)を用意する構成例。FAQの初期100件案とは別で、各カテゴリの判定基準と母数を分ける
  2. 自動実行:CI/CDパイプラインに組み込み、PRごとにLayer 1-2、mainマージ時にLayer 3を実行
  3. スコア記録:各テスト結果をMLflow等で記録し、プロンプトバージョンとの紐付け
  4. 閾値チェック:Layer 1-2が失敗した場合はPRをブロック。mainマージ後のLayer 3でスコアが閾値を下回った場合はリリースを保留
  5. 人間レビュー:Layer 3で低スコアだったケースは人間がレビューし、テストケースを追加

よくある失敗と回避策

失敗1:「テストが全件通る」を目指す

自由記述の生成では、単一の文章との完全一致率100%だけで品質を判定しません。「90%以上が通過し、残り10%は許容範囲内」は、通常の品質評価について業務上の許容条件を定める設計例です。残り10%に重大な誤情報、権限違反、情報漏えい、有害出力を含めて許容する基準には使いません。攻撃系・必須の安全要件は別の合格条件で判定します。

失敗2:テストデータを一度作って放置

AIの利用が進むと、想定外の入力パターンが出てきます。本番で発生した問題を都度テストケースに追加するフィードバックループを回してください。

失敗3:Layer 3(品質評価)を省略する

「Layer 1-2が通ったから大丈夫」は危険です。構造的に正しくても内容が的外れな回答は検出できません。品質評価は必ず実施してください。

SHARE

FAQ

よくある質問

2026年の主要ツールはDeepEval、Braintrust、LangSmith、Arize Phoenix、ConfidentAIです。Layer 1-2はpytest、Layer 3はDeepEvalまたはBraintrustが適しています。

初期の構成例は正常系80、境界系10、攻撃系10の計100件です。本文の正常系100 + 境界系20 + 攻撃系10は、拡充した計130件の別案です。いずれも十分性を保証する最低件数ではなく、業務とリスクに応じて内容を選び、正常系の正答率と安全要件をカテゴリごとに判定します。本番運用後は、実際のユーザー入力から定期的にテストケースを追加し、継続的にテストセットを拡充してください。

GPT-4やClaude Opusを評価者として使うと、人間の評価者との一致率が高水準に達します。ただし、微妙なニュアンスの判定は人間レビューで補完してください。

Layer 3のLLM評価テストはAPIコールが発生するため、テスト件数と実行回数に応じてコストが変動します。CI/CDに組み込む場合は月額のAPI予算を事前に確保してください。

全テストケースで回帰テストを実行し、変更前のスコアと比較してください。スコアが事前に定めた水準を下回る場合はリリースを保留し、原因を調査します。社内のリリース判定基準を明文化することで、判断のブレを抑えられます。

renueでは、AIシステムのテスト戦略設計から評価パイプライン構築、本番運用の品質管理まで一気通貫で支援しています。非決定的なAIシステムの品質確保を支援します。 無料相談はこちら → AI活用のご相談はrenueへ

renueについて

renueは、AIで業務を実装する会社です

AIコンサルティングから図面AI・広告運用エージェント・コールセンターAIまで、実際に動いているサービスをご覧いただけます。renueが何をしている会社か、まずはサービス一覧からご確認ください。

AI導入・DXの悩みをプロに相談してみませんか?

AIやDXに関する悩みがありましたら、お気軽にrenueの無料相談をご利用ください。renueのAI支援実績、コンサルティングの方針や進め方をご紹介します。

無料資料をダウンロード