株式会社renue
renueについて
renueは、AIで業務を実装する会社です
AIコンサルティングから図面AI・広告運用エージェント・コールセンターAIまで、実際に動いているサービスをご覧いただけます。renueが何をしている会社か、まずはサービス一覧からご確認ください。
なぜAIプロジェクトには従来と異なるテスト戦略が必要なのか
固定仕様の処理は期待値や性質をテストします。一方、LLMによる生成は非決定的な場合があり、同じ要約依頼から表現の違う文章が返ることがあります。それぞれが定めた内容・形式の条件を満たせば、複数の回答を正解と評価できます。全ての出力が正しいとは限らず、誤情報や条件違反も検証します。
LangChainのState of Agent Engineeringは、2025年11月18日〜12月2日に実施した公開調査の1,340回答を集計しています。要約では回答者の57%がエージェントを本番運用しているとし、品質を本番化の主要障壁として挙げた回答者が32%と報告しています。全組織を代表する無作為標本の普及率や、全案件の失敗率とは区別します。
本記事では、AIの非決定性に対応する3層テスト戦略と、実務で使える評価フレームワークを解説します。
3層テスト戦略
| 層 | 対象 | テスト方法 | 実行タイミング |
|---|---|---|---|
| Layer 1:決定論的テスト | 固定ルールのルーティング、ツール実行処理、引数パース、フォーマット変換、定義済み状態遷移 | 従来の単体テスト(pytest等) | 毎コミット(CI) |
| Layer 2:出力の性質チェック | 出力の構造的特性(JSON準拠、必須フィールド存在、文字数制限) | スキーマバリデーション + アサーション | 毎コミット(CI) |
| Layer 3:LLM評価テスト | 回答の品質(正確性、関連性、有害性、忠実性) | LLM-as-a-Judge + 人間評価 | main マージ時 or 日次 |
Layer 1:決定論的テスト
AIシステムの固定ルールやパーサ、ツール実行処理など、決定論的に動作する部分を単体テストで検証します。100%カバレッジを目指す場合は対象コード・分岐などの指標を定義し、100%でも全てのAI出力や誤りを検証できたとは扱いません。LLMが動的に選ぶツールや引数の適切さは、生成結果として評価します。
- 固定ルールのツール選択のテスト(定義済み入力と分岐を確認。LLMが選ぶツール・引数はLayer 3でも評価)
- 入力バリデーション(不正な入力に対して適切なエラーが返るか)
- レスポンス整形(LLMの出力がJSON形式に正しく変換されるか)
Layer 2:出力の性質チェック
LLMの出力表現が変わる場合でも、出力が満たすべき「性質」は固定して検証できます。固定ケースに対するスキーマ検証やアサーションは性質チェックです。Hypothesis等のプロパティベーステストは、入力を戦略から生成し、多様なケースで定めた性質を検証する手法で、単に出力のJSON形式を確認することとは区別します。
| プロパティ | テスト内容 | 例 |
|---|---|---|
| 構造 | 出力がスキーマに準拠しているか | JSONの必須フィールドが全て存在する |
| 長さ | 出力が規定の文字数/トークン数以内か | 要約が500文字以内 |
| 禁止 | 出力に含まれてはいけない情報がないか | 個人情報、禁止語句が含まれていない |
| 言語 | 出力が指定言語で生成されているか | 日本語で回答(英語混入なし) |
Layer 3:LLM評価テスト
回答の「品質」を評価するテストです。4つのベースライン指標で評価します。
| 指標 | 内容 | 測定方法 |
|---|---|---|
| 回答関連性 | 質問に対して的確に回答しているか | LLM-as-a-Judge(別のLLMが採点) |
| 忠実性 | 参照データに基づいた回答か(ハルシネーションなし) | 回答の各主張をソースと照合 |
| 有害性 | 有害・不適切な内容が含まれていないか | コンテンツフィルタ + LLM判定 |
| ツール正確性 | 正しいツールが正しいパラメータで呼ばれたか | ツール呼び出しログの検証 |
実務上のポイント:LLM評価テストは非決定的なため、3回以上実行してスコアを平均化することで、単発の揺れを吸収してください。
テストケース設計のフレームワーク
| カテゴリ | テスト項目 | 合格基準 |
|---|---|---|
| 正常系 | 標準的な入力に対して正しい出力が返るか | 正答率85%以上(100件中85件正解) |
| 境界系 | 非常に長い入力、空入力、特殊文字を含む入力 | エラーハンドリングが適切に動作 |
| 攻撃系 | プロンプトインジェクション、脱獄試行 | 用意した攻撃ケースでは、有害出力・権限違反・情報漏えいの観測件数ゼロを要求。有限の試験で本番の全攻撃への安全を保証しない |
| 性能系 | 同時接続数、レスポンスタイム | 同時200接続でP95レスポンス5秒以内 |
| 回帰系 | モデル/プロンプト変更後に既存テストが通るか | 変更前と同等以上のスコア |
評価パイプラインの設計
- テストデータセット準備:正常系100件 + 境界系20件 + 攻撃系10件(計130件)を用意する構成例。FAQの初期100件案とは別で、各カテゴリの判定基準と母数を分ける
- 自動実行:CI/CDパイプラインに組み込み、PRごとにLayer 1-2、mainマージ時にLayer 3を実行
- スコア記録:各テスト結果をMLflow等で記録し、プロンプトバージョンとの紐付け
- 閾値チェック:Layer 1-2が失敗した場合はPRをブロック。mainマージ後のLayer 3でスコアが閾値を下回った場合はリリースを保留
- 人間レビュー:Layer 3で低スコアだったケースは人間がレビューし、テストケースを追加
よくある失敗と回避策
失敗1:「テストが全件通る」を目指す
自由記述の生成では、単一の文章との完全一致率100%だけで品質を判定しません。「90%以上が通過し、残り10%は許容範囲内」は、通常の品質評価について業務上の許容条件を定める設計例です。残り10%に重大な誤情報、権限違反、情報漏えい、有害出力を含めて許容する基準には使いません。攻撃系・必須の安全要件は別の合格条件で判定します。
失敗2:テストデータを一度作って放置
AIの利用が進むと、想定外の入力パターンが出てきます。本番で発生した問題を都度テストケースに追加するフィードバックループを回してください。
失敗3:Layer 3(品質評価)を省略する
「Layer 1-2が通ったから大丈夫」は危険です。構造的に正しくても内容が的外れな回答は検出できません。品質評価は必ず実施してください。
