株式会社renue
renueについて
renueは、AIで業務を実装する会社です
AIコンサルティングから図面AI・広告運用エージェント・コールセンターAIまで、実際に動いているサービスをご覧いただけます。renueが何をしている会社か、まずはサービス一覧からご確認ください。
応対ログから自社の評価基準を抽出するには、条件が近い通話を比べ、行動の差を根拠付きで書き出し、別のログでも使えるかを確かめる。「解決した通話」を集めるだけでは、担当者の良い行動と、たまたま処理しやすかった事情が混ざってしまう。
たとえば、請求への異議を受けて返金できた通話でも、必要な照合を省いていれば手本にはできない。返金できなかった通話にも、請求の根拠と次の手続きを説明した適切な応対がある。本稿では、蓄積したログから基準案を作りたい品質管理担当者に向け、解決という結果と応対の質を分けて読む方法を示す。請求照会の例は、説明のために作った架空の教材である。
比較する通話の条件をそろえ、結果と応対を分ける
解決した通話と、適切な応対を分けて選ぶ
最初に、どの用件の、どの判断を基準にしたいかを限定する。「応対全体を良くする」よりも、「請求の内訳に疑問がある相手へ、確認できた根拠を説明する」と置いたほうが、比較する箇所を探しやすい。法令や業務規程による必須事項は先に押さえ、ログに多く出てくる行動だから正しいとは扱わない。
読み取り用のメモには、処理結果、顧客の反応、担当者の行動を別々に残す。結果には返金の有無や引き継ぎ後の状況、反応には納得を示した発言や残った疑問を書く。行動には何を質問し、何を照合し、どの根拠を説明したかを書く。最初は過去の点数や「好事例」という印を伏せ、担当者名も見えにくくして、評価者の先入観を減らしたい。
その前提として、ログを今回の目的で使えるかを確認する。個人情報保護委員会の通話録音に関するFAQは、通話内容から特定の個人を識別できる場合は個人情報に該当し、利用目的の通知又は公表が必要と説明している。録音を保有していることと、基準づくりや外部の処理に使えることを同じにせず、利用目的と閲覧権限を確かめる。
作業用コピーからは、比較に不要な氏名、連絡先、契約番号などを除く。ただし、氏名を置き換えれば匿名化が完了するわけではない。他の情報との照合を扱う同委員会のFAQも踏まえ、珍しい相談内容や日時との組み合わせで識別できないかを確認する。原音、文字起こし、識別用の対応表は閲覧範囲を分け、保存期間と削除する担当を決める。
同じ用件のログを、比べられる組と比べられない組に分ける
比較したいのは、似た状況で担当者が何を変えたかである。問い合わせ分類だけをそろえても、当時の規程や担当者の権限が違えば、選べる行動は変わる。通話を対にする前に、受付時点で参照できた情報と制約を並べ、違いを残す。
- 用件と希望:何に疑問があり、どの状態を望んでいたか。
- 参照できた情報:対象期間の明細、過去の案内、本人確認の状況がそろっていたか。
- 選べた行動:担当者に回答・変更の権限があり、必要な画面を使えたか。
- 当時の条件:適用する規程の版、障害や受付時間による制約が同じか。
規程の改定前後や、明細画面が使える日と障害中の通話は、そのまま同じ組にしない。条件が違うものは別組に分けるか、今回の比較から外す。外した理由も残せば、「うまくいった例だけを選んだのではないか」という疑問に答えられる。
集めるときは、解決した例と未解決の例の両方から、正しく断った応対、適切に引き継いだ応対、根拠のない約束があった応対も探す。長い通話を悪い例、短い通話を良い例と先に決めない。説明を聞くために時間が必要だった相手と、回答だけを求めた相手では、適切な会話の長さも同じとは限らない。
同じ相談の再入電は一連の問い合わせとして束ねる。最初の通話だけでは未解決でも、その後の折り返しで完了しているかもしれない。基準を取り出すための相談と、後から試す相談は分け、一連の問い合わせが両方にまたがらないようにする。必要な件数を一律に決めるより、まだ集められていない用件や条件を記録し、その範囲まで基準を広げないことが大切である。
発言と操作の差を、条件付きの基準候補へ直す
ここでは、本人確認が済み、同じ規程と明細を参照できる請求照会を比べる。いずれも請求は訂正されず、返金もない設定とする。顧客は「解約したはずなのに請求がある。どの期間の料金なのか」と尋ねている。
応対甲:「表示されている金額に間違いはありません。返金の対象にはなりません。」
応対乙:「疑問に思われているのは、この明細の利用期間でしょうか。請求書の対象期間と解約の受付日を確認します。今回の請求は解約前の利用期間に当たります。対象の日付を一緒に確認してもよろしいでしょうか。」
この抜粋から書けるのは、甲が総額の結論を述べ、乙が疑問の対象を確かめ、期間を照合しようとしたという差である。乙が実際に正しい画面を見たか、顧客が説明を理解したかは、抜粋だけでは確定できない。続く発言や、利用が認められた操作記録を確認し、見えない部分は「不明」と残す。
| 確認する点 | 甲で観察したこと | 乙で観察したこと | 追加で必要な根拠 |
|---|---|---|---|
| 疑問の対象 | 総額の結論を述べた | 利用期間への疑問か尋ねた | 顧客の返答で対象が合っていたか |
| 明細との照合 | 抜粋では確認できない | 期間と受付日を確認すると述べた | 実際に参照した明細と日付、操作記録 |
| 説明後の理解 | 抜粋では確認できない | 日付を一緒に確認する提案をした | 続く質問、説明の訂正と相手の反応 |
差分メモでは、根拠の時刻や発言箇所、その前後の文脈、観察できた事実、そこからの解釈を分ける。「丁寧だった」は解釈である。「顧客が疑問にした対象期間を聞き、明細の日付との相違を確認した」は、確認できた場合に書ける行動である。担当者の人柄を評する言葉を、別の担当者が探せる動作へ置き換える。
基準候補は、たとえば「請求期間に疑義がある場面で、疑問の対象と明細の期間を照合し、確認できた根拠を説明する」と書ける。併せて、適用する場面、根拠として見る記録、確認できない場合の扱いを添える。単に「明細を読み上げる」とすると、相手が知りたい点から離れていても合格になってしまう。
記録にない行動を直ちに「しなかった」とはしない。音声だけでは見えない操作なのか、該当区間が欠けているのか、必要な記録を見たうえで不足を確認したのかを分ける。基準案には、確認できた場合の判断に加え、追加確認へ回す条件も記す。乙の言い回しをそのまま正解文にせず、同じ目的を果たす別の表現でも、根拠を照合できるようにする。
文字起こしに「ない」が抜けたり、顧客の発言が担当者の発言になっていたりすると、差分自体が変わる。基準候補の根拠にした箇所は原音へ戻る。確認方法は、同じ音声で文字・話者と修正負担を検証する手順も参考になる。要約だけで候補を確定せず、前後を含む発言までたどれる形にしておく。
候補を崩すログを読んでから、採用する
候補ができたら、抽出に使わなかった相談で試す。先ほどの基準なら、顧客が内訳の説明を断った通話や、本人確認を完了できなかった通話を読む。「期間を説明しなかった」という表面だけで、どちらも不適切と判定してしまわないかを確かめる。
顧客が説明を不要としたなら、その意向を確認した記録を見て対象外にできる文面へ直す。本人確認が終わっていないなら、説明の詳しさより先に守る手続きを適用する。ここで例外を加えた場合は、最初の比較組にも戻って読み直す。都合のよい通話に合わせて文面を継ぎ足すのでなく、適用条件を他の担当者に説明できるかを確かめたい。
試し読みの記録には、対象の相談、根拠箇所、候補が当てはまったか、誤って良い・悪いとした箇所、修正する文面を残す。根拠が取れなければ追加確認、条件を定められなければ保留にする。採用時は業務責任者が対象範囲、適用日、基準の版を決め、試せなかった条件を未確認のまま明示する。
別の評価者には、最初の判定を見せずに同じ相談と基準案を読んでもらう。判断が割れたら、どちらが正しいかを急いで決めず、参照した発言、適用条件、不明の扱いのどこが違ったかを照合する。文面を直した際は版と変更理由を残し、確認に使った相談でも再び試す。基準を作った人だけが読み取れる補足を、暗黙の採点ルールとして残さない。
海外の例では、2025年11月25日公開のシンガポールCPFBとAWSによる公式記事が、同組織の品質指標と遵守要件に基づき自動評価を調整したと説明している。日本の窓口とは制度、言語、受付権限が異なるため、海外資料からは自社の条件に合わせて基準を見直す進め方を参照する。
AI化・効率化は、人が確かめた比較条件と差分を言葉にしてから進める。まずは根拠箇所の抽出や候補の整理に使い、採否は反例とともに人が確認する。AWSの2026年5月27日の公式発表でも、セルフサービス対話の評価について、自然言語の基準と、評価理由・会話の参照箇所を扱う機能が示されている。対象はAIによるセルフサービス対話であり、人の応対ログから基準を抽出する際も、候補と根拠を組にして確認する設計が考えられる。
外部の生成AIへ入力する前には、個人情報保護委員会の生成AI利用に関する注意喚起に沿って、利用目的に必要な範囲か、個人データが学習など応答以外の目的で扱われないかを確認する。入力用データを最小限にし、契約、委託先の管理、保存と削除の条件も確認する。学習利用の設定だけで、利用に必要な確認がすべて終わるとは扱わない。
採用した基準を研修へ渡す段階では、新人向けの評価項目を観察できる行動へ直す考え方や、自社の基準で応対練習と振り返りを行う仕組みにつなげられる。基準づくりで残すべきものは、点数表だけではない。どの条件を比べ、どの行動を採り、どの反例で直したかを残す。その判断を説明できる範囲から、反復する確認や整理を自動化していきたい。
