株式会社renue
本記事は2023年8月1日の当社サービス発表に基づき、発表時点のサービス内容と当社の課題認識を紹介したものです。
ChatGPTの普及を契機として増加した生成AIのサービスは、便利な一方で入力と出力が１対１に対応しないなど従来システムと大きく異なる点が課題になっています。renueでは生成AIに特化したテスト代行を行うことで、生成AIシステムを第三者の立場で検証し、品質向上を支援します。https://renue.co.jp/business/06
ヒアリングによるテストケース作成とAI活用によるカバレッジ向上を実現
株式会社renueでは、PMOの代行業務を創業以来行うと共に、大学機関と連携してAI開発に取り組むなど先んじてAI×開発管理という領域で業務を行ってきました。その中で見つけた知見が、近年のAIの流行によって世の中で大きな課題になっている事を感じ、このサービスを立ち上げました。
https://renue.co.jp/business/06
我々は業務設計・開発のそれぞれと独立したチームとして、各チームのヒアリングを行い、それを元にしたテスト用AIを生成することで広範なカバレッジをカバーします。この際、大幅な見直しが必要な場合には、要件定義工程まで戻っての設計見直しまで支援します。さらに、このテストAIは継続してご利用になれるため、リリース後の保守・運用でご利用いただくことも可能です。
なぜ生成AIの品質保証が難しいか
従来のシステム開発では、基本的にVモデルという「何を作るか」を決めて、徐々に具体的にしていく手法がとられていきました。一部アジャイル開発などの手法もありますが、基本的には同じ考えが根底にあります。
生成AIでは、入力パターンが膨大に存在し、同じ入力でも出力が変わる場合があります。このため、システム開発における「確実性」が非常に低い状態になることが課題に挙げられています。
これらの課題を考慮した場合、従来のITシステム開発の組織や手続きでは、生成AIに合わせた評価や運用手順の見直しが必要だと当社は考えています。
AIの品質保証が足りない時の問題
まず第一に挙げられるのは、消費者・ユーザーに対して倫理・法的に問題のある回答を返す可能性を0にできない点です。いまの環境では通常通り動いているAIも、事前の会話の流れやオープンソース・外部サービスの更新によって異なる挙動を取る場合があります。昨日までは接客を行えていた御社のAIが、急に差別的な発言や弁護士法に違反した斡旋を開始する可能性は存在するのです。
また、重大なバグが発生した場合に責任の所在や原因の検知が遅れる事も考えられます。AIにおいては、入力と出力の組み合わせが膨大になります。この状況では、バグ検知密度やレビュー回数といった従来の品質指標だけでは十分に評価できず、誰が積極的に動くのかを決めることが困難です。
最後に、ビジネス側の判断が遅れる点も注意が必要です。日々変動するAIの挙動を把握できない場合、経営に近いレイヤーにいる人間は、開発の見直しといった重大な意思決定を行うことが難しくなります。AIを利用した開発を行う際には、適切な手法で「どこに」「いつ」「どのような」問題が生じたのかを伝達する仕組みが新しく必要になるのです。
ご利用の流れ
基本的なプロセスは存在しますが、企業様・プロジェクト毎に状況は異なるため、まずはヒアリングと企画提案をさせて頂くことにしております。この際、我々の提供する内容が気に入らない、自社でも可能だと思われる場合には、料金はお支払い頂かなくても構いません。
また、テスト実施中には、単にテストを行うだけでなく、開発部門・ユーザー部門・経営企画といったステークホルダーに随時改善プランを広く提案をさせて頂く事も可能です。テストがリリースまで終わった後も、テストに用いたAIは利用可能な状態にしておきますので、随時ご利用いただけます。また、テスト用AIに保守が必要な場合には、弊社にてサポートを付けさせて頂く事も可能です。
最後に
生成AIの普及によって、大きなゲームチェンジを感じられる経営者・ビジネスマンは多いかと思います。この大きな変化の中で、素早く環境に適合していくには確かな品質保証がいると考えています。人手不足が叫ばれる日本で、サービス品質を落とす事なくAIを活用して社会課題を解決していくために、我々は品質保証というリスクの高い領域を引き受け、日本企業のイノベーションを加速させたいと考えております。
