株式会社renue
renueについて
renueは、AIで業務を実装する会社です
AIコンサルティングから図面AI・広告運用エージェント・コールセンターAIまで、実際に動いているサービスをご覧いただけます。renueが何をしている会社か、まずはサービス一覧からご確認ください。
ロボティクス・フィジカルAIのPoCでは、成功した動画に加え、どの条件で何回試し、人の助けがどこに入ったかを確認します。ロボティクス推進部門が導入を判断するには、作業の完了、反復できる条件、停止・復帰の負担を同じ記録で追えることが必要です。本稿では、候補システムの結果を比べるための試験計画と、架空の集計例を整理します。
作業・機体・AIの接続方式を試験条件として固定する
初めに「何をできれば成功か」を、観察して確かめられる作業として書きます。例えば箱を所定の場所へ置くなら、把持できた時点と、指定した位置へ置き終えた時点を分けます。対象の箱、初期位置と向き、置き先、許される試行時間、途中で終了する条件を記録します。見栄えの良い途中動作を、作業全体の完了として数えないためです。実機の試験条件と安全な実施方法は、設備・現場・安全の担当者と具体化します。
モデル名だけでなく、ロボットの機体、把持器、カメラと入力画像、制御用ソフトウェア、使える道具と接続方式も残します。AIが関節への動作を出す構成と、既存の制御器へ高い抽象度の指示を渡す構成では、同じモデルでも担う仕事が異なります。Anthropicの2026年7月の研究も、評価結果が機体と制御インターフェースに強く依存すると報告しています。特定モデルの順位を、そのまま自社のロボットの性能順位としないようにします。
比較対象がシステム全体なのか、同じ構成でモデルだけを替える試験なのかも明記します。既存の制御器、画像の補助情報、事前学習した動作を一方だけに追加した場合、差のすべてをモデルの能力へ帰属できません。構成上の補助と、試行中に人が助けた介入も区別します。シミュレーションでの結果と実機の結果、学習や調整に使った条件と最終評価の条件を混ぜず、各結果が示せる範囲を残します。
初期位置、対象物や照明を変える場合は、条件の組合せと割り付けを先に決めます。簡単な配置だけを繰り返した割合を、現場のばらつきに対応できる証拠にしません。2026年6月のロボット操作ベンチマークの監査研究は、固定した評価設定のスコアを一般的な操作能力とみなす際の限界を検討しています。研究にも対象と再現可能なモデルの制約があり、本稿は自社用途の条件を確認する参考として扱います。
試験計画には、入力・機体と周辺設備の構成、完了条件、配置ごとの件数、終了理由の分類、評価者をまとめます。試験途中で設定を変更する必要が生じたら、変更前後を別の版として残します。同じ評価期間というだけで合算せず、どの条件の結果を導入判断に使うかを決め直します。評価データの分離や終了基準の整理は、AI PoCの要件定義と評価基準も参照できます。
同じ完了率でも、人の介入と復帰を含む結果を読む
次は集計のための架空例です。同じ箱移動の条件で候補AとBをそれぞれ50回試し、各試行を「無介入で成功」「人の介入後に成功」「未達」のどれか一つへ分類したとします。介入は、作業中の人による指示の追加や位置の修正など、試験計画で定めた行為です。開始前に共通の手順で初期状態を用意する作業とは分けて記録します。以下は実製品の性能や実際の導入成果ではありません。
| 項目 | 候補A | 候補B |
|---|---|---|
| 無介入で成功 | 40回 | 42回 |
| 介入後に成功 | 5回 | 3回 |
| 未達 | 5回 | 5回 |
| 合計 | 50回 | 50回 |
| 介入後も含む完了割合 | 45÷50=90% | 45÷50=90% |
| 無介入の成功割合 | 40÷50=80% | 42÷50=84% |
両方を「成功率90%」とだけ説明すると、人の支援がどの程度入ったかが見えません。一方、無介入の84%と80%という差だけで、Bの優位が確実とも断定しません。対象条件の偏り、試行数やばらつき、同じ配置での対応を確認します。成功割合を報告する時は分子と分母、介入と終了の扱いを付け、配置や対象物を変えた場合の内訳も示します。
失敗後にやり直して成功しても、先の失敗を削除しません。試行IDと元の用件を対応させ、初回の結果、再試行、最終的な完了を別に追います。途中の停止にも理由を付けます。安全のために止めた、通信が途切れた、対象物を認識できなかった、試験設備の準備ができていなかった、という状態を一つの失敗原因にはまとめません。開始できなかった回も記録し、集計対象から除く基準を後付けで変えないようにします。
経過時間も見るとします。最初の試行開始から50回の試行終了までがAで120分、Bで150分で、その間の失敗・再配置・復帰・待ちを含む設定なら、無介入の成功件数をこの時間で割るとAは20件/時、Bは16.8件/時です。個々の成功動作の速さだけでは、この差を説明できません。この指標は架空の試験の観測窓に対する件数であり、工場全体の生産能力や長期の稼働率ではありません。開始前後の準備・片付けと人の作業時間も別に記録します。
シミュレーションでは、仮想時間と実際の待ち時間も区別します。前述のAnthropicの研究では、一部の評価でモデルの応答中にシミュレーターを止めています。物理挙動を考える能力の評価と、現実の時間制約を満たす評価は同じではありません。自社の比較でも、推論・通信待ちを含む実際の経過、試行中の動作時間、担当者の介入時間を分け、どこが遅さや負担につながったかを確認します。
安全性と未検証の条件を分け、次の導入判断へ渡す
作業の成功割合は、そのまま安全性や規格への適合を表しません。試験中に事故がなかったことだけで、扱っていない危険もないとは結論付けません。ISO 10218-1:2025の公開概要は産業ロボット本体を、Part 2の公開概要は産業ロボットのアプリケーション・セルの統合等を対象にしています。移動プラットフォームに伴う移動の危険源など、対象外の範囲もあります。機体が人型かどうかや規格名だけで、用途全体の安全を判断しません。
ここで参照したのは公開概要であり、規格全文による適合評価や、実際の設備のリスクアセスメントを代行するものではありません。推進部門は、メーカー、システム統合の担当と現場・安全の担当者に、適用する規格の版、対象設備と作業、必要な対策・検証を確認します。AIが作る確認事項の候補と、実機試験の許可や運用開始の判断を分け、担当と未了の条件を記録します。
性能側の未確認も、成功した条件と並べます。照明の変化、箱の種類、周辺の配置、連続運用、保守後の状態など、試していない条件を「対応済み」に含めません。シミュレーションで比較した部分と実機で確かめた部分を対応させ、差が出た時に入力・認識・制御・設備のどこを再確認するかを整理します。候補システムの学習や調整に使った記録を最終評価へ戻す場合は、未知の条件での評価として扱わないようにします。
次の段階へ進む案には、追加する対象条件と件数、介入や復帰を担う人、更新・保守の担当、必要な設備変更を添えます。モデル、制御器、カメラ、把持器や指示の設定を変えれば、以前の結果をどこまで引き継げるかを見直します。安全上の停止を避けるために成績を優先せず、停止の理由と、その後に確認すべき条件を別に扱います。共通の90日や一定の成功率だけを、本番へ進める条件にはしません。
費用へ換算する際も、ロボットの動作時間をそのまま削減人数へ置き換えず、準備、監督、例外対応、保守と設備・利用料を含めます。品質や業務量をそろえた比較の考え方は、製造業・物流のフィジカルAI事例と総運用費の比較に整理しています。取締役会や導入の決裁者へは、確認した条件、介入と未達の内訳、残る検証、費用と責任者を一緒に示します。私たちは、成功場面だけでなく、繰り返し運用する時の条件と負担まで説明できることが、導入判断の土台になると考えます。
