株式会社renue
図面AI
図面の読み取りから積算まで、AIで自動化できます
PDF/TIF/紙図面をAIが構造化し、見積の自動生成やCADコード生成による3Dモデル作成まで対応します。renueの図面AIが何をどこまでできるかをご覧ください。
AI図面検索を評価するには、探したい用件、対象となる図面群、正解とみなす候補をそろえます。「似た図面が出た」というデモだけでは、必要な候補の取りこぼしや、確認にかかる負担を判断できません。本稿では、架空の検索結果から候補中の正解と取りこぼしを数え、OCR・絞り込み・改訂反映の問題を切り分ける方法を示します。
2026年11月に確認したCADDiの2026年8月の発表は、図面中心の探索から、CAD・BOM・調達など関連する業務データを横断する探索への展開を説明しています。検索対象と利用する属性が変われば、評価条件も変わります。本稿は特定製品の順位付けや性能保証ではなく、自社の用件で候補を確かめるための評価案です。
探す用途と、正解に数える図面の単位を決める
まず、実際に探す問いを分けます。「図番が分かっている部品の指定時点の有効版を開く」「形が近い部品を広く集める」「材料と寸法条件を満たす参照候補を探す」では、役立つ結果の条件が異なります。同じ図面が、ある問いでは正解、別の問いでは対象外になることもあります。検索窓へ入れる語だけでなく、その結果を何の作業に使うかを記録します。
Stanford大学の検索評価教材は、評価用の資料群、問い合わせ群、各問い合わせに対する関連性の判定をそろえる考え方を示しています。本稿ではこれを図面検索へ当てはめ、問い合わせごとに、参照候補と判定した図面、その理由、確認した資料を用意します。単に検索語が書かれているかではなく、その用件に役立つかを判断します。
評価の単位は先に固定します。ファイル、図面番号、部品番号、改訂版は同じではありません。同じ部品の図面を別形式で保存したものや、旧版を含む複数ファイルを、別々の有効候補として数えると結果を過大に見せてしまいます。例えば「部品番号と対象の改訂で一件」と定めるなら、検索側の結果も、その単位へ対応させて数えます。別の集計単位を使う比較とは分けて報告します。
正解の判定は、図面と業務を理解する担当者が行います。形状、材料、用途、必要な資料の状態など、判断した条件を残します。意見が分かれた図面は、理由を照合して確定するか、未判定として別に扱います。未判定を都合よく不正解へ置き換えると、候補の評価だけでなく、取りこぼしの計算も変わります。正解集合を作った範囲と、まだ確認していない範囲を示します。
形状検索の対象形式も確認します。SiemensのGeolus Shape Searchの案内は、形状から類似する部品を探し、JT・VRML・STLの3Dデータを検索する機能を説明しています。これは製品固有の説明で、2Dのスキャン図面や文字検索と同じ評価対象とは限りません。検索方式の整理には、形状・部位・2D図面・文字で探す手掛かりの違いも参照してください。
架空の上位候補から、正解と取りこぼしを数える
以下は計算を説明する架空例です。利用者に閲覧権限がある評価用図面群から、「形状と材質Mの条件を満たし、指定時点で有効な承認版の参照候補」を探すとします。担当者が確認した正解はA・B・C・Dの4件です。返された上位5件が次の順序だった場合を考えます。実在の図面、製品の精度、導入結果を表すものではありません。
| 順位 | 候補 | 判定と理由 |
|---|---|---|
| 1 | A | 正解 |
| 2 | X | 形状は近いが材質条件が違う |
| 3 | Y | 対象時点で有効でない旧版 |
| 4 | B | 正解 |
| 5 | C | 正解 |
上位5件の中に正解は3件あるため、候補中の正解の割合は3÷5で60%です。評価用図面群にある正解4件のうち3件が返ったため、正解を回収した割合は3÷4で75%です。前者は適合率、後者は再現率の考え方に対応します。同教材の適合率・再現率と上位K件の評価を参考に、ここでは結果の上位5件を対象に計算しています。二つの分母を混ぜないことが大切です。
画面の上位3件だけを見るなら、正解はAだけです。この範囲の候補中の正解は1÷3で約33.3%、正解集合の回収は1÷4で25%になります。上位5件まで開くと、BとCも見つかります。同じ検索結果でも、どこまで確認したかで値は変わります。「精度」という一つの数字にまとめず、問い合わせ、候補数、判定した単位を一緒に示します。
取りこぼしたDは、上位5件にいないことまでが、この表から分かる内容です。登録されていないのか、検索候補に入らなかったのか、下位にあるのかは別に調べます。また、同じAの複製が複数の順位を占めた時は、先に決めた単位で重複を識別します。画面に並んだ枚数だけを、見つかった異なる正解の数として扱わないようにします。
正解がない問い合わせも用意します。該当する資料がない場合と、まだ正解を調べ終えていない場合を区別します。正解集合が空の時に再現率の割り算を無理に行わず、不要候補の表示、該当なしの案内、確認へ戻す動作を評価します。類似度の値は、この割合や再利用の承認をそのまま意味しません。候補を流用する際は、原図と適用条件を照合する担当者の判断へつなぎます。
OCR・絞り込み・改訂反映を切り分けて試す
必要な図面が出ない時は、検索モデルだけを調整する前に、どの段階で外れたかを確認します。原図の登録、画像やCADの変換、文字や項目の抽出、属性による絞り込み、候補の取得、順位付けと表示を分けます。製品が処理の内訳を公開しない場合も、入力した資料、指定した条件、返った図面と版を保存し、提供元へ確認できる形にします。
例えば正解Cの材質Mを文字認識がNと読み違え、材質Mの絞り込みで除外したとします。形状が近い候補としては取得できても、属性条件で落ちれば最終画面に出ません。絞り込み前後の候補や、原図と抽出した材質の対応を調べます。検索条件を緩めた時に見つかるかは診断材料になりますが、本来必要な材質条件を消した結果を、そのまま改善後の性能として報告しません。
図番や材料の文字列は、表記の違い、項目の位置、読み取りの誤りを分けて扱います。OCRで得た数字が、どの寸法や注記に対応するかも確認します。登録時に人が訂正した項目が検索へ反映されるか、訂正前の値が索引に残っていないかを試します。文字抽出の評価と、業務の用件に合う候補を見つける評価を別にすると、修正する場所を絞れます。
改訂の試験では、新版の追加、旧版の失効、廃止、差替えを分けます。単に更新日時が新しいファイルを有効版とせず、組織で定めた承認状態と適用時点に合わせます。原本側を変更してから検索側に反映されるまでの間隔と、反映完了を確認する方法を決めます。新しいプレビューと古い属性が混在するなど、資料の組み合わせが食い違う例も確認します。
検索対象の画像については、回転、用紙枠、図形の大きさ、余白、読み取れる文字の違いを分けて試します。前処理を変えた時は、他の条件を同時に変えず、どの用件で正解が増減したかを確認します。元図の情報を失う切り抜きや縮小がないかも原本と照合します。検索に使ったデータと原本を結び付ける準備は、図面管理を移行する時の原本・版・権限の整理も参考になります。
評価条件を固定し、原図を確認するまでの負担を測る
方式や設定を比較する時は、対象図面群、問い合わせ、正解の判定、利用者の権限、表示する候補数をそろえます。図面を追加した比較と、順位付けだけを変えた比較を混ぜないようにします。評価用の資料に版を付け、何を変更したかを残します。調整に使った用件と、調整には使わず最後に確かめる用件を分けると、特定の成功例に合わせただけの改善を見つけやすくなります。
同じ部品の画像や近似した改訂版を、調整用と確認用へ無造作に分けることも避けます。ほぼ同じ資料を知っているだけで有利になっていないかを考え、部品群や用件の関係を見ながら分割します。正解を追加・訂正した時は、以前の方式も同じ新しい条件で再計算します。複数の用件をまとめる場合は、全体の値に加え、図番検索、形状中心、属性を使う検索などの内訳を見ます。
検索にかかる時間は、画面の応答と業務の完了を分けて測ります。条件入力、候補の待ち時間、原図と属性の照合、追加の質問、採用や差戻しまでを区別します。不要候補が増えて確認時間が延びる場合もあるため、検索の応答だけが速くなった結果を、設計全体の短縮としません。登録・変換・訂正・保守の作業や、利用人数・同時利用条件も記録します。
権限の試験では、閲覧できない資料が候補名・画像・抽出した項目から見えないかを確認します。所属や権限を変えた後、表示やダウンロードへ反映されるかも試します。許可された資料が出ない問題と、許可されない資料が出る問題は別に記録します。生成AIで候補を説明する構成なら、原図の検索が正しいかと、その説明が原図を正しく述べているかを別に評価します。
私たちは、検索結果を次の担当者が確認し、使うところまでを業務の対象にすることが大切だと考えます。運用担当が未登録や更新失敗を見つけ、どの資料を直し、どう再確認するかを引継ぎ時に試してください。対象図面や必要項目を整理する際は、図面の読み取り・検索に関する対応範囲も参照できます。必要な候補、確認の負担、更新と権限を維持できる条件を示して、対象の拡大や変更を判断します。

