株式会社renue
renueについて
renueは、AIで業務を実装する会社です
AIコンサルティングから図面AI・広告運用エージェント・コールセンターAIまで、実際に動いているサービスをご覧いただけます。renueが何をしている会社か、まずはサービス一覧からご確認ください。
LLMのファインチューニングとは
LLMのファインチューニング（Fine-tuning）とは、GPT-4oやLlamaなど、追加学習に対応した事前学習済み大規模言語モデル（LLM）を、特定のドメインやタスク、企業固有のデータで追加学習させ、モデルの振る舞い・知識・出力スタイルをカスタマイズする技術です。
事前学習済みLLMは膨大な汎用テキストデータで訓練されており、幅広い知識を持ちます。しかし医療・法務・製造・金融といった専門領域や、自社独自の用語・トーン・業務フローに合わせた出力をそのままでは実現しにくいケースがあります。ファインチューニングはこのギャップを埋めるための手法です。
ファインチューニングの仕組み
LLMのファインチューニングは大きく「フルファインチューニング」と「パラメータ効率的ファインチューニング（PEFT）」の2種類に分かれます。
フルファインチューニング（Full Fine-Tuning）
モデルの全パラメータを更新する手法です。調整対象が広い一方、必ず最も高い性能になるわけではありません。LoRAの原論文もフルファインチューニングとの比較を行っています。大規模モデルでは学習状態や勾配を保持するメモリ・計算資源が増えるため、モデル規模と予算に合う手法を選びます。
LoRA（Low-Rank Adaptation）
2021年に提案されたLoRAは、元の重みを固定し、低ランク行列（AとB）を追加して学習するPEFT手法です。原論文はGPT-3 175BをAdamで全体学習する場合との比較で、学習対象パラメータを1万分の1に減らせると報告しました。同等以上の性能が得られた実験もありますが、削減率と性能はモデル・ランク・適用層・タスクに依存します。
QLoRA（Quantized LoRA）
事前学習済みモデルを4ビット量子化して固定し、LoRAアダプターを学習する手法です。原論文は65Bモデルを単一48GB GPUで学習した構成を報告しています。24GB級GPUで7B〜13Bモデルを検討する場合も、系列長・バッチサイズ・適用層・学習設定を含めて必要メモリを確認する必要があります。
ファインチューニングの手順
ステップ1：目的とベースモデルの選定
まず「何のためにファインチューニングするか」を明確にします。応答スタイルの統一、専門用語への対応、特定タスクの精度向上など目的によって適切なベースモデルが変わります。LlamaやMistralなどの公開重みモデルは、対象版のライセンスと必要な計算資源を確認します。商用サービスは対応モデル・地域・利用資格が異なります。OpenAIのセルフサービスのファインチューニングは新規利用を終了しており、2026年7月2日以降は過去60日間に追加学習モデルで推論していない組織も新規ジョブを作れません。対象となる既存顧客の新規ジョブ作成も2027年1月6日に終了予定です。Claudeについては、Amazon BedrockがClaude 3 Haikuの追加学習をus-west-2で提供しています。クラウドサービスでもデータ準備・評価・アクセス設定は必要です。
ステップ2：学習データの収集と準備
ファインチューニングの品質は学習データの質に依存します。教師あり学習では「プロンプト＋理想的な応答」のペアを準備します。例えばOpenAIのSFTガイドは、良質な50例から評価することを推奨していますが、必要量は用途によって異なります。データ準備の要点は以下の通りです。
- 量より質：同じ傾向の低品質データを大量に集めるよりも、まず多様で正確なデータを用意し、検証結果を見ながら追加します
- フォーマット統一：JSON Lines形式が標準的です。OpenAI形式ではmessagesキーにroleとcontentのペアを使います
- 機密情報の除去：学習データに含まれた個人情報・顧客情報は必ず匿名化・除去します
- バリデーションセット：学習に使わない検証用データを確保します。比率は件数・用途に合わせ、同じ文書や会話の類似例が学習用と評価用にまたがらないよう分割します
ステップ3：環境構築とライブラリ選定
オープンソースモデルのファインチューニングで主に使われるライブラリは以下の通りです。
- Hugging Face Transformers / PEFT：公開重みモデルの学習に使えるライブラリ群。PEFTはLoRAなどの追加学習手法を提供
- TRL（Transformer Reinforcement Learning）：SFT（教師あり微調整）やRLHFのためのトレーニングユーティリティ
- bitsandbytes：4ビット・8ビット量子化によるQLoRAを実現
- LLaMA-Factory：設定ファイルベースで簡単にファインチューニングを実行できるフレームワーク
クラウドGPUはAWS SageMaker、Azure Machine Learning、Google Colab Pro+、Lambda Labsなどが選択肢として挙げられます。
ステップ4：LoRA設定とトレーニング実行
PEFTを使ったLoRA設定の主なパラメータは以下です。
- r（ランク）：追加する低ランク行列のランク。大きいほど学習対象パラメータが増えるため、性能と費用を比較して選ぶ
- lora_alpha：LoRAのスケーリング係数。PEFT公式の例はr=8、lora_alpha=16だが、最適値はタスクごとに評価する
- target_modules：LoRAを適用する層。query/value層や、QLoRA向けのall-linearなど、モデルと学習方針に合わせる
- lora_dropout：LoRAに適用するドロップアウト率。PEFT公式の例は0.1で、検証結果に応じて調整する
ステップ5：評価とイテレーション
バリデーションセットで損失（Loss）を確認し、人手またはLLM-as-a-judgeで出力品質を評価します。過学習が見られれば、データ拡充やドロップアウト率の調整を行います。満足のいく結果が得られたら、ベースモデルとLoRAアダプターを組み合わせて保存します。対応する構成では、推論時の扱いに合わせてマージする方法もあります。
ステップ6：デプロイと運用
ファインチューニング済みモデルはvLLMやText Generation Inference（TGI）などの推論サーバーでホスティングするか、商用サービスでは追加学習済みモデルのIDやデプロイ先をAPI呼び出しに指定します。定期的にデータを追加して再学習する「継続的ファインチューニング」の仕組みも重要です。
ファインチューニングのコスト
商用APIのファインチューニング費用
以下はOpenAI公式料金表のgpt-4o-2024-08-06の追加学習・通常推論料金（2026年9月18日確認、米ドル）です。新規利用を開始できる価格表ではなく、前述の既存顧客向け利用条件が適用されます。学習費用は処理した学習トークン数にエポック数を含めて計算します。
- トレーニングコスト：25ドル／100万トークン
- 推論コスト（入力）：3.75ドル／100万トークン（キャッシュ利用で1.875ドル）
- 推論コスト（出力）：15.00ドル／100万トークン
gpt-4o-mini-2024-07-18の追加学習料金は、100万トークンあたり学習3ドル、通常推論の入力0.30ドル・キャッシュ入力0.15ドル・出力1.20ドルです。単価だけでなく、利用資格と必要な品質を確認します。新規顧客にGPT-4o miniの追加学習から始めることを勧める条件ではありません。
オープンソースモデルのコスト目安
公開重みモデルの学習費用は、GPU単価×台数×稼働時間に、保存・データ準備・評価などを加えて見積もります。Lambdaの公開料金ではA100 40GBが1GPU・1時間あたり1.99米ドル（2026年9月18日確認）。以下はこの単価での計算例であり、そのモデルの学習所要時間や必要GPU数を保証するものではありません。
- 7Bモデル（QLoRA、A100×1）：仮にA100 40GBを1台・10時間使用する場合、GPU料金は19.90米ドル。系列長・データ量・エポック数から所要時間を実測する
- 13Bモデル（QLoRA、A100×1）：仮にA100 40GBを1台・48時間使用する場合、GPU料金は95.52米ドル。モデルや設定に対してメモリ容量が足りるか事前に確認する
- 70Bモデル（LoRA、A100×4〜8）：仮にA100 40GBを4〜8台・72時間使用する場合、GPU料金は573.12〜1,146.24米ドル。分散学習の構成・通信・必要メモリと追加料金を確認する
RAGとの費用比較では、学習費だけでなく、検索基盤・入力トークン量・推論サーバーの稼働時間・データ更新と評価の工数を含めます。クエリ数だけで優劣は決まりません。
RAGとの違いと使い分け
RAGとは
RAG（Retrieval-Augmented Generation）は、ユーザーの質問に関連する文書をベクトルデータベースなどから検索し、その内容をプロンプトに含めてLLMに回答させる手法です。モデル自体には手を加えません。
ファインチューニングとRAGの比較
| 比較軸 | ファインチューニング | RAG |
|---|---|---|
| 仕組み | モデルのパラメータを更新して知識・振る舞いを内在化 | 外部DBから関連文書を検索しプロンプトに付与 |
| 知識の鮮度 | モデル内の知識更新には追加学習等が必要。外部情報の入力は併用可能 | 文書・検索索引の更新後に参照可能。取り込み・索引更新には時間がかかる |
| 初期コスト | データ準備・学習・評価・導入の費用 | データ整備・索引構築・検索連携・評価の費用 |
| 推論コスト | モデル単体なら検索費用なし。推論費やホスティング費は必要 | クエリごとの検索と、取得文書を含む推論処理の費用 |
| 応答スタイル制御 | 高い（口調・形式・専門性を深く調整可能） | 主にプロンプトで制御。追加学習との併用も可能 |
| 情報源の引用 | 難しい（知識はモデルに内在化） | 容易（検索結果を出典として示せる） |
| 導入の容易さ | データ準備・学習に専門知識が必要 | 比較的容易（APIとDB接続で実装可能） |
どちらを選ぶべきか：判断の目安
- 情報が頻繁に更新される場合（社内規定、製品仕様等）→ RAGが適切
- 出典・根拠の明示が必要な場合（法務・コンプライアンス等）→ RAGが適切
- 応答スタイルや口調を厳密に統一したい場合→ ファインチューニングが適切
- 業界固有の専門用語・タスク精度を高めたい場合→ ファインチューニングが適切
- 高トラフィックで推論コストを最小化したい場合→ 小型モデルのファインチューニングが適切
- まず素早く試したい場合→ RAGからスタートが推奨
ハイブリッドアプローチ
実務では「RAGかファインチューニングか」という二択ではなく、両者を組み合わせるハイブリッドアプローチも選択肢になります。ファインチューニングでモデルの振る舞いを最適化し、RAGで最新知識を補完するという構成が、専門性と情報鮮度を両立するための候補です。単独の方式と品質・運用費を比較して採否を決めます。
ファインチューニングが有効なユースケース
1. カスタマーサポートBotの応答品質向上
自社サービスの用語・トーン・対応フローに合わせた応答スタイルをモデルに学習させることで、テンプレートプロンプトだけでは制御しきれない細かいニュアンスまで反映できます。
2. 医療・法務・金融などの専門ドメイン
汎用LLMは一般的な知識は豊富ですが、専門領域の用語や文書フォーマットへの精通度は限定的です。ドメイン特化データでファインチューニングすることで、専門文書の要約や分類精度の改善を目指せます。学習に使っていない文書で、元のモデルとの性能差を確認します。
3. コード生成・レビューの特化
自社コーディング規約や内部フレームワークに沿ったコード提案を実現するために、自社リポジトリを参照させるカスタマイズを行うケースが増えています（機密性の確認が前提）。
4. 高スループット環境でのコスト最適化
月数百万クエリを処理するサービスでも、大型モデルのAPI利用と、追加学習した軽量モデルの自社ホスティングを、同じ品質・遅延条件で比較します。GPUの稼働率・保守・再学習費を含めて、総費用を削減できるか確認します。
ファインチューニングの注意点とデメリット
- 破滅的忘却（Catastrophic Forgetting）：特定ドメインのデータのみで学習すると、元の汎用能力が低下するリスクがあります
- データ品質への依存：品質の低い学習データは意図しない偏りや誤りを引き起こします
- 安全性の低下リスク：セキュリティ意識の低い学習データでファインチューニングすると安全性の制約が緩くなるリスクがあります
- モデルの陳腐化：ベースモデルのバージョンアップに追随するには再実施が必要です
- 過学習：少量データで過度にエポックを回すと汎化能力が失われます
LLM活用・AI導入のご相談はrenueへ
renueは、LLMファインチューニング・RAG・AIエージェント構築など、企業のAI活用を技術面から支援します。「自社に合ったLLMカスタマイズ手法を知りたい」「コストと効果のバランスを専門家に相談したい」というご要望にお応えします。
まずはお気軽にお問い合わせください。
よくある質問（FAQ）
Q1. ファインチューニングとプロンプトエンジニアリングの違いは何ですか？ プロンプトエンジニアリングは、モデルのパラメータを変えず指示文の設計を工夫することで出力を制御します。実装コストが低く素早く試せる反面、複雑な制御には限界があります。ファインチューニングはモデル自体を更新するため、より深いカスタマイズが可能ですが、データ準備と学習コストが必要です。まずプロンプト設計を試し、限界を感じたらファインチューニングを検討するアプローチが一般的です。
Q2. ファインチューニングに必要な学習データの量はどのくらいですか？ 必要量はタスク・元のモデル・例の品質に依存します。OpenAIのSFTガイドは最低10例、まず良質な50例からの評価を案内しています。これは同サービスでの指針であり、全モデルで50例あれば足りるという意味ではありません。学習に使わない評価データで効果を測り、不足する質問や表現を追加します。
Q3. GPT-4oのファインチューニングにかかるコストの目安を教えてください。 OpenAI公式のgpt-4o-2024-08-06料金（2026年9月18日確認）は学習25ドル／100万トークンです。仮に500件×平均500トークン×3エポックなら、学習のみ18.75ドル。通常推論は入力3.75ドル・キャッシュ入力1.875ドル・出力15ドル／100万トークンが別途かかります。新規利用は終了し、既存顧客にも利用履歴とジョブ作成期限の条件があります。
Q4. RAGとファインチューニングを同時に使うことはできますか？ はい、追加学習で応答スタイルや特定タスクへの対応を調整し、RAGで最新文書を検索する構成が可能です。RAGは外部文書の検索・取得を回答に組み込む方式です。併用が常に最良とは限らず、単独構成との品質差と、検索・学習・運用の追加負担を評価します。
Q5. ファインチューニングとRAGのどちらを先に試すべきですか？ まずプロンプトの改善と評価を行い、何が不足しているかを確認します。最新情報や出典が必要ならRAG、応答形式や特定タスクの挙動を学習させたいなら追加学習が候補です。RAGにもデータ整備・索引・連携・評価が必要です。提供元の利用条件も確認し、課題に合う方式から試します。
Q6. ファインチューニングした際に元のモデルの安全性が損なわれる可能性はありますか？ はい。追加学習によって元の安全性が低下するリスクを示した研究があり、商用APIの管理機能だけで安全性は保証されません。商用サービスの対応モデルと利用条件も個別に確認します。学習データの点検、想定外の入力を含む評価、出力モニタリングを行い、追加学習前後で安全性を比較します。
まとめ
LLMのファインチューニングは、事前学習済みモデルを特定ドメイン・タスクに特化させる強力なカスタマイズ手法です。LoRAやQLoRAの登場で以前より大幅にコストと技術的障壁が下がり、中小規模の企業でも現実的な選択肢になっています。一方、データ準備・学習・評価の負担があり、モデル内の知識を更新するにも追加の作業が必要です。RAGとの費用差は構成によって変わります。まずプロンプトと評価を整え、最新文書が必要ならRAG、振る舞いの調整が必要なら追加学習を検討する進め方があります。最終的にはファインチューニング（振る舞いの最適化）×RAG（知識の動的補完）のハイブリッド構成が、品質と運用効率を両立できるか比較する選択肢になります。