モデルマージ完全ガイド2026｜mergekit・SLERP・TIES・DARE・進化的マージで学習なしLLMカスタマイズ

モデルマージとは｜複数LLMを学習なしで1つに統合する技術

モデルマージ(Model Merging)は、複数の事前学習済みLLMの重みを数学的に統合して1つのモデルにする技術です。ファインチューニングと異なり、追加学習を一切行わずにモデルを組み合わせられるのが最大の特徴で、GPUなしでもクラウドベースツールやコンシューマGPUで実行可能です。2023〜2024年に実用化が急速に進み、2026年時点ではHugging Faceのオープンモデルエコシステムでファインチューニングに次ぐ第二のカスタマイズ手段として定着しています。

特筆すべきは、日本発のSakana AIが2024年3月に公開した進化的モデルマージ(Evolutionary Model Merge)が世界的な注目を集めたことです。本記事ではモデルマージの主要手法(SLERP/Task Arithmetic/TIES/DARE/DARE-TIES/進化的マージ)、mergekitの実装、そしてrenue独自視点として「モデルマージvsファインチューニングvsプロンプトの使い分け原則」を解説します。

なぜモデルマージが注目されるのか｜3つの利点

(1) 学習不要で安価：GPU学習が不要。数千円のクラウドGPUや無料のColab環境でも実行可能
(2) 既存モデルの「良いとこ取り」：日本語特化モデル+英語数学モデル等、異なる強みを1モデルに統合できる
(3) 公開ベンチマークで親モデルを上回ることも：適切にマージされたモデルは、個々の親モデルよりも広範なベンチマークで優れる事例が多数報告

一方で「学習なしで重みを混ぜるだけで本当に機能するのか」という懐疑も根強く、実際には手法選定・密度・重み比率の調整が性能を大きく左右します。

主要マージ手法6種の比較

手法	仕組み	モデル数	特徴
Linear (Model Soup)	単純な加重平均	2以上	最古典、実装簡単、やや雑
SLERP	球面線形補間で滑らかに補間	2のみ	Linearより品質高、2モデル限定
Task Arithmetic	タスクベクトルを足し引き	2以上	能力の加算/減算が可能
TIES-Merging	冗長パラメータ削除+符号衝突解決	3以上	多モデル統合に強い、干渉低減
DARE	デルタパラメータを大幅ドロップしてマージ	2以上	90〜99%ドロップでも機能、正則化効果
DARE-TIES	DARE+TIESの併用	3以上	2026年時点の実質デファクト
進化的マージ(Sakana AI)	CMA-ES等で最適マージ比率を探索	2以上	パラメータ空間+データフロー空間の2段階最適化

SLERP｜球面線形補間による滑らかな統合

SLERP(Spherical Linear Interpolation)は、2つのモデルの重みベクトルを球面上で補間する手法です。単純な線形平均(Linear)がしばしば性能劣化を起こすのに対し、SLERPは幾何学的に自然な補間経路を辿るため品質が向上します。欠点は2モデルしか同時にマージできないこと。3モデル以上を統合したい場合は、SLERPを連鎖適用するか他の手法を選びます。

TIES-Merging｜干渉を減らす多モデル統合の定番

TIES(TRim, Elect Sign, and Merge)は、次の3ステップで多モデル統合を行います。

Trim：各モデルの「タスクベクトル」(ベースモデルからの差分)のうち、絶対値が小さい冗長パラメータを削除
Elect Sign：同じ座標で複数モデルの符号が対立している場合、多数決で符号を決定
Merge：残ったパラメータを平均化

この3段階により、モデル同士の干渉(Task Interference)が大幅に低減され、3モデル以上の統合でも性能を維持できます。

DARE｜90%ドロップでも機能する大胆な正則化

DARE(Drop And REscale)は、マージ前にタスクベクトルの大部分(50〜99%)をランダムにゼロ化し、残りをスケーリングして補償する手法です。直感に反して「90%以上ドロップしても性能が維持される」ことが実証されており、これはマージ時の一種の正則化として機能します。空きパラメータ領域が生まれることで、より多くのモデルを1つに詰め込める点も利点です。

DARE-TIES｜2026年実質デファクトの組み合わせ

DAREで冗長性を落とし、TIESで符号衝突を解決してからマージするDARE-TIESは、2026年時点で最も広く使われる手法です。mergekitでの標準的な設定例を示します。

density：0.5〜0.8(論文推奨より少し高めが実務で良い結果)
weight：各モデルへの重み、合計は0.9〜1.1の範囲に収める(厳密には1.0が理想)
normalize：true推奨
int8_mask：メモリ節約したい場合にtrue

進化的モデルマージ｜Sakana AIの画期的アプローチ

2024年3月、日本のSakana AIが発表した進化的モデルマージ(Evolutionary Model Merge)は、マージのハイパーパラメータ(モデル比率・密度・層ごとの組み合わせ)を進化的アルゴリズム(CMA-ES)で自動最適化する手法です。2段階で最適化するのが特徴です。

Parameter Space (PS) マージ：重みレベルで各層の混合比率を最適化
Data Flow Space (DFS) マージ：層単位でどのモデルの層をどの順序で使うかを最適化

Sakana AIはこの手法で「日本語×数学LLM」「日本語×VLM(視覚言語モデル)」等を作成し、元の親モデルを上回る性能を実現。mergekitにも実装が取り込まれ、研究・実務の両面で影響を与えています。

mergekitの実装ステップ

環境準備：pip install mergekit。GPUは推論時のみ必要(マージ自体はCPUでも可)
ベースモデル+子モデル選定：同一アーキテクチャ・同一トークナイザーが原則
YAML設定ファイル作成：merge_method / slices or models / parameters(density/weight)を記述
マージ実行：mergekit-yaml config.yaml ./output
評価：Golden Set/ベンチマークで性能検証
Hugging Face Hubへの公開：ライセンス確認後、必要ならアップロード

失敗の多くは「モデル同士のアーキテクチャ・トークナイザーの不整合」で発生します。同一ベースから派生したモデル同士を選ぶのが基本です。

モデルマージ vs ファインチューニング vs プロンプト

観点	プロンプト	ファインチューニング(LoRA/QLoRA)	モデルマージ
学習の有無	なし	あり(GPU必要)	なし(学習不要)
データセット必要性	Few-shotで数件	数百〜数万件	不要(既存モデルを組合わせるだけ)
コスト	最安	数千〜数十万円	ほぼ無料(クラウドGPU数十分)
品質コントロール	限定的	高い	中(比率/密度で調整)
向く用途	汎用タスク	特定タスク特化・フォーマット固定	複数能力の統合・多言語拡張
予測可能性	高い	高い	やや不安定(評価必須)

詳細比較はプロンプト vs RAG vs ファインチューニング完全比較2026も参照。モデルマージは第4の選択肢として、既存ファインチューニング済みモデルの組み合わせに特に効果を発揮します。

renueの視点｜モデルマージを採用するかの5判断基準

renueは広告代理AIエージェント・AI PMOエージェント・Drawing Agent・SEO記事生成エージェント等のAIエージェント事業を複数運用しており、モデルマージを採用すべきかの判断基準を5つにまとめています。

(1) まず汎用クラウドLLMで到達点を測る：Claude Opus 4.6/GPT-5等の最新モデルが年々賢くなる中、プロンプト工夫で解ける課題の範囲が広がっています。モデルマージに手を出す前に必ず汎用LLMの到達点を測ります(LLM API比較)。

(2) 機密データ/ローカル実行要件があるときに初めて検討：クラウドLLMで十分な用途にオンプレマージモデルを採用するのは過剰です。機密データ・レイテンシ・データ主権の要件がある場合に限り検討します。

(3) 「学習なしで能力統合」のメリットが明確な場合：日本語特化+数学能力、日本語特化+コード生成など、既存モデルの能力を組み合わせたい場合にマージは強力。逆にゼロから特定ドメインを学ばせたい場合はLoRA/QLoRAの方が適しています。

(4) 評価CIに必ず組み込む：マージは組み合わせ次第で性能がブレます。Golden Set + LLM-as-a-Judgeで必ず定量評価し、親モデル単体より良いことを確認してから採用します。

(5) ライセンス確認は必須：マージ後モデルのライセンスは親モデルの条件に従います。Llama系・Mistral系・Qwen系でライセンスが異なるため、商用利用・派生モデル公開の可否を事前確認します。

よくある失敗パターン

アーキテクチャ不一致：Llama系とMistral系等、異なるアーキのモデルをマージしようとして失敗
トークナイザー不一致：同じLlamaでもカスタムトークナイザーで差があり、出力が壊れる
評価なしで公開：マージ結果が親モデルより劣るのに「高品質」とラベリングしてしまう
過度なモデル数統合：5モデル以上の統合で能力が平均化し凡庸化
ライセンス違反：派生公開が禁止されているモデルを公開してしまう
検証不十分でデプロイ：ベンチマーク高得点でも実運用で失敗

よくある質問（FAQ）

Q1. モデルマージにGPUは必要ですか？

マージ処理自体はCPUでも実行可能です(大型モデルはメモリが必要)。評価・推論時にはGPUが必要です。

Q2. どの手法を最初に試すべきですか？

3モデル以上ならDARE-TIES、2モデルならSLERPから始めるのが2026年の推奨です。

Q3. 進化的マージは個人でも試せますか？

mergekitにSakana AIの進化的マージが組み込まれており、クラウドGPUと時間があれば試せます。ただし最適化に時間とコンピュートがかかります。

Q4. マージしたモデルはファインチューニングできますか？

はい。マージ後モデルをLoRA/QLoRAでさらにファインチューニングする「マージ→FT」の2段アプローチも実務で使われます(LoRA/QLoRAガイド)。

Q5. renueはモデルマージ実装を支援していますか？

はい。採用可否の判断から、手法選定、mergekit実装、評価CI統合まで一貫して支援しています。「本当にマージすべきか」の判断から一緒に検証します。

モデルマージ・LLMカスタマイズのご相談はrenueへ

renueは複数のAIエージェント事業を自社運用するAIエージェント開発企業として、モデルマージ/ファインチューニング/プロンプト設計などLLMカスタマイズ全般を支援しています。「本当にマージすべきか」「どの手法が最適か」の判断から一緒に検討します。お気軽にご相談ください。

AIエージェント開発の事例を見る