RAG とファインチューニングの違い
外の情報を渡すか、モデルを再学習するか
- RAG とファインチューニングは、大規模言語モデル(LLM)を特定の分野や自社の情報に合わせる方法です。
- RAG は、外部のデータベースの情報を回答のときに質問と一緒に渡す方式、ファインチューニングは、追加の学習データでモデル全体を再学習する手法です。
- 選択肢に並ぶ知識蒸留は、小さなモデルを作る手法で、この2つとは目的が違います。
この記事の目次
RAG とは
RAG は、検索・拡張・生成を意味する方式です。自社などの独自の情報を外部のデータベースに蓄えておき、回答のときに、その情報を質問と一緒に LLM へ渡します。LLM に独自のデータを使った回答をさせたいときの方法です。モデルそのものは作り直しません。
ファインチューニングとは
ファインチューニングは、学習済みの基盤モデルに追加の学習データを与え、モデル全体を再学習する手法です。再学習によって、モデルを特定の分野に特化させます。
違いを表で比べる
| 比べること | RAG | ファインチューニング |
|---|---|---|
| 独自の情報の使い方 | 外部のデータベースに蓄え、回答のときに質問とともに渡す | 追加の学習データで再学習する |
| モデルそのもの | 変えない | 全体を再学習して特定分野に特化させる |
| 情報を使うタイミング | 回答のとき | 学習のとき |
試験での問われ方
IoTシステム技術検定 基礎では、第6章「IoTでデータを活用する」で出ます。もちこ道場の第6章の問題では、次のような問われ方をしています。
- 穴埋め: 「独自データを外部データベースに蓄え、回答のときに質問とともに LLM へ渡す方式」「基盤モデルに追加の学習データを与えて再学習し、特定分野に特化させる手法」の空欄に、RAG かファインチューニングかを選ぶ。
- 選択肢の並び: 知識蒸留、自己教師あり学習、MCP、RLHF などが一緒に並びます。小型のモデルを作る知識蒸留を、ファインチューニングと取り違えないようにします。
覚え方
- RAG は「検索して、渡す」。外部の情報を探して質問に添えるので、モデルは変わりません。
- ファインチューニングは「微調整(fine)して、学び直す」。モデル全体を再学習するので、モデルが変わります。
- 知識蒸留は「小さくする」と覚えると、3つを分けられます。
- 問題文に「外部データベース」「質問とともに渡す」とあれば RAG、「追加の学習データ」「再学習」とあればファインチューニングです。
第6章のほかの用語は「第6章 IoTでデータを活用するの要点」にまとめています。
第6章の問題を2問、解いてみる
もちこ道場の第6章の問題です。演習画面と同じ解説(図解・選択肢ごとの解説)を付けています。
問1
超大量のデータで事前学習された汎用性の高い基盤モデルに対して、特定の分野に特化させるため、追加の学習データを用いてモデル全体を再学習する手法を1という。
答えと解説を見る
正解は 3(ファインチューニング)です。
【概要】
ファインチューニングは、学習済みの基盤モデルに追加の学習データを与えてモデル全体を再学習し、特定分野に特化させる手法である。
【図解】実験的機能
図解は実験的機能です。内容を簡略化しているため、公式テキストの記載と異なることがあります。
【各選択肢の解説】
- 1. 強化学習あなたの解答 強化学習は、試行錯誤を通じて報酬が最大になる行動を学ぶ手法であり、追加データでモデル全体を再学習する手法ではない。
- 2. 自己教師あり学習あなたの解答 自己教師あり学習は、正解ラベルのないデータから疑似的なラベルを自動生成して学ぶ手法であり、本問の再学習手法ではない。
- 3. ファインチューニング正解あなたの解答 ファインチューニングは、基盤モデルを再利用するため少ないデータと短い時間で特定分野向けのモデルを構築できる。
- 4. 知識蒸留あなたの解答 知識蒸留は、教師モデルの入出力を用いて小型の生徒モデルを作る手法であり、モデル全体を再学習する手法ではない。
問2
既存の大規模な学習モデル(教師モデル)の入出力データを用いて、それと同等の知識や精度を持つ新たな小型のモデル(生徒モデル)を作成し、モデルを軽量化する学習手法を1という。
答えと解説を見る
正解は 3(知識蒸留)です。
【概要】
知識蒸留は、既存の教師モデルの入出力データを用いて同等の知識を持つ小型の生徒モデルを作る手法で、一般に教師モデルの小型化に用いられる。
【図解】実験的機能
図解は実験的機能です。内容を簡略化しているため、公式テキストの記載と異なることがあります。
【各選択肢の解説】
- 1. 自己教師あり学習あなたの解答 自己教師あり学習は、正解ラベルのないデータから疑似的なラベルを作って学ぶ手法であり、小型モデルを作る手法ではない。
- 2. ファインチューニングあなたの解答 ファインチューニングは、学習済みモデルに追加データを与えてモデル全体を再学習する手法であり、軽量化が目的ではない。
- 3. 知識蒸留正解あなたの解答 知識蒸留は、教師モデルと同じ入力を生徒モデルに与えて両者の出力を近づけ、同程度の精度を持つ小さなモデルを得る。
- 4. RLHFあなたの解答 RLHFは、人間からのフィードバックを報酬の基準に組み込む強化学習であり、小型の生徒モデルを作る手法ではない。
第6章のほかの問題は、ベーシックプランで解けます。まずは登録なしで、第1章の90問を試せます。
よくある質問
知識蒸留とは何が違いますか?
知識蒸留は、既存の教師モデルの入出力データを使い、同等の知識を持つ小型の生徒モデルを作る手法です。一般に、モデルを小型化するために使います。特定の分野に合わせる目的のファインチューニングとは、目的が違います。
基盤モデルとは何ですか?
基盤モデルは、超大量で多様なデータを事前に学習して、汎用性を得たモデルです。ファインチューニングでは、この学習済みの基盤モデルに追加の学習データを与えます。
もちこ道場
章ごとの問題と本番形式の模擬試験で、合格の力を確かめる
公式テキストの全8章から作ったオリジナルの予想問題を、スマホ・PC で解ける Web 演習サービスです(運営者が作っています)。
500円
31日間・買い切り・自動更新なし
- 全8章 720問○
- 選択肢ごとの解説○
- 全問の解説に図解○
- 模擬試験(60問・60分)なし
1,000円
31日間・買い切り・自動更新なし
- 全8章 720問○
- 選択肢ごとの解説○
- 全問の解説に図解○
- 模擬試験(60問・60分)○
無料体験は登録不要です。
次に読む
IoTシステム技術検定 基礎の第6章「IoTでデータを活用する」で問われる用語を、6つのまとまりと取り違えやすい組み合わせで整理しました。第6章の問題を2問、その場で解いて確かめられます。
IoTシステム技術検定 基礎の勉強時間の目安を、合格した人の体験談と解説サイトの目安から集めました。未経験の社会人・学生向けに、6週間の計画を表にしています。
IoTシステム技術検定 基礎の合格率は68.5%(2024年3月の資料)で、中級の68.0%とほぼ同じです。MCPC のほかの検定と比べた難しさと、難しく感じる理由をまとめました。
出題範囲は、2026年10月27日にMCPC の公式ページで確認しました。用語の説明は、もちこ道場の問題と解説をもとにまとめたものです。