LLMのファインチューニング
大規模言語モデルを用いた自然言語処理において,事前学習済みのモデルに対して行う,ファインチューニングに関する記述として,最も適切なものはどれか。
- A
強化学習を行い,最適な結果が得られるようにする。
- B
事前学習と同じデータを繰り返し用いて学習を行い,モデルの精度を高めるようにする。
- C
大量のテキストデータを用いて学習を行い,モデルの精度を高めるようにする。
- D
特定のデータを用いて追加で学習を行い,目的とするタスクに適用できるようにする。
正解と解説を見る
正解:D
事前学習は大量の汎用データで基礎能力を作る段階であり、ファインチューニングはタスク固有のデータで追加学習して特化させる段階である。
出典: 令和7年度 基本情報技術者試験 科目A 公開問題 問1(IPA 独立行政法人情報処理推進機構)。解説はこのサイトが作成。
- A
誤り。報酬をもとに望ましい出力を学ぶのは強化学習(RLHFなど)の説明で、ファインチューニングの定義ではない。
- B
誤り。事前学習と同じデータを繰り返し使っても、特定のタスクに合わせた調整にはならず、過学習を招きやすい。
- C
誤り。大量のテキストで汎用的な言語能力を身に付けさせるのは事前学習の説明である。
- D
正しい。ファインチューニングとは、事前学習済みモデルに対し、目的のタスクに合った比較的少量のデータで追加学習を行い、そのタスクに適応させることである。
このサイトの問題は、公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。独立行政法人情報処理推進機構(IPA)の公式サービスではありません。