大規模言語モデル (LLM) の技術と最新動向, Ikuya Yamada, 2024.06

AkihikoWatanabe / paper_notes

たまに追加される論文メモ

https://AkihikoWatanabe.github.io/paper_notes

17 stars 0 forks source link

Open AkihikoWatanabe opened 1 month ago

AkihikoWatanabe commented 1 month ago

AkihikoWatanabe commented 1 month ago

LLMの原理の基礎的な内容について、丁寧かつコンパクトにまとまっている。

ファインチューニングは新しい知識の学習ではなく知識の使い方を学習させるのに向いている

これをきちんと念頭に置いておかないと落とし穴にハマると思う。引用元の論文読みたい(#1371)。

AkihikoWatanabe commented 2 days ago

画像は資料中より引用。LLMの作り方について非常にシンプルにまとまっている。アライメントがなぜ必要か？の例もわかりやすい！