Akira-Isegawa
commented
3 months ago 生成AIの仕組み
Transformerの仕組み
https://arxiv.org/pdf/1706.03762.pdf
- 翻訳用に作られたモデル
- 左側がEncoderで、翻訳前の文章の特徴を数値化
- 右側がDecoderで、翻訳後の文章を生成
- Embeddingが単語のベクトル化を行い、Positional Encodingが各単語の文章における位置関係を保持
- Multi-Head Attentionが各単語同士の関連度合いの重み付け
- Layer Normalizationが重みの正規化
- Feed Forwardが意味的に関連が強い単語のペアの増幅
何がイノベーションを起こしたのか
- Self Attention
- 単語固定のベクトルではなく、まわりの文脈に応じた重み付けを含むことができる
- 並列計算できるためGPUリソースを注ぎ込めば大規模化できる
- 事前学習（Pre-training）と事後学習（Post-Training）
- 事前学習では、インターネット上の文章から機械的にマスクしたデータを利用。機械的に学習データを生成できるため、学習データの準備が比較的容易で、大量のデータを集められる。
- GPT：文章の出だしから次に何が続くかを予測させる学習
- BERT：15%のトークンを伏せ字にして、復元させる学習
- 事後学習では、質問応答など特定のタスク向けに教師あり学習などが行われる。
- 事前学習では、インターネット上の文章から機械的にマスクしたデータを利用。機械的に学習データを生成できるため、学習データの準備が比較的容易で、大量のデータを集められる。
- Scaling Laws
- パラメーター数、データセットのサイズ、トレニングに使用される計算量が増えれば、モデルの性能が上がるという法則性
- https://arxiv.org/abs/2001.08361
- ハードウェアの進化
- LLMの学習に耐えうるハードウェアの進化（GPU、TPU等）
GPTの仕組み
- モデル
- GPT
- TransformerのDecoder部分を利用
- https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf
- GPT-2
The model largely follows the details of the OpenAI GPT model (Radford et al., 2018) with a few modifications. Layer normalization (Ba et al., 2016) was moved to the input of each sub-block, similar to a pre-activation residual network (He et al., 2016) and an additional layer normalization was added after the final selfattention block.
- Layer Normalizationの場所が変わった
- 次の記事の解説が詳しい https://zenn.dev/sunbluesome/articles/775ffd67fb7454
- GPT-3
- GPT2と基本的には同じモデルを用いて、パラメーター数を175 billionまで段階的に増やして性能を評価。
- GPT-3.5以降のモデルの詳細は不明
- GPT
- 事前学習（Pre-training）の仕方
- インターネット上から取得した文章・電子書籍・コードなどのデータを利用
- 文章の出だしから次に何が続くかを予測させる学習
- 事後学習（Post-Training）の仕方
- 従来のFine-Tuningは、事前学習済みモデルが有する全てのパラメーターを更新する学習を行っていたが、言語モデルの大規模化によってそれができない場合があるため以下のようなやり方が開発された。
- Instruction Tuning
- 指示文とそれに対する理想的な回答文を用いて教師あり学習
- 指示文と回答文という形式で、質問応答や分類などの下流タスクに適用させる
- 1000件程度の少量のデータでも質が高ければ、回答の品質を高められる
- Parameter Efficient Fine-Tuning
- 追加的に設定した一部のパラメーターのみを訓練・更新の対象とすることで効率的なFine-Tuningを実現
- Reinforcement Learning from Human Feedback（RLHF）
- 人間のフィードバックを用いた強化学習を通じ、人間の価値観に沿った出力になるよう調整
- ChatGPT（GPT3.5）については、Instruction TuningとRLHFの概要が紹介されている
参考：LLM 大規模言語モデル講座 GPT3.5 以降の詳細はよくわからなかったので、上記の学習の仕方については松尾研究所が無償公開しているLLM 大規模言語モデル講座の内容を参考にした。
マルチモーダル
要約すると、下記の3つのサブモデルを内蔵したモデルによって、マルチモーダルを実現
- テキストをembeddingするサブモデル
- 画像をembeddingするサブモデル
- 上記の関係を学習するサブモデル
参考： Googel Cloud ブログ マルチモーダル検索とは何か: 「視覚を持った LLM」でビジネスが変わる Stanford CS224N NLP with Deep Learning | 2023 | Lecture 16 - Multimodal Deep Learning, Douwe Kiela
生成AIについて、ソフトウェアエンジニア視点で下記のような問いを立てた。急速に進歩している分野で、全てに完全な答えを出すことはできないだろうが、おおよその見通しが立てられるよう、下調べをしておく。