Gemma: Open Models Based on Gemini Research and Technology, 2024

[AkihikoWatanabe]

https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf

blog: https://blog.google/technology/developers/gemma-open-models/

[AkihikoWatanabe]

アーキテクチャはTransformer Decoderを利用。モデルのサイズは2Bと7B。 オリジナルのTransformer Decoderアーキテクチャから、下記改善を実施している：

• Multi Query Attention #1272 を利用
• RoPE Embedding #1310 を利用
• GeGLU #1311 の利用
• RMSNormの利用（学習を安定させるため; LLaMAと同様）

[AkihikoWatanabe]

Mistral #1309 よりも高い性能を示している：