search

AkihikoWatanabe / paper_notes

たまに追加される論文メモ
https://AkihikoWatanabe.github.io/paper_notes
20 stars 0 forks source link

Open Release of Grok-1 March 17, 2024 #1256

Open AkihikoWatanabe opened 7 months ago

AkihikoWatanabe commented 7 months ago

https://x.ai/blog/grok-os

AkihikoWatanabe commented 7 months ago

Apache2.0ライセンス, 314Bパラメータでモデルの重み、Mixture-of-Expertsを採用している。学習データ、学習に利用したコードはおそらく公開されていない。

AkihikoWatanabe commented 7 months ago

Grok-1.5がリリース https://x.ai/blog/grok-1.5

各種ベンチマークの性能、特にMathの性能が向上し、コンテキスト長が128kに

image