search

AkihikoWatanabe / paper_notes

たまに追加される論文メモ
https://AkihikoWatanabe.github.io/paper_notes
20 stars 0 forks source link

LLM-jp-3 1.8B・3.7B・13B の公開, LLM.jp, 2024.09 #1418

Open AkihikoWatanabe opened 1 month ago

AkihikoWatanabe commented 1 month ago

https://llmc.nii.ac.jp/topics/post-707/

AkihikoWatanabe commented 1 month ago

LLM-JP-Evalでの評価結果はこちら:https://huggingface.co/llm-jp/llm-jp-3-1.8b

AkihikoWatanabe commented 1 month ago

1.8Bのモデルが、モデルサイズに対して非常に性能が良いとのこと（確かに、3.8Bのモデルとの差があまりないように見える 元ポスト:https://x.com/odashi_t/status/1838814594514718878?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q

AkihikoWatanabe commented 1 month ago

アーキテクチャはLlama2とのことなので、vLLMでも動作させられる模様