search

AkihikoWatanabe / paper_notes

たまに追加される論文メモ
https://AkihikoWatanabe.github.io/paper_notes
17 stars 0 forks source link

LLaMA3, Apr, 2024 #1289

Open AkihikoWatanabe opened 4 months ago

AkihikoWatanabe commented 4 months ago

https://ai.meta.com/blog/meta-llama-3/

AkihikoWatanabe commented 4 months ago

ライセンスによると、LLaMA3を利用したモデルはどんな場合でもLlama3をprefixとして付与しないといけないらしい

元ツイート:https://x.com/gneubig/status/1781083579273089442?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q

AkihikoWatanabe commented 4 months ago

LLaMA3がChatBot ArenaでTop 5になったとのこと。また、英語においては、GPT4-1106-preview, GPT-4-turbo-2024-0409と同等の性能を達成。これはすごい…

https://x.com/lmsysorg/status/1782483699449332144?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q

AkihikoWatanabe commented 4 months ago

nejumi-leaderboard #1055 にLLaMA3の評価結果が掲載された模様（画像は下記ツイートより引用）

image

https://x.com/madyagi/status/1783707796095316310?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q

AkihikoWatanabe commented 3 months ago

モデルアーキテクチャはTransformer Decoderをベースにしており、Llama2と比較して

AkihikoWatanabe commented 3 months ago

context: 8192