search

AkihikoWatanabe / paper_notes

たまに追加される論文メモ
https://AkihikoWatanabe.github.io/paper_notes
15 stars 0 forks source link

StarCoderBase/StarCoder, 2023 #661

Open AkihikoWatanabe opened 1 year ago

AkihikoWatanabe commented 1 year ago

https://huggingface.co/bigcode/starcoderbase

AkihikoWatanabe commented 1 year ago

・15.5Bパラメータ ・80種類以上のプログラミング言語で訓練 ・Multi Query Attentionを利用 ・context window size 8192 ・Fill in the middle objectiveを利用

Instruction tuningがされておらず、prefixとsuffixの間を埋めるような訓練のされ方をしているので、たとえば関数名をinputして、そのmiddle（関数の中身）を出力させる、といった使い方になる模様。

AkihikoWatanabe commented 1 year ago

paper: https://drive.google.com/file/d/1cN-b9GnWtHzQRoE7M7gAEyivY0kl4BYs/view

AkihikoWatanabe commented 1 year ago

StarCoder: https://huggingface.co/bigcode/starcoder

AkihikoWatanabe commented 1 year ago

StarCoderBaseを35Bのpython tokenでfinetuningしたモデル。 既存モデルよりも高性能と主張

image