search

s-JoL / Open-Llama

The complete training code of the open-source high-performance Llama model, including the full process from pre-training to RLHF.
https://huggingface.co/s-JoL/Open-Llama-V2
MIT License
30 stars 4 forks source link

关于开源协议 #23

Closed MrToy closed 1 year ago

MrToy commented 1 year ago

请问下这里的预训练权重是使用的原始llama的协议（受限协议），还是独立的预训练权重呢（那么是哪种开源协议）

s-JoL commented 1 year ago

是独立的预训练权重，不依赖于meta开源的版本。本代码库使用mit协议，不过训练数据使用了the pile和wudao所以遵守这两个的协议就行