baichuan-inc / Baichuan-7B

A large-scale 7B pretraining language model developed by BaiChuan-Inc.
https://huggingface.co/baichuan-inc/baichuan-7B
Apache License 2.0
5.67k stars 506 forks source link

[Question] 一个简单的概念性问题 #59

Closed TaiChiTiger closed 1 year ago

TaiChiTiger commented 1 year ago

Required prerequisites

Questions

请问这个模型和T5相比有哪些区别?是否也统一到了文本对文本的问题? 最后,您现在有要推出Instructed版本的时间线吗?

Checklist

TaiChiTiger commented 1 year ago

readme写基于transformer架构,我以为是编码器-解码器架构,后面说与LLaMA相似,那最后还是解码器架构,这块是我看错了,抱歉

GDUTT1 commented 1 year ago

所以请问有sft版本的时间线吗

moseshu commented 1 year ago

readme写基于transformer架构,我以为是编码器-解码器架构,后面说与LLaMA相似,那最后还是解码器架构,这块是我看错了,抱歉

他们的readme写的有点模糊,明明跟Llama的结构差不多,为什么不直接用Llama 从scrach训练一版中文,真是搞不懂,后面llama直接用多语种训练一版,商业化之后,谁还用这些呢