Open sigmundchen opened 1 year ago
项目中提到“”“整体模型基于标准的 Transformer 结构,我们采用了和 LLaMA 一样的模型设计”“” 然而我发现在modeling_baichuan.py中的Attention ,在train阶段没有用到attention_mask。 但是llama中的Attention是用到了的。 请问这是为什么呢?
这个有点好奇 百川开源了不开源交流?
Required prerequisites
Questions
项目中提到“”“整体模型基于标准的 Transformer 结构,我们采用了和 LLaMA 一样的模型设计”“” 然而我发现在modeling_baichuan.py中的Attention ,在train阶段没有用到attention_mask。 但是llama中的Attention是用到了的。 请问这是为什么呢?
Checklist