search

HuangLK / transpeeder

train llama on a single A100 80G node using 🤗 transformers and 🚀 Deepspeed Pipeline Parallelism
Apache License 2.0
208 stars 18 forks source link

hidden_states=bool变量 #24

Open iMountTai opened 1 year ago

iMountTai commented 1 year ago

大佬好！我运行出错后 image 便直接修改了attention_mask=None.结果又出现了以下错误 image 打印变量发现是bool型变量，导致失败，大佬知道是什么原因不？ image image

iMountTai commented 1 year ago

请问这个33层权重有问题吗？ image