liguodongiot / llm-action

本项目旨在分享大模型相关技术原理以及实战经验。
https://www.zhihu.com/column/c_1456193767213043713
Apache License 2.0
9.1k stars 885 forks source link

i请问一下lora fintune chatglm的时候,data_collector函数里面为什么没有attention_mask相关内容呀 #8

Closed zzy347964399 closed 1 year ago

zzy347964399 commented 1 year ago

GLM内部会对Input检查并加上,所以attention mask 和 position id 可以不丢给trainer #https://github.com/mymusise/ChatGLM-Tuning/issues/256