Closed weiaicunzai closed 4 weeks ago
感谢你的代码。我没有啥大模型的经验,因此对于这个类的存在感觉到很奇怪。
为什么需要这个类?我的理解pytorch中的collator一般都是用来凑batch的,这个TrainLLavaModelCollator的功能我感觉完全把里面的针对每个sample的操作(autoprocessor相关的代码)放在dataset的 getitem方法中,然后用pytorch 默认的data collator就行了吧?
写法千千万,当时的代码,可能也就是一时写出来的,如果你解决方案更好,也可以尝试改一改。 本质上都是一样的~
感谢你的代码。我没有啥大模型的经验,因此对于这个类的存在感觉到很奇怪。
为什么需要这个类?我的理解pytorch中的collator一般都是用来凑batch的,这个TrainLLavaModelCollator的功能我感觉完全把里面的针对每个sample的操作(autoprocessor相关的代码)放在dataset的 getitem方法中,然后用pytorch 默认的data collator就行了吧?