Closed Zane0227 closed 23 hours ago
为了降低运行时的显存,计划在finetune时去掉text_encoder模型(实在太大) 发现misc目录下有预处理文本的脚本scripts/misc/extract_feat.py 使用该脚本预处理数据后产出若干个bin文件 但出现下列两个问题:
请问应该从哪方面进行排查?运行脚本和进行训练的时候未发现报错
经过排查,是extra生成的feature不对,应该是t5模型加载问题导致。已解决。
为了降低运行时的显存,计划在finetune时去掉text_encoder模型(实在太大) 发现misc目录下有预处理文本的脚本scripts/misc/extract_feat.py 使用该脚本预处理数据后产出若干个bin文件 但出现下列两个问题:
请问应该从哪方面进行排查?运行脚本和进行训练的时候未发现报错