hpcaitech / Open-Sora

Open-Sora: Democratizing Efficient Video Production for All
https://hpcaitech.github.io/Open-Sora/
Apache License 2.0
20.1k stars 1.91k forks source link

使用stage1_feat进行finetune,ckpt推理视频全黑 #557

Closed Zane0227 closed 23 hours ago

Zane0227 commented 5 days ago

为了降低运行时的显存,计划在finetune时去掉text_encoder模型(实在太大) 发现misc目录下有预处理文本的脚本scripts/misc/extract_feat.py 使用该脚本预处理数据后产出若干个bin文件 但出现下列两个问题:

  1. finetune训练速度变得很快,差不多为原来(直接导出csv文件)的7-8倍
  2. 产出物推理视频全黑

请问应该从哪方面进行排查?运行脚本和进行训练的时候未发现报错

Zane0227 commented 23 hours ago

经过排查,是extra生成的feature不对,应该是t5模型加载问题导致。已解决。