zh460045050 / VQGAN-LC

87 stars 7 forks source link

你好,可以提供生成FFHQ数据集初始化代码本的脚本吗 #8

Open soutlu opened 1 month ago

soutlu commented 1 month ago

还有另一个问题,代码中使用的CLIP权重是在224224的图片分辨率下训练的,这种情况下使用clip获取的codebook,适用于512512的图片重建吗

zh460045050 commented 1 month ago

你好,由于训练资源有限,我们暂时还没试过直接在512512分辨率上对VQGAN-LC进行训练。但之前有尝试过使用当前codebook在256256分辨率下训好的VQGAN-LC直接对512*512分辨率的图像进行重建,重建质量总体来说挺好的,并没有发现不适用的情况。

yz2362 commented 1 month ago

是这样做的吗?用clip提取出特征,然后量化,然后用vae的解码器进行解码复原