Open soutlu opened 1 month ago
还有另一个问题,代码中使用的CLIP权重是在224224的图片分辨率下训练的,这种情况下使用clip获取的codebook,适用于512512的图片重建吗
你好,由于训练资源有限,我们暂时还没试过直接在512512分辨率上对VQGAN-LC进行训练。但之前有尝试过使用当前codebook在256256分辨率下训好的VQGAN-LC直接对512*512分辨率的图像进行重建,重建质量总体来说挺好的,并没有发现不适用的情况。
是这样做的吗?用clip提取出特征,然后量化,然后用vae的解码器进行解码复原
还有另一个问题,代码中使用的CLIP权重是在224224的图片分辨率下训练的,这种情况下使用clip获取的codebook,适用于512512的图片重建吗