ZhenrongShen / CellGAN

[MICCAI 2023] Official Pytorch Implementation for "CellGAN: Conditional Cervical Cell Synthesis for Augmenting Cytopathological Image Classification"
MIT License
26 stars 5 forks source link

如何保证GAN的稳定性呢? #1

Open nchzzDFTBA opened 1 year ago

nchzzDFTBA commented 1 year ago

请问如何保证GAN生成的图片是稳定的呢

ZhenrongShen commented 1 year ago

如果是训练阶段的话,有很多稳定训练的技巧,比如使用spectral normalization,做数据增强 (e.g., DiffAugment),选择合适的模型参数量、损失函数形式、G和D的学习率以及更新频次等等,这些设置需要具体问题具体分析,结合自己数据集的特点来调试。

如果是推理阶段的话,想保证生成图像质量的稳定,大致可以从三个方面入手:1. 对隐向量的采样过程做约束,在某个特定范围内采样,而不是在整个高斯空间中随机采样;2. 设计一种图像质量评价指标或者训练一个图像质量评价模型,对生成图像做筛选;3. 额外训练一个refine model,纠正或者进一步提高生成图像的质量。

希望这个回答能帮到您~

nchzzDFTBA commented 1 year ago

谢谢大佬,感谢您的回答! 我是一名初学者,想请教一下如何将GAN和下游任务,比如分割结合呢

zhang373 commented 9 months ago

Semantic Segmentation with Generative Models: Semi-Supervised Learning and Strong Out-of-Domain Generalization