Questions about dataset preparation

IDKiro / StarEnhancer

[ICCV 2021 Oral] StarEnhancer: Learning Real-Time and Style-Aware Image Enhancement

MIT License

150 stars 15 forks source link

Questions about dataset preparation #3

Closed MZener closed 3 years ago

MZener commented 3 years ago

您好，我想用您的工程跑一下自己的数据，现在有输入，输出一组数据对，训练数据里面A-E剩下的4种效果是怎样生成的呢，这些目标效果数据能否是非成对的呢？如果只有一种风格，能否A-E目标效果都拷贝成一样的数据呢，在train_enhancer.py所训练的单风格脚本是需要embeddings.npy文件，这个文件在单风格训练时是必须的吗

IDKiro commented 3 years ago

我没怎么搞懂你的意思。数据生成readme中有提到，使用lightroom生成。论文中和这个repo都只有监督训练，所以必须成对数据。非成对扩展很简单，把监督loss换成gan loss就行，cycle loss和identity loss都不是必要的，这部分内容有做，但是没放进论文里。从多风格退化为单风格也很简单，如果你只要输入和目标一种输出风格，那就是把数据集的风格种类变成两种就行，比如你只留下input和Expert C两个文件夹，不过这样做你要跑完整个训练流程，包括预测embedding。个人建议直接删掉风格编码器相关的代码，修改下dataloader。

MZener commented 3 years ago

好的，去掉风格编码器相关的代码，mapping 网络的要怎么给输入呢

IDKiro commented 3 years ago

mapping network你应该看成风格编码的一部分，虽然他是在训练enhancer时训练。你应该把enhancer的backbone中关于dual adain的部分一并删除，就是代码中sa和sb的计算部分。修改后的网络应该是论文basic enhancer部分的结构，不需要接收风格信息。

MZener commented 3 years ago

好的，非常感谢，我去试试看。