how can I train custom datasets?

[H0128Z]

dear author,

thanks for kindly providing your code,

I'm trying to train my custom datasets with your code.

Do I need to modify the entire code to train a custom dataset?

[zsyOAOA]

In general, you only need to modify the data path of the config file.

[H0128Z]

thanks

[H0128Z]

dear author,

while training data, I got below error. do you have any idea to fix this problem?

torchvision.transforms.functional_tensor module is deprecated in 0.15 and will be removed in 0.17. Please don't rely on it. You probably just need to use APIs in torchvision.transforms.functional or in torchvision.transforms.v2.functional.

[zsyOAOA]

I have fixed this bug, which is a import problem in basicsr caused by pytorch version. @H0128Z

[yangyouzi]

一般情况下，你只需要修改配置文件的数据路径即可。

请问修改配置文件的数据路径是修改这个.txt文件吗？

[yangyouzi]

请问train.txt中是只需要写入训练集的图片路径吗？请问还需要别的参数吗，能否给一个.txt作为参考呢？感谢~

[zsyOAOA]

https://github.com/zsyOAOA/ResShift/blob/journal/basicsr/data/realesrgan_dataset.py#L35

请参考以上代码自行修改。 @yangyouzi

[yangyouzi]

https://github.com/zsyOAOA/ResShift/blob/journal/basicsr/data/realesrgan_dataset.py#L35

请参考以上代码自行修改。 @yangyouzi

好的感谢，请问可以解释一下这两个.txt文件的含义吗？第一个txt文件是所有的训练数据路径，请问第二个文件是什么内容呢？

[zsyOAOA]

两个txt文件都是训练数据，第二个是人脸数据。我们最初只用了ImageNet，后来发现其他工作都会适当添加一下人脸数据，就加入了FFHQ。 @yangyouzi

[yangyouzi]

两个txt文件都是训练数据，第二个是人脸数据。我们最初只用了ImageNet，后来发现其他工作都会适当添加一下人脸数据，就加入了FFHQ。 @yangyouzi

好滴非常感谢~那请问我自己训练的时候也需要加上第二个人脸数据吗，还是只用第一个训练集的数据就可以？

[zsyOAOA]

如果你有人脸数据的话，最好加上。我们主要是follow了realesrgan和bsrgan的setting，就加入了一些人脸数据。

我没有专门去做过消融实验对比，所以也不确定会有多大影响，不好意思。 @yangyouzi

[yangyouzi]

如果你有人脸数据的话，最好加上。我没有专门去做过消融实验对比，所以也不确定会有多大影响，不好意思。 @yangyouzi

嗯嗯好的，我明白啦，就是根据realesrgan_dataset.py文件中生成.txt文件，我在.txt文件只放了数据集的每条路径，请问还需要放别的参数吗，应该不需要class分类号0，1，2...之类的吧？麻烦您了

[zsyOAOA]

不需要其他参数了，每张图片的路径就可以了。如果没有txt文件，直接传入数据文件夹的路径也可以，会自动读取。

[yangyouzi]

不需要其他参数了，每张图片的路径就可以了。如果没有txt文件，直接传入数据文件夹的路径也可以，会自动读取。

非常感谢您的指导和帮助~我深感幸运能够追随您的脚步，在未来的旅程中学习更多、收获更多，再次感谢您所做的一切

[yangyouzi]

不需要其他参数了，每张图片的路径就可以了。如果没有txt文件，直接传入数据文件夹的路径也可以，会自动读取。

不好意思再打扰一下，请问训练数据集是只需要提供一个数据集，不需要提供相应的低分辨率的数据对嘛？网络会自动进行下采样提取低分辨率数据。验证数据集需要提供gt和lq的数据集是这个意思吗？还是训练集与验证集都需要提供gt和低分辨率的数据集呢？

[yangyouzi]

不需要其他参数了，每张图片的路径就可以了。如果没有txt文件，直接传入数据文件夹的路径也可以，会自动读取。 我出现了这个报错，请问数据集图片尺寸是需要统一成256*256吗？非常感谢您的回复

[zsyOAOA]

不需要是256，但你要保证超分的结果和ground truth的resolution是一致的，要不然没办法计算metric，建议自己debug一下，仔细看一下代码

[yangyouzi]

不需要是256，但你要保证超分的结果和ground truth的resolution是一致的，要不然没办法计算metric，建议自己debug一下，仔细看一下代码

好的非常感谢，请问如果使用自己训练出的模型文件进行推理，能否保存推理后的图片的PSNR和LPIPS?

[12qew]

如果你有脸数据的话，最好加上。我没有专门进行过消融实验对比，所以也不确定会有多少影响，不好意思。@yangyouzi

嗯嗯好的，我明白啦，就是根据realesrgan_dataset.py文件中生成.txt文件，我在.txt文件中只放了数据集的每条路径，请问还需要放其他参数吗，应该不需要类分类号0，1，2...之类的吧？麻烦您了

您好，请问生成txt文件的程序是什么呢，非常感谢您的回复

[zsyOAOA]

https://github.com/zsyOAOA/ResShift/blob/journal/utils/util_common.py#L89 @12qew

[12qew]

https://github.com/zsyOAOA/ResShift/blob/journal/utils/util_common.py#L89 @12qew

非常感谢您的回复，请原谅我刚才的表述有错误，我现在有一组gt图片，请问如何生成txt文件来进行训练，非常感谢您的回复

[zsyOAOA]

https://github.com/zsyOAOA/ResShift/blob/journal/utils/util_common.py#L89 @12qew

非常感谢您的回复，请原谅我刚才的表述有错误，我现在有一组gt图片，请问如何生成txt文件来进行训练，非常感谢您的回复

就是使用链接里面的函数来生成的txt文件，麻烦请仔细看下这个链接里的代码。

[12qew]

https://github.com/zsyOAOA/ResShift/blob/journal/utils/util_common.py#L89 @12qew

非常感谢您的回复，请原谅我刚才的碳水化合物有错误，我现在有一组gt图片，请问如何生成txt文件来进行训练，非常感谢您的回复

就是利用链接里面的函数来生成的txt文件，麻烦请仔细看下面这个链接里的代码。

非常感谢您的回复，这个问题已经解决，感谢您杰出的工作。

[12qew]

https://github.com/zsyOAOA/ResShift/blob/journal/utils/util_common.py#L89 @12qew

非常感谢您的回复，请原谅我刚才的碳水化合物有错误，我现在有一组gt图片，请问如何生成txt文件来进行训练，非常感谢您的回复

就是利用链接里面的函数来生成的txt文件，麻烦请仔细看下面这个链接里的代码。

非常感谢您的回复，这个问题已经解决，感谢您杰出的工作。

您好，请问如何在训练过程中保存PSNR、SSIM、LPIPS这三个数值，非常期待您的回复。@zsyOAOA