How to prepare the DF2K training data?

[splinter21]

Q1: I notice that the data preparing process of NTIRE2020 Real World SR chanllenge is very complex. How to reproduce the work for any other datasets?

Q2: How did you add the jpeg artifact for the DF2K_JPEG model training data? (add what kind of artifact + the level range of artifact, for the input low resolution image)

Another question: 就我用pytorch的经验，如果单跑一张图片的话，脚本会有个初始的.cuda()加载模型进显存的时间还挺长的。如果是做成http接口的形式，模型显存常驻，什么时候需要过某张图，就只要一个前向的时间就行了，不需要初始加载进显存的成本。 ncnn-vulkan模型是命令行交互，输入输出图片路径。如果是命令行调用的话，相当于处理每一张图片都需要这个初始的时间吗？有没有http服务的形式或者批量处理一批图片的形式来省去这个初始时间？还是说ncnn-vulkan模型其实主要时间成本还是在前向上，不需要管这个，只管命令行调用就行了？@nihui

[nihui]

realsr-ncnn-vulkan 可以输入文件夹路径，输出文件夹路径，避免重复初始化和加载模型

[splinter21]

realsr-ncnn-vulkan 可以输入文件夹路径，输出文件夹路径，避免重复初始化和加载模型

随便测了一张720P，那个耗时…看来我想多了，初始化时间占比基本上可以忽略不计…还是希望后续能出精简点的模型呀，不需要比赛那么高保真度的

[nihui]

realsr-ncnn-vulkan 可以输入文件夹路径，输出文件夹路径，避免重复初始化和加载模型

随便测了一张720P，那个耗时…看来我想多了，初始化时间占比基本上可以忽略不计…还是希望后续能出精简点的模型呀，不需要比赛那么高保真度的

对，我也觉得太慢了，快速模型已经在搞了 qwq

[splinter21]

realsr-ncnn-vulkan 可以输入文件夹路径，输出文件夹路径，避免重复初始化和加载模型

所以能不能先搞个初始化（模型常驻gpu+开端口）的命令，然后之后再用相同的命令的时候就直接丢进端口里得到结果哇（小尺寸图片我发现模型初始化成本占比还是很大的）

原来： ./realsr-ncnn-vulkan -i in1.jpg -o out1.png ./realsr-ncnn-vulkan -i in2.jpg -o out2.png ./realsr-ncnn-vulkan -i in3.jpg -o out3.png

现在： nohup ./realsr-ncnn-vulkan server 2>&1 & (--port用default或者自己设置) ./realsr-ncnn-vulkan -i in1.jpg -o out1.png (--port用default或者自己设置) ./realsr-ncnn-vulkan -i in2.jpg -o out2.png ./realsr-ncnn-vulkan -i in3.jpg -o out3.png

[splinter21]

因为ncnn-vulkan这个可能只是处理某张图片的pipeline中的一步，还是不方便输入dir批量搞这种的

[avinash31d]

Did you find the answer for the Q2?

How did you add the jpeg artifact for the DF2K_JPEG model training data? (add what kind of artifact + the level range of artifact, for the input low resolution image)

[avinabsaha]

@avinash31d @splinter21 have you figured out how to train the DF2K_JPEG model?