search

chxy95 / HDRTVNet

ICCV2021 - A New Journey from SDRTV to HDRTV.
MIT License
126 stars 22 forks source link

输出图片尺寸问题 #15

Open sunyclj opened 1 year ago

sunyclj commented 1 year ago

输入是4k(38402160),AGCM和LE输出均与输入相同，但是HG输出尺寸为(38402176)，我定位了一下，是因为generate_mask.py代码中 if H%32!=0 or W%32!=0: H_new = int(np.ceil(H / 32) 32) W_new = int(np.ceil(W / 32) 32) img_LQ = cv2.resize(img_LQ, (W_new, H_new)) 请问为什么在HG网络中尺寸需要调整成可以整除32的呢？输出尺寸变化的问题怎么解决呢？

xiaom233 commented 1 year ago

这个原因主要是因为Hallucination_Generator使用了一个类似UNet的结构，为了保证下采样再上采样时的特征向量尺寸对齐问题，在生成数据时做了一个尺寸的调整。这个问题在生成数据过程中可以把GT用相同的方式调整到与HG相同的尺寸。如果想输出与GT相同的尺寸，使用padding + crop的方式即可。我们正在对现在这个模型进行改进，拟对ICCV版本增刊，欢迎持续关注~

sunyclj commented 1 year ago

这个原因主要是因为Hallucination_Generator使用了一个类似UNet的结构，为了保证下采样再上采样时的特征向量尺寸对齐问题，在生成数据时做了一个尺寸的调整。这个问题在生成数据过程中可以把GT用相同的方式调整到与HG相同的尺寸。如果想输出与GT相同的尺寸，使用padding + crop的方式即可。我们正在对现在这个模型进行改进，拟对ICCV版本增刊，欢迎持续关注~

谢谢，会持续关注！ 请问如果我希望获取的是一个HLG的视频，是否可以直接在最终的ffmpeg合成帧阶段(对应代码：synthesizing_hdr10_video.sh)进行更改，而不使用HDR(HLG标准)、SDR图像对重新对模型进行训练呢？

chxy95 commented 1 year ago

这个原因主要是因为Hallucination_Generator使用了一个类似UNet的结构，为了保证下采样再上采样时的特征向量尺寸对齐问题，在生成数据时做了一个尺寸的调整。这个问题在生成数据过程中可以把GT用相同的方式调整到与HG相同的尺寸。如果想输出与GT相同的尺寸，使用padding + crop的方式即可。我们正在对现在这个模型进行改进，拟对ICCV版本增刊，欢迎持续关注~

谢谢，会持续关注！ 请问如果我希望获取的是一个HLG的视频，是否可以直接在最终的ffmpeg合成帧阶段(对应代码：synthesizing_hdr10_video.sh)进行更改，而不使用HDR(HLG标准)、SDR图像对重新对模型进行训练呢？

不可行。两种视频编码差异不小，按目前的训练集训练，网络输出的是HDR10的内容，按HLG标准编码可能会导致色彩和亮度偏差。

sunyclj commented 1 year ago

这个原因主要是因为Hallucination_Generator使用了一个类似UNet的结构，为了保证下采样再上采样时的特征向量尺寸对齐问题，在生成数据时做了一个尺寸的调整。这个问题在生成数据过程中可以把GT用相同的方式调整到与HG相同的尺寸。如果想输出与GT相同的尺寸，使用padding + crop的方式即可。我们正在对现在这个模型进行改进，拟对ICCV版本增刊，欢迎持续关注~

谢谢，会持续关注！ 请问如果我希望获取的是一个HLG的视频，是否可以直接在最终的ffmpeg合成帧阶段(对应代码：synthesizing_hdr10_video.sh)进行更改，而不使用HDR(HLG标准)、SDR图像对重新对模型进行训练呢？

不可行。两种视频编码差异不小，按目前的训练集训练，网络输出的是HDR10的内容，按HLG标准编码可能会导致色彩和亮度偏差。

好的，谢谢

sunyclj commented 1 year ago

这个原因主要是因为Hallucination_Generator使用了一个类似UNet的结构，为了保证下采样再上采样时的特征向量尺寸对齐问题，在生成数据时做了一个尺寸的调整。这个问题在生成数据过程中可以把GT用相同的方式调整到与HG相同的尺寸。如果想输出与GT相同的尺寸，使用padding + crop的方式即可。我们正在对现在这个模型进行改进，拟对ICCV版本增刊，欢迎持续关注~

谢谢，会持续关注！ 请问如果我希望获取的是一个HLG的视频，是否可以直接在最终的ffmpeg合成帧阶段(对应代码：synthesizing_hdr10_video.sh)进行更改，而不使用HDR(HLG标准)、SDR图像对重新对模型进行训练呢？

不可行。两种视频编码差异不小，按目前的训练集训练，网络输出的是HDR10的内容，按HLG标准编码可能会导致色彩和亮度偏差。

请问论文中Tone mapping使用Hable Tone mapping，公式中的I取值应该是多少，论文中有表述SDRTV是0-100，HDRTV是0-10000，如果我有raw数据，I应该怎么取值经过Tone mapping分别得到SDR和HDR呢？