llff.py 'images_4/*' Is there a problem with the path name

[jly0810]

Hello, I want to ask if the pathname in line 175 of llff.py is wrong, and "images/ '" should be used instead of "images_4/'". During training, I just need to put the original dataset in the "images" folder, and set "downsample_train" if it is necessary to reduce sampling, without additional preparation of the "images_4" folder

[Kunhao-Liu]

Hi, I think it works either way. You can use either images_4/* or images/* as long as you set the appropriate downsample_train value to keep the downsampling ratio consistent.

[jly0810]

这是步骤三的训练输出：

[Kunhao-Liu]

你好，从输出来看训练应该没有问题。对于人脸面部细节的保留，因为StyleRF并不是一个针对人体或者人脸进行设计的模型，没有对于人脸的prior，所以效果确实会有所下降。另外，content_weight设置过大也会影响style的保留。希望能对您有所帮助！

[Kunhao-Liu]

你好，

1. 深度、几何的重建全部依赖于TensoRF，对于纹理不是很明显的背景，几何重建会有问题是正常的。对于风格迁移效果应该没有明显影响。
2. 这个问题是pytorch对于tensor size的大小有限制，说明tensor的尺寸太大了，需要缩小。downsample_train并不需要在三个步骤中保持一致。
3. 分辨率设置可能会影响风格化效果，如果训练的分辨率太小那么一些style patterns就会在最终输出的时候尺寸比较大，反之亦然。
4. content_weight和style_weight的设置取决于你希望保留更多的content还是style，如果你希望保留更多的content，那么可以将content_weight设置的更大一些，或者style_weight更小一些。
5. 25000iters应该已经足够了，增大n_iters变化应该不是很明显。
6. 使用风格图训练集之外的风格图像，styleRF也可以实现风格迁移。
7. 我觉得可以增加一些人脸的prior，比如有semantic maps的限制等等，会有利于人脸细节和结构的保留。

希望我的回答能有所帮助。

[jly0810]

非常感谢您的回复！！ 问题2：我是应该将步骤二的下采样率由1设为2吗？这样经过测试是可以正常运行的。 我想提高分辨率进行训练（不进行四倍下采样），在步骤一设置downsample_train=1，步骤二设置downsample_train=2，步骤三设置downsample_train=1，这样是合理的吗？还是有其他的方法？ 问题3：我不太理解您的意思，是要保持风格图像分辨率和训练图像分辨率一致吗？ 训练的分辨率与步骤一、二、三的下采样率的关系，三个步骤中的下采样率如何设置，是困扰我很久的问题？

[jly0810]

另外，对于自己的实拍数据集，应该按照F1：llff的配置方法（按照原始Nerf方法，通过colmap然后imgs2poses.py生成npy文件）；还是按照F2：TensoRF中的“your_own_data”（使用scripts/colmap2nerf.py 生成.JSON文件），并使用your_own_data.txt？ 这两种方法哪个对于自己的数据集更有效？ F2方法和相应配置我没用在StyleRF文件中见到，它不适用吗？

[jly0810]

我使用llff数据集并按照原始配置进行训练，但最终风格效果与您论文里的结果差异较大，颜色有问题，感觉整体偏红，这是什么原因呢，我该如何改进？

[Kunhao-Liu]

你好，

1. 自己拍的数据集需要按照LLFF进行配置。
2. 不同步骤间的downsample_train互相不影响，可以设置的不一样。
3. 你可以尝试一下用需训练好的ckpt测试一下，确认下风格化效果不好是测试的问题还是训练的问题。

[jly0810]

你好，

1. 自己拍的数据集需要按照LLFF进行配置。
2. 步骤不同间的downsample_train彼此不影响，可以设置的不一样。
3. 你可以尝试一下用需要训练好的ckpt测试一下，确认下风格化效果不好是测试的问题还是训练的问题。

经过测试，是训练的问题。但我使用的训练参数就是llff配置文件原参数，并且尝试将 n_iters 增加到了500K，效果还是没有提供的ckpt好，颜色还是偏红。这是为什么呢？

[ruanchunqing7]

你好， 我在这个项目代码中没有找到 table 1 相关的代码。所以想问下，你找到 table 1 对应的代码了吗？复现 table 1 中的结果了吗？

非常感谢！

你好，

1. 自己拍的数据集需要按照LLFF进行配置。
2. 步骤不同间的downsample_train彼此不影响，可以设置的不一样。
3. 你可以尝试一下用需要训练好的ckpt测试一下，确认下风格化效果不好是测试的问题还是训练的问题。

经过测试，是训练的问题。但我使用的训练参数就是llff配置文件原参数，并且尝试将 n_iters 增加到了500K，效果还是没有提供的ckpt好，颜色还是偏红。这是为什么呢？

你好， 我在这个项目代码中没有找到 table 1 相关的代码。所以想问下，你找到 table 1 对应的代码了吗？复现 table 1 中的结果了吗？

非常感谢！

[PaiDii]

请问trex场景，用梵高的星空风格图，content_weight和style_weight参数该设置为多少？我用您原始的config文件生成效果与您的差距很大。