how to use syncnet_python and training steps

[1129571]

1. 25fps, 16000Hz, less than 5s
2. Run run_pipeline.py (in syncnet_python)
3. Run run_syncnet.py. (in syncnet_python) Then determine the value of AV offset. If it is between [-1,1], keep the video. Otherwise, remove the video from the dataset?
4. Run preprocess.py
5. Run train_syncnet_sam.py
6. Run wav2lip_train.py

Is this process correct? Especially, I want to know if the third step is correct!

[tailangjun]

1. 25fps, 16000Hz, less than 5s
2. Run run_pipeline.py (in syncnet_python)
3. Run run_syncnet.py. (in syncnet_python) Then determine the value of AV offset. If it is between [-1,1], keep the video. Otherwise, remove the video from the dataset?
4. Run preprocess.py
5. Run train_syncnet_sam.py
6. Run wav2lip_train.py

Is this process correct? Especially, I want to know if the third step is correct!

代码没问题的，你可以参考本工程的 ./evaluation/scores_LSE/calculate_scores_real_videos 重点是 offset, conf, dist = s.evaluate(opt,videofile=fname)，你需要对 offset和 conf添加过滤条件

[1129571]

1. 25fps, 16000Hz, less than 5s
2. Run run_pipeline.py (in syncnet_python)
3. Run run_syncnet.py. (in syncnet_python) Then determine the value of AV offset. If it is between [-1,1], keep the video. Otherwise, remove the video from the dataset?
4. Run preprocess.py
5. Run train_syncnet_sam.py
6. Run wav2lip_train.py

Is this process correct? Especially, I want to know if the third step is correct!

代码没问题的，你可以参考本工程的 ./evaluation/scores_LSE/calculate_scores_real_videos 重点是 offset, conf, dist = s.evaluate(opt,videofile=fname)，你需要对 offset和 conf添加过滤条件 兄弟可以详细一点吗，我没太明白。我正在用lrs2在进行训练，但是loss一直在0.69，issues里说syncnet_python可以解决。 ./evaluation/scores_LSE/calculate_scores_real_videos和syncnet_python相似？评估数据。 正确做法是将offset和confidence评估不符合的数据从数据集移除？（还是说怎么样操作）

[tailangjun]

将offset和confidence评估不符合的数据从数据集移除？

是的，将offset和confidence评估不符合的数据从数据集移除

[1129571]

将offset和confidence评估不符合的数据从数据集移除？

是的，将offset和confidence评估不符合的数据从数据集移除

感谢，我现在就去试试

[1129571]

将offset和confidence评估不符合的数据从数据集移除？

是的，将offset和confidence评估不符合的数据从数据集移除

兄弟，我有个新的疑惑想向你确认一下，offset据作者说[-1,1]是最合适的，那么confidence呢。应该怎么判断是否符合，大于3？ https://github.com/primepake/wav2lip_288x288/issues/93

[tailangjun]

将offset和confidence评估不符合的数据从数据集移除？

是的，将offset和confidence评估不符合的数据从数据集移除

兄弟，我有个新的疑惑想向你确认一下，offset据作者说[-1,1]是最合适的，那么confidence呢。应该怎么判断是否符合，大于3？ #93

作者说的是 [6,9]，我用的是 >= 5

[1129571]

将offset和confidence评估不符合的数据从数据集移除？

是的，将offset和confidence评估不符合的数据从数据集移除

兄弟，我有个新的疑惑想向你确认一下，offset据作者说[-1,1]是最合适的，那么confidence呢。应该怎么判断是否符合，大于3？ #93

作者说的是 [6,9]，我用的是 >= 5

万分感谢

[1129571]

将offset和confidence评估不符合的数据从数据集移除？

是的，将offset和confidence评估不符合的数据从数据集移除

兄弟，我有个新的疑惑想向你确认一下，offset据作者说[-1,1]是最合适的，那么confidence呢。应该怎么判断是否符合，大于3？ #93

作者说的是 [6,9]，我用的是 >= 5

太郎兄你好，我已经参考evaluation/scores_LSE/calculate_scores_LRS.py，将不满足offset[-1, 1], confidence[6, 9]得数据进行了移除，几乎去掉了lrs2中1/3的数据，但是我的鉴别器损失还是卡在0.69附近，你对此有什么经验或建议吗

[tailangjun]

1. 是不是每句话进行一切割，英文控制在3~5秒
2. 视频是否25帧
3. 音频是否16000赫兹采样
4. 检测音视频是否对齐

[prometheus-alien]

1. 是不是每句话进行一切割，英文控制在3~5秒
2. 视频是否25帧
3. 音频是否16000赫兹采样
4. 检测音视频是否对齐

你好，请问是否需要训练中文的syncnet模型？

[jtTATannn]

将offset和confidence评估不符合的数据从数据集移除？

是的，将offset和confidence评估不符合的数据从数据集移除

兄弟，我有个新的疑惑想向你确认一下，offset据作者说[-1,1]是最合适的，那么confidence呢。应该怎么判断是否符合，大于3？ #93

作者说的是 [6,9]，我用的是 >= 5

太郎兄你好，我已经参考evaluation/scores_LSE/calculate_scores_LRS.py，将不满足offset[-1, 1], confidence[6, 9]得数据进行了移除，几乎去掉了lrs2中1/3的数据，但是我的鉴别器损失还是卡在0.69附近，你对此有什么经验或建议吗

问题解决了吗，我也遇到同样的问题了，请教一下解决方案

[linqiu0-0]

你好，我用整个LRS2 dataset和这个 repo 是能train出来结果的，你可以试试能不能用这个train？