多显卡情况下，微调训练不生效

[SkyWalkerFrom2018]

• 环境： Window10+6张RTX3060，显卡已经安装了必需的cuda驱动库
• 整合包版本：beta0217
• 现象描述：显卡可以正常识别，除微调的两个模型训练外，其它的操作均正常，包括推理部分也可以正常调用显卡。 但在微调训练时，

  "B:\GPT-SoVITS-beta0217\runtime\python.exe" GPT_SoVITS/s2_train.py --config "B:\GPT-SoVITS-beta0217\TEMP/tmp_s2.json"
  INFO:sc:{'train': {'log_interval': 100, 'eval_interval': 500, 'seed': 1234, 'epochs': 8, 'learning_rate': 0.0001, 'betas': [0.8, 0.99], 'eps': 1e-09, 'batch_size': 6, 'fp16_run': True, 'lr_decay': 0.999875, 'segment_size': 20480, 'init_lr_ratio': 1, 'warmup_epochs': 0, 'c_mel': 45, 'c_kl': 1.0, 'text_low_lr_rate': 0.4, 'pretrained_s2G': 'GPT_SoVITS/pretrained_models/s2G488k.pth', 'pretrained_s2D': 'GPT_SoVITS/pretrained_models/s2D488k.pth', 'if_save_latest': True, 'if_save_every_weights': True, 'save_every_epoch': 4, 'gpu_numbers': '0-1-2-3-4-5'}, 'data': {'max_wav_value': 32768.0, 'sampling_rate': 32000, 'filter_length': 2048, 'hop_length': 640, 'win_length': 2048, 'n_mel_channels': 128, 'mel_fmin': 0.0, 'mel_fmax': None, 'add_blank': True, 'n_speakers': 300, 'cleaned_text': True, 'exp_dir': 'logs/sc'}, 'model': {'inter_channels': 192, 'hidden_channels': 192, 'filter_channels': 768, 'n_heads': 2, 'n_layers': 6, 'kernel_size': 3, 'p_dropout': 0.1, 'resblock': '1', 'resblock_kernel_sizes': [3, 7, 11], 'resblock_dilation_sizes': [[1, 3, 5], [1, 3, 5], [1, 3, 5]], 'upsample_rates': [10, 8, 2, 2, 2], 'upsample_initial_channel': 512, 'upsample_kernel_sizes': [16, 16, 8, 2, 2], 'n_layers_q': 3, 'use_spectral_norm': False, 'gin_channels': 512, 'semantic_frame_rate': '25hz', 'freeze_quantizer': True}, 's2_ckpt_dir': 'logs/sc', 'content_module': 'cnhubert', 'save_weight_dir': 'SoVITS_weights', 'name': 'sc', 'pretrain': None, 'resume_step': None}

  命令启动后，不再继续执行，也没有任何报错信息可供后续的定位。

[SkyWalkerFrom2018]

经过再详细的定位，发现卡在下面的代码中：初始化分布式进程组 dist.init_process_group( backend = backend, init_method="env://", world_size=n_gpus, rank=rank, ) 其中backend='gloo' n_gpus=1, rank = 0 我是在测试时，只指定了一个GPU来测试的。目前依然会在这个函数执行时卡住。

[RVC-Boss]

手里没有 多卡win系统 的机器，未来有机会我来测下（）

[SkyWalkerFrom2018]

谢谢，我这边卡到的那个函数也已经定位到了，确实是比较奇怪的现象。我有空重新搭建个双卡环境再测试一下。 我这边是渲染农场，在尝试一些与AI相关的新业务，以期可以充分利用我们的算力。如果有新的可以合作的项目，也请联系我。

On Wed, Mar 6, 2024 at 11:17 PM RVC-Boss @.***> wrote:

手里没有 多卡win系统 的机器，未来有机会我来测下（）

— Reply to this email directly, view it on GitHub https://github.com/RVC-Boss/GPT-SoVITS/issues/661#issuecomment-1981106836, or unsubscribe https://github.com/notifications/unsubscribe-auth/AKCHNIOVHRQYVRMF7VG6VALYW4XRVAVCNFSM6AAAAABEENGDOCVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTSOBRGEYDMOBTGY . You are receiving this because you authored the thread.Message ID: @.***>

--

在正确的时间以正确的方式做正确的事情．

                                               祥子