训练时loss模块的错误

[RyanYip-Kat]

你好！当我执行 python main.py --chinese_dataset atec_ccks --model_name_or_path /path/huggingface-models/chinese-roberta-wwm-ext --seed 7777 --num_epochs 5 --model_save_path ./models/ --tensorboard_log_dir ./logs/ --adv_training 去训练的时候，就有遇到loss 模块的错误： 不知道你能不能帮忙出路这个问题呢？谢谢

[yym6472]

你好，无监督设置下使用对比损失训练atec_ccks模型的命令如下：

python3 main.py --no_pair --seed 1 --use_apex_amp --apex_amp_opt_level O1 --batch_size 96 --max_seq_length 64 --evaluation_steps 20 --add_cl --cl_loss_only --cl_rate 0.15 --temperature 0.1 --learning_rate 0.0000005 --chinese_dataset atec_ccks --num_epochs 10 --da_final_1 feature_cutoff --da_final_2 shuffle --cutoff_rate_final_1 0.2 --model_name_or_path ./chinese-roberta-wwm-ext --model_save_path ./output/unsup-consert-base-atec_ccks --force_del --patience 10

如果你希望有监督设置下，使用训练集的标签的话，需要更改data_utils.py中的load_chinese_tsv_data函数，将其中if split == "train":的分支删除掉（这个分支的代码保证了训练集数据以无监督文本的形式构成训练集）。