Open xinghudamowang opened 11 months ago
CUDA_VISIBLE_DEVICES=1,2,3,5 python3 pretrain.py --dataset_path dataset.pt \ --vocab_path models/google_zh_vocab.txt \ --config_path models/bert/base_config.json \ --output_model_path models/output_model.bin \ --world_size 4 --gpu_ranks 0 1 2 3 \ --data_processor bert \ --embedding word pos seg \ --encoder transformer --mask fully_visible \ --target mlm sp data_processor 的选项是lm，没有指定target的选项，看代码target的选项是mlm 这似乎和示例给出的预期不太一样
CUDA_VISIBLE_DEVICES=1,2,3,5 python3 pretrain.py --dataset_path dataset.pt \ --vocab_path models/google_zh_vocab.txt \ --config_path models/bert/base_config.json \ --output_model_path models/output_model.bin \ --world_size 4 --gpu_ranks 0 1 2 3 \ --data_processor bert \ --embedding word pos seg \ --encoder transformer --mask fully_visible \ --target mlm sp data_processor 的选项是lm，没有指定target的选项，看代码target的选项是mlm 这似乎和示例给出的预期不太一样