Closed shilida closed 3 years ago
GPU使用率为0%
麻烦提供一下运行命令
python pretrain.py --dataset_path corpora/dataset.pt --vocab_path model/robert/vocab.txt --config_path model/robert/bert-base-chinese/config.json --pretrained_model_path model/robert/bert-base-chinese/pytorch_model_uer.bin --output_model_path model/robert/bert-base-chinese/pytorch_model_law.bin --world_size 2 --gpu_ranks 0 1 --total_steps 5000 --save_checkpoint_steps 1000 --batch_size 32 --embedding word_pos_seg --encoder transformer --target bert
preprocess的命令可以提供下吗 以及您使用的语料是bert格式吗
--corpus_path corpora/law_bert.txt --vocab_path robert/vocab.txt --dataset_path corpora/dataset.pt --processes_num 8 --target bert
law_bert形式:一句一行
一句一行的话用mlm任务,bert任务需要bert格式的语料,可以参考corpora里的例子*_bert.txt
我是按照这个形式生成的,bert格式的语料是什么形式呢?我刚接触这个领域,谢谢大佬!!!
可以参考corpora/CLUECorpusSmall_5000_lines_bert.txt这个文件
txt文件格式的问题,已解决,谢谢!
一直在这个页面.... Using distributed mode for training. Worker 0 is training ... Worker 1 is training ...