Closed dr-GitHub-account closed 2 years ago
将 opts.py 和 base_config.json 中的 max_seq_length 以及 seq_length 都设为了512,但打印 class BertTrainer 中 src, tgt_mlm, tgt_sp, seg = batch 得到的 src, tgt_mlm, tgt_sp, seg 序列长度都是128。想请教一下是什么原因?是参数哪里没改到位吗?还是 Dataloader 有相关设定?
src, tgt_mlm, tgt_sp, seg = batch
自问自答一下。看了一下Dataloader部分,发现从数据预处理开始序列长度就只有128。原来是数据预处理脚本中本来就有相应的参数,需要重新生成一个序列长度为512的.pt文件。
将 opts.py 和 base_config.json 中的 max_seq_length 以及 seq_length 都设为了512,但打印 class BertTrainer 中
src, tgt_mlm, tgt_sp, seg = batch
得到的 src, tgt_mlm, tgt_sp, seg 序列长度都是128。想请教一下是什么原因?是参数哪里没改到位吗?还是 Dataloader 有相关设定?