search

Ma-Dan / XLNet-ChineseNER

Tensorflow solution of NER task Using BiLSTM-CRF model with CMU/Google XLNet
45 stars 6 forks source link

xlnet_data_utils.py文件中的pad_data(self, data)这个函数有点问题 #3

Open tianer1986 opened 5 years ago

tianer1986 commented 5 years ago

pad_data(self, data)函数中的if (len(tag_ids) == len(inputs_ids) == len(segment_ids) == len(input_mask)):这个if条件会把train或者dev的数据过滤掉很多（大概三分一），不知道是不是应该把max_length = max([len(i[2]) for i in c_data]) 中的2改为1