search

taishan1994 / pytorch_triple_extraction

基于pytorch的中文三元组提取（命名实体识别+关系抽取）
330 stars 41 forks source link

训练集的padding问题 #28

Open stark916 opened 1 year ago

stark916 commented 1 year ago

麻烦作者了，我在训练的时候，step到310的时候，调用utils.py里面的sequence_padding()函数时，为什么input是空列表，求解答 5EED(9 OB125L%@5$NA{K07

taishan1994 commented 1 year ago

麻烦作者了，我在训练的时候，step到310的时候，调用utils.py里面的sequence_padding()函数时，为什么input是空列表，求解答 5EED(9 OB125L%@5$NA{K07

可能是数据的问题，你可以打印一下那条原始的文本是什么。

stark916 commented 1 year ago

好的，谢谢

1205170013 commented 1 year ago

我也是同样的问题，请问是怎么解决的呀

taishan1994 commented 1 year ago

我也是同样的问题，请问是怎么解决的呀

更新一下代码看看。

stark916 commented 1 year ago

我也是同样的问题，请问是怎么解决的呀

更新下代号 0LGTAXA )WG 6B$_2%GSXA4 这里报错了

taishan1994 commented 1 year ago

我也是同样的问题，请问是怎么解决的呀 这里报错了

改了下。

1205170013 commented 1 year ago

ValueError: Wrong shape for input_ids (shape torch.Size([0])) or attention_mask (shape torch.Size([0])) 老哥现在这个错误，格式好像不匹配 运行main文件的时候发生的

taishan1994 commented 1 year ago

ValueError: Wrong shape for input_ids (shape torch.Size([0])) or attention_mask (shape torch.Size([0])) 老哥现在这个错误，格式好像不匹配 运行main文件的时候发生的

具体错误贴出来看看，我运行了下应该没问题。

stark916 commented 1 year ago

ValueError: Wrong shape for input_ids (shape torch.Size([0])) or attention_mask (shape torch.Size([0])) 老哥现在这个错误，格式好像不匹配 运行main文件的时候发生的

具体错误贴出来看看，我运行了下应该没问题。

}_ UXLIX0UZI@~ QED$WZNQ 更新了下代码，却出现这个错误了

taishan1994 commented 1 year ago

ValueError: Wrong shape for input_ids (shape torch.Size([0])) or attention_mask (shape torch.Size([0])) 老哥现在这个错误，格式好像不匹配 运行main文件的时候发生的

具体错误贴出来看看，我运行了下应该没问题。

更新了下代码，却出现这个错误了

打印下models.py里面seq_out的形状是什么。

print(seq_out.shape)
1205170013 commented 1 year ago

具体错误贴出来看看，我运行了下应该没问题。

76@YNDK$UHFL MFNGC{OQ42 大概是这样的，前面几条数据没有问题，然后中间就有这个了

stark916 commented 1 year ago 
print(seq_out.shape)

seq_out的形状torch.Size([1, 512, 768])

1205170013 commented 1 year ago 
print(seq_out.shape)

seq_out的形状torch.Size([1, 512, 768])

ZIS6F8K@($)DZOM%{L`OO M 对，打印models.py里面seq_ou的形状也是这个

taishan1994 commented 1 year ago

都重新拉下最新的代码，然后按照我给的总结里面的步骤看看。我这边都能够完整的运行。

stark916 commented 1 year ago

好的

1205170013 commented 1 year ago

好，我重拉一下试一下

stark916 commented 1 year ago

好，我重拉一下试一下

你解决了吗

1205170013 commented 1 year ago

好，我重拉一下试一下

你解决了吗

没有，还是形状不对

1205170013 commented 1 year ago

都重新拉下最新的代码，然后按照我给的总结里面的步骤看看。我这边都能够完整的运行。

老哥，能麻烦您提供一下pytorch_triple_extraction-main/bert_re/checkpoints/best.pt这个文件嘛，我想先试试融合预测，回头来再看一下问题在哪

taishan1994 commented 1 year ago

都重新拉下最新的代码，然后按照我给的总结里面的步骤看看。我这边都能够完整的运行。

老哥，能麻烦您提供一下pytorch_triple_extraction-main/bert_re/checkpoints/best.pt这个文件嘛，我想先试试融合预测，回头来再看一下问题在哪

在谷歌网盘里，等我有时间把它弄下来。

1205170013 commented 1 year ago

都重新拉下最新的代码，然后按照我给的总结里面的步骤看看。我这边都能够完整的运行。

老哥，能麻烦您提供一下pytorch_triple_extraction-main/bert_re/checkpoints/best.pt这个文件嘛，我想先试试融合预测，回头来再看一下问题在哪

在谷歌网盘里，等我有时间把它弄下来。

好的，麻烦老哥了

taishan1994 commented 1 year ago

老哥，能麻烦您提供一下pytorch_triple_extraction-main/bert_re/checkpoints/best.pt这个文件嘛，我想先试试融合预测，回头来再看一下问题在哪

https://cowtransfer.com/s/6d3d721a01c24e 点击链接查看 [ best.pt ] ，或访问奶牛快传 cowtransfer.com 输入传输口令 alj6y5 查看；

只训练了一个epoch，可能效果不太好。

1205170013 commented 1 year ago

老哥，能麻烦您提供一下pytorch_triple_extraction-main/bert_re/checkpoints/best.pt这个文件嘛，我想先试试融合预测，回头来再看一下问题在哪

https://cowtransfer.com/s/6d3d721a01c24e 点击链接查看 [ best.pt ] ，或访问奶牛快传 cowtransfer.com 输入传输口令 alj6y5 查看；

只训练了一个epoch，可能效果不太好。

好的，我先试试看

1205170013 commented 1 year ago

谢谢老哥，我能再要一份这个嘛 ./bert_bilstm_crf_ner/checkpoints/bert_crf/model.pt 我想先融合预测一下

taishan1994 commented 1 year ago

谢谢老哥，我能再要一份这个嘛 ./bert_bilstm_crf_ner/checkpoints/bert_crf/model.pt 我想先融合预测一下

bert_crf训练的。 https://share.multcloud.link/share/c64ced1a-a4cd-44cb-875e-350f11a075a8

stark916 commented 1 year ago

谢谢老哥，我能再要一份这个嘛 ./bert_bilstm_crf_ner/checkpoints/bert_crf/model.pt 我想先融合预测一下

我应该是发现前面那个问题了，dataloader在过滤超过文本最大长度的那里有bug，你可以试试自己写一个函数处理一下train.txt这个文件，把里面ids超过510的过滤掉，再去训练就不会报错了。