注意力机制问题

[Liubiao8023]

您好，我想问一下 加入注意机制的地方 lstmfeats, = self.attention(lstm_feats,idcnn_out) 其中的idcnn_out是干嘛用的 可以都用lstm_feats吗

[PeiChangY]

您好，idcnn_out是idcnn的输出，这里是融合了LSTM的输出和IDCNN的输出，可以都用lstm_feats，不过结果就是自注意力机制

[Liubiao8023]

好的，谢谢大佬。

[Liubiao8023]

大佬，用到注意力机制是不是打开下面的四行就行

[PeiChangY]

打开self.attention这一行，第二行和第三行为向量拼接方式，第四行为向量相加，更多可以参考我们发在知网上的论文《基于门控空洞卷积特征融合的中文命名实体识别》

[Liubiao8023]

ok，谢谢大佬

[Liubiao8023]

大佬为什么换成，注意力机制以后这些数据变为0了，

[PeiChangY]

开始有可能是会这样，多跑几轮试试

[Liubiao8023]

好的，谢谢大佬。 麻烦您了。

[we197064]

大佬，请问这个问题应该怎么解决呢？ AttributeError: 'tuple' object has no attribute 'dim'

[cutecharmingkid]

作者您好，可以留一个邮箱有偿咨询一下这个项目的问题吗？

[PeiChangY]

你好，我查看了下代码是没用问题的，我这里可以运行，我之前没遇到过这个问题，请问你用的是哪个数据集呢

------------------ 原始邮件 ------------------ 发件人: "PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-" @.>; 发送时间: 2023年3月13日(星期一) 晚上7:35 @.>; @.**@.>; 主题: Re: [PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-] 注意力机制问题 (Issue #1)

大佬，请问这个问题应该怎么解决呢？ AttributeError: 'tuple' object has no attribute 'dim'

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

[PeiChangY]

你好，这里可以免费咨询，不用付费，我看到了会尽可能解答

------------------ 原始邮件 ------------------ 发件人: "PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-" @.>; 发送时间: 2023年3月14日(星期二) 晚上6:00 @.>; @.**@.>; 主题: Re: [PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-] 注意力机制问题 (Issue #1)

作者您好，可以留一个邮箱有偿咨询一下这个项目的问题吗？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

[cutecharmingkid]

您好，我是一名在读的大学生，我的代码调试能力比较弱，所以可能会有一些低级的问题麻烦您。我对占据您宝贵的时间非常抱歉，如果您愿意的会，我希望向您支付一定的咨询费用。 您好，我安装了torchcrf后依然显示：ModuleNotFoundError: No module named 'torchcrf'

星辰大海 @.***

 

------------------ 原始邮件 ------------------ 发件人: "PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-" @.>; 发送时间: 2023年3月14日(星期二) 晚上6:11 @.>; @.**@.>; 主题: Re: [PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-] 注意力机制问题 (Issue #1)

你好，这里可以免费咨询，不用付费，我看到了会尽可能解答

------------------ 原始邮件 ------------------ 发件人: "PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-" @.>; 发送时间: 2023年3月14日(星期二) 晚上6:00 @.>; @.**@.>; 主题: Re: [PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-] 注意力机制问题 (Issue #1)

作者您好，可以留一个邮箱有偿咨询一下这个项目的问题吗？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>

[PeiChangY]

请确定您安装的版本是否为pytorch-crf 0.7.2   在import 那里使用TorchCRF试试，首字母为大写

------------------ 原始邮件 ------------------ 发件人: "PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-" @.>; 发送时间: 2023年3月14日(星期二) 晚上6:32 @.>; @.**@.>; 主题: Re: [PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-] 注意力机制问题 (Issue #1)

您好，我是一名在读的大学生，我的代码调试能力比较弱，所以可能会有一些低级的问题麻烦您。我对占据您宝贵的时间非常抱歉，如果您愿意的会，我希望向您支付一定的咨询费用。 您好，我安装了torchcrf后依然显示：ModuleNotFoundError: No module named 'torchcrf'

星辰大海 @.***

 

------------------ 原始邮件 ------------------ 发件人: "PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-" @.>; 发送时间: 2023年3月14日(星期二) 晚上6:11 @.>; @.**@.>; 主题: Re: [PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-] 注意力机制问题 (Issue #1)

你好，这里可以免费咨询，不用付费，我看到了会尽可能解答

------------------ 原始邮件 ------------------
发件人: "PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-" @.>;
发送时间: 2023年3月14日(星期二) 晚上6:00
@.>;
@.**@.>;
主题: Re: [PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-] 注意力机制问题 (Issue #1)

作者您好，可以留一个邮箱有偿咨询一下这个项目的问题吗？

—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you commented.Message ID: @.>
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

[cutecharmingkid]

非常感谢您的回答，上一个问题已经解决。 但是我遇到了一个新的问题，我在单独运行BERT_BiLSTM_CRF.py时不会报错，但运行main时显示

请问您知道这个错误该如何解决吗？

星辰大海 @.***

 

------------------ 原始邮件 ------------------ 发件人: "PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-" @.>; 发送时间: 2023年3月14日(星期二) 晚上6:38 @.>; @.**@.>; 主题: Re: [PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-] 注意力机制问题 (Issue #1)

请确定您安装的版本是否为pytorch-crf 0.7.2   在import 那里使用TorchCRF试试，首字母为大写

------------------ 原始邮件 ------------------ 发件人: "PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-" @.>; 发送时间: 2023年3月14日(星期二) 晚上6:32 @.>; @.**@.>; 主题: Re: [PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-] 注意力机制问题 (Issue #1)

您好，我是一名在读的大学生，我的代码调试能力比较弱，所以可能会有一些低级的问题麻烦您。我对占据您宝贵的时间非常抱歉，如果您愿意的会，我希望向您支付一定的咨询费用。
您好，我安装了torchcrf后依然显示：ModuleNotFoundError: No module named 'torchcrf'

星辰大海
@.***

 

------------------ 原始邮件 ------------------
发件人: "PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-" @.>;
发送时间: 2023年3月14日(星期二) 晚上6:11
@.>;
@.**@.>;
主题: Re: [PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-] 注意力机制问题 (Issue #1)

你好，这里可以免费咨询，不用付费，我看到了会尽可能解答

------------------ 原始邮件 ------------------
发件人: "PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-" @.>;
发送时间: 2023年3月14日(星期二) 晚上6:00
@.>;
@.**@.>;
主题: Re: [PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-] 注意力机制问题 (Issue #1)

作者您好，可以留一个邮箱有偿咨询一下这个项目的问题吗？

—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you commented.Message ID: @.>
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you commented.Message ID: @.>
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>

[PeiChangY]

运行程序是跑main.py 请问会显示什么问题

[cutecharmingkid]

您好，刚刚提示无法引用同一文件夹下的目录，现在已经解决了，非常感谢您的帮助！

[we197064]

大佬，我在不做任何改动的问题下，会出现AttributeError: 'tuple' object has no attribute 'last_hidden_state'这个问题。请问这是什么问题，非常感谢您的回复。

[cutecharmingkid]

出现这种情况应该是pytorch版本的问题，你的pytorch版本太高了。建议你把.last_hidden_state换成[0] 就可以了

[we197064]

出现这种情况应该是pytorch版本的问题，你的pytorch版本太高了。建议你把.last_hidden_state换成[0] 就可以了

大佬666，解决了，感谢感谢

[cutecharmingkid]

您在训练完一轮以后有遇到这种情况吗？

[PeiChangY]

你是运行了predict吗，这报错是说路径里没有这个文件

------------------ 原始邮件 ------------------ 发件人: "PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-" @.>; 发送时间: 2023年3月14日(星期二) 晚上8:41 @.>; @.**@.>; 主题: Re: [PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-] 注意力机制问题 (Issue #1)

您在训练完一轮以后有遇到这种情况吗？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

[cutecharmingkid]

没有，我只运行了main程序

[PeiChangY]

那就应该是没有这个路径   你添加一个这个路径文件夹

------------------ 原始邮件 ------------------ 发件人: "PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-" @.>; 发送时间: 2023年3月14日(星期二) 晚上8:54 @.>; @.**@.>; 主题: Re: [PeiChangY/-BERT-BILSTM-DGCNN-ATTENTION-CRF-] 注意力机制问题 (Issue #1)

没有，我只运行了main程序

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

[cutecharmingkid]

您好，我训练一轮以后正确率就85%+了，但使用训练一轮得到的模型做预测，无法预测出任何实体。 运行predict程序时伴有warning：UserWarning: where received a uint8 condition tensor. This behavior is deprecated and will be removed in a future version of PyTorch. Use a boolean condition instead. (Triggered internally at ..\aten\src\ATen\native\TensorCompare.cpp:328.) score = torch.where(mask[i].unsqueeze(1), next_score, score) 请问这种情况正常吗？

[cutecharmingkid]

出现这种情况应该是pytorch版本的问题，你的pytorch版本太高了。建议你把.last_hidden_state换成[0] 就可以了

大佬666，解决了，感谢感谢

您的训练效果怎么样？可以识别出实体吗？

[cutecharmingkid]

作者您好，我想问一下，你使用这个训练好的模型去做预测的时候，预测产出的标签会不会不符合bio的标准?我今天下午做预测的时候发现有好几个实体直接是i开头的，不是b开头的。就比如说我预测一句话，北京是中国的首都。正常来说，北应该是B－LOC,但是结果预测成了I－LOC。我看模型里面有CRF层，应该是避免了这个问题的，但是实际上还是出现了标签预测不规范的问题

[ocean-161]

第一种：lstmfeats,= self.attention(lstm_feats,lstm_feats) 第二种：lstmfeats,= self.attention(lstm_feats,idcnn_out) 打开注意力机制以后，发现损失比没打开之前要高，准确率好像是比之前好了，想问作者是什么原因？

[ocean-161]

作者您好，在BERT_BILSTM_CRF.py文件中，注释里面bilstm/idcnn、idcnn-bilstm、bilstm-idcnn这三种注释的含义是什么意思？