search

jiesutd / LatticeLSTM

Chinese NER using Lattice LSTM. Code for ACL 2018 paper.
1.79k stars 457 forks source link

嵌入词的权重 #134

Closed hrshy0629 closed 2 years ago

hrshy0629 commented 2 years ago

我在论文中看到嵌入词作为一个嵌入词（南京市）作为一个静态词，公式13中，也给这个静态词分配了一个权重，这个权重是依赖句子中“南”这个词存在的吗？因为这个句子中，嵌入的位置可能是随机的，也就是说“南京市”匹配的那部分权重并不是每次都起作用的？那么如何保证能够激活“南京市”这个静态词，或者说如何使用“南京市”对应的权重？这个权重可以直接放弃吗？反向传播的时候，如何更新这个权重？

jiesutd commented 2 years ago

权重都是根据上下文自动算的，会根据“南京市”的embeddings 还有“南”字的hidden vector (forward LSTM中).

hrshy0629 commented 2 years ago

有一个重要的地方我想不通，就是第一次在句子1中计算“南京市”的权重和后面句子2中计算“南京市”的权重，这两个权重应该是不一样的吧？还是说都是一样的？如果是一样的，那“南京市”对应的权重应该是在整个样本空间中进行更新的？这样的话，它是如何来匹配这个权重呢，考虑到“南京市”在不同句子中的位置不同，这块让我很困扰。另外在跑模型之前，是否对每个词都要分配一个权重？然后全局进行维护更新？

jiesutd commented 2 years ago

权重都是根据上下文自动算

hrshy0629 commented 2 years ago

好吧，老哥。您有没有考虑多嵌入节点的情况？

jiesutd commented 2 years ago

你可能需要仔细阅读一下我们的论文：1）权重是根据上下文动态计算；2）多节点嵌入后对权重进行归一化处理。

hrshy0629 commented 2 years ago

不好意思，老哥，是我没说清楚。我的意思说，这种嵌入的方法，能不能在同一条嵌入的边上引入多个节点。比如嵌入的边为——“南京”——“市长”——，这样嵌入了2个节点，这样更新的话，是否也和lattice更新一致呢？

------------------ 原始邮件 ------------------ 发件人: "jiesutd/LatticeLSTM" @.>; 发送时间: 2022年3月28日(星期一) 下午3:00 @.>; @.**@.>; 主题: Re: [jiesutd/LatticeLSTM] 嵌入词的权重 (Issue #134)

Closed #134.

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>