在globalpointer_active_learning.py里，为什么MNLP_confidence = LC_score * 512 / text_len呢？

[sdx9078]

这段实在没看明白， 求解答

[hgliyuhao]

Maximum Normalized Log-Probality（MNLP），基于 LC 并且考虑到生成中的序列长度对于不确定性的影响，我们做一个 normalization（即除以每个句子的长度） 在实验的过程中发现，句子长度越大，不确定度越大，为了让MNLP只对实体敏感，降低句子长度造成的影响，每个分数都除以每个句子的长度 512可以看成一个常数

[sdx9078]

但是我看MNLP的定义里，是要进行一个log运算的哎，直接除以每个句子的长度是不是和MNLP定义有点区别。。。

[hgliyuhao]

是的 论文里是每一个点概率输出的 log 值求和来，我理解log是一个单调递增，所以这个数值不管怎么变换都应该表征句子不确定度的大小，我记得当初实验的时候求log求和以后每个值都很小看起来不太直观，就按照我的观感进行了修改

[hgliyuhao]

我又看了一下代码 149行 LC_score = (1 - np.abs(np.prod(scores, axis=2))).sum()

[sdx9078]

也就是说，现在的LC_score也用了log运算吗，但是论文原文中LC的式子里好像没涉及到log运算哎？而且如果是log运算的话不是要用到np.log吗？

[hgliyuhao]

ooo my bad ! 没有用到。 这个还是我自己按照理解实现的版本

[sdx9078]

hh感谢您的回复。请问您有与这个代码相关的论文吗？我看您提出的entry_MNLP_confidence思想很合理，如果有相关论文的话我想去拜读一下

[hgliyuhao]

这个是实践时候发现的 后面就没太关注这方面了 Subsequence Based Deep Active Learning for Named Entity Recognition 2021 你可以看看这个 也是在原论文基础上的改进 感觉这个方法还有蛮大的改进空间

[sdx9078]

好的，非常感谢您的指点！