HIT-SCIR / plm-nlp-code

Apache License 2.0
626 stars 195 forks source link

我收集的勘误 updating #24

Open ji90po opened 1 year ago

ji90po commented 1 year ago

4.2.2 一行代码 outputs_pool2 = pool1(outputs2) , pool1 改为pool2 也许git clone 的代码是对的 , 只是印刷错误 我没有核实

4.5.1 公式没有完全体现 伯努利 “更本质地讲,交叉熵损失函数公式右侧是对多类输出结果的分布(伯努利分布)求极大似然中的对数似然函数(Log-Likelihood)。” image 在y(i)j = 0 的时候 应该是 - (1- y(i)j ) log (1 - y^(i)j ) 作者只写了一半(y=1的部分) 上下文结论是对的

4.5.2 原句“ log_probs = F.log_softmax(outputs ,dim=1) #取对数的目的是避免softmax溢出”
其实 取对数还有一个目的 是因为 后面的代码的 nn.NLLLoss 没有log运算 (默认 NLLLoss只执行 ‘乘 -1’ 和 ‘相乘’ 的操作)