smoothnlp / SmoothNLP

专注于可解释的NLP技术 An NLP Toolset With A Focus on Explainable Inference
GNU General Public License v3.0
624 stars 112 forks source link

新词发现 #54

Open xwemin opened 4 years ago

xwemin commented 4 years ago

计算pmi的时候,P('电影院')/(P('电')P('影')P('院')),为什么不是 P('电影院')/max(P('电影')P('院'),P('电')P('影院'))。后者的话可以不用最后处理首字和尾字的高频字符了

victorzhrn commented 4 years ago

这是一个好主意, 感觉可以试一试