英语单词的词形还原（Lemmatization）

[chen3feng]

英语单词的词形还原（Lemmatization）

定义

把单词的各种时态人称单复数的变形转为原形，比如：

• 动词原型 calls, called, calling -> call
• 名词单数 cats -> cat
• 比较级和最高级 hardest -> hard

可用的库：

pyhton:

• 自然语言工具包nltk，Lemma部分的文档
• pattern 库
• MorTransformation，一个很简单的实现

Javascript:

• JavaScript Lemmatizer

用途

提高生词发现的准确度，比如在单词发现者中，生词识别和基于白名单的去除不太准确，如果支持 Lemmatization，就会好很多。

参考资料

• 词干提取 – Stemming | 词形还原 – Lemmatisation
• NLP入门（三）词形还原（Lemmatization）
• 词形还原工具对比

[yoyoLooming]

谢谢, helpful!