IPSJ-2016-単語分かち書き用辞書生成システム NEologd の運用 – 文書分類を例にして

Summary:

mecab-ipadic-NEologd 字典的论文

Resource:

Paper information:

Notes:

2.1 4 つ組を収集する際のガイドライン

2.1.1 全ての新語と未知語が収集対象ではない：根据新语使用的频度，使用新语的用户数量，新语出现的季节等因素来判断是否添加到词库里。流行语也会被添加，一些人类判断为有用的新语也会手动添加
2.1.2 おもに形態素より文字列長が長い単語を収集する：选取的新语尽量比POS span的文字列要长。
2.1.3 4 つ組の要素の欠損を認めない：上面四个元素缺一不可。如果缺损，则不加入到词库中
2.1.4 同じ表層のエントリが複数存在して良い：四个元素中如果有一个不同，那么就添加两个entry。比如A和B的surface form一样，但是POS一个是组织，一个是地名，那么就两个都添加。
2.1.5 より頻出かつ正式な表記を原型にする：原型使用常用的form，比如「東京工業大学」的使用频率更高，那么就不用虽然正式但是使用频率少的「国立大学法人東京工業大学」

Xu：上面的2.1.2和2.1.4可以参考应用

3.4.1 例 1. 住所文字列

日本郵便の郵便番号データ这个数据集每个月的月末会进行更新，然后根据各个时间点，生成4个list。

4.1 単語分かち書き用辞書 mecab-ipadic-NEologd

这里介绍了mecab-ipadic-NEologd与其他几个词库的比较，还有不同工具的比较： MeCab （ mecabipadic-NEologd と IPADIC と UniDic）， KyTea 0.4.7[8]，Juman++ 1.01[9]。

4.4 mecab-ipadic-NEologd の更新作業

每周更新2次。

把sec 4.1制作的mecab-ipadic-NEologd 进行评价。

这部分在论文里要加，只不过论文里的内容不需要参考。因为它用的数据集并没有把组织单独列出来。

Model Graph:

Result:：

Thoughts:

Next Reading:

BrambleXu / knowledge-graph-learning