search

crownpku / Rasa_NLU_Chi

Turn Chinese natural language into structured data 中文自然语言理解
Apache License 2.0
1.51k stars 422 forks source link

能否添加look up table 在中文下的应用 #90

Open yijinsheng opened 5 years ago

pengyou200902 commented 5 years ago

这应该是自己在rasa的训练文件里面指定的吧，rasa官网有教程

pengyou200902 commented 5 years ago

今天自己试了下，lookup table没起作用，还在找原因中，不知 @sdu-2044 有没有找到办法

rxy1212 commented 4 years ago

确实我在 docker 里面运行 rasa lookup table 也不起作用

yijinsheng commented 4 years ago

@rxy1212 @pengyou200902抱歉，刚看到 ，仔细阅读源码，regex_featurizer.py里面有这么一行代码 regex_string = "(?i)(\b" + "\b|\b".join(elements_sanitized) + "\b)"，意思是说把lookup里面的所有词组成一个正则。但是rasa官方在正则里面加了\b，这是一个字符边界符号。我们知道英文中单词之间是用空格分开的，那么中文呢，显然没有。两位去掉之后再试试。

yangjianxin1 commented 4 years ago

今天试了一下加入lookup table，好像确实没有作用，请问有什么解决方法吗

yangjianxin1 commented 4 years ago

@sdu-2044 你好，请问一下你说的那个方法可行吗

yijinsheng commented 4 years ago

@yangjianxin1 我试过，可以

yangjianxin1 commented 4 years ago

@sdu-2044 我对特定领域的实体构造了字典树，识别效率挺好的，感觉可以不用lookup table