rkcosmos / deepcut

A Thai word tokenization library using Deep Neural Network
MIT License
420 stars 96 forks source link

custom_dict parameter didn't work on custom dictionary? #41

Closed nawaphonOHM closed 6 years ago

nawaphonOHM commented 6 years ago

I have created custom dictionary text-file named "test.txt" and placed test.txt's directory as a parameter of custom_dict. The result didn't work whereas the function returned a result same as custom_dict default value instead. How can I fix it? It should work as ['วิชา', 'การเขียนโปรแกรม', 'มี', 'ใคร', 'สอน', 'บ้าง']

image

image

image

image

titipata commented 6 years ago

This works for me:

deepcut.tokenize('วิชาการเขียนโปรแกรมมีใครสอนบ้าง', custom_dict=['วิชา', 'การเขียนโปรแกรม'])
>> ['วิชา', 'การเขียนโปรแกรม', 'มี', 'ใคร', 'สอน', 'บ้าง']

You put การเขียนโปรแกรมคอมพิวเตอร์ in a custom_dict.txt which does not exist in a given text.