Sentence merging still an issue

nytud / quntoken

Hungarian tokenizer.

https://pypi.org/project/quntoken/

GNU General Public License v3.0

14 stars 5 forks source link

Sentence merging still an issue #23

Open DavidNemeskey opened 7 years ago

DavidNemeskey commented 7 years ago

Ali kalifa/Ali ibn Abi Tálib (Mekka, 599. július 29. - Kúfa, 661. január 24.) volt az iszlám negyedik, a „helyesen vezetettek” közé tartozó kalifája (uralkodott 656. június 17-étől haláláig).

There are three errors in the output:

<w>kalifa/Ali</w> remains a single token
a </s> is inserted after július 29.
24.) remains a single token instead of <w>24</w><c>.</c><c>)</c> (or sth like that)

@gaebor Thanks for spotting this.

mittelholcz commented 7 years ago

To "kalifa/Ali": Most of all \w+/\w+ strings listed from the hungarian webcorpus are URLs, abbreviations (e.g. TCP/IP) or measurement units (e.g. km/h), see webcorpus_-_top100_words_with_slash.txt, which should be treated as one token.