verbesserte Tokenisierung der Eintragstexte

neradis / index-vivus

student project to present lexical knowledge from XML-transcriptions of dictionaries in an interactive web interface for easier lookup and explorative search

0 stars 0 forks source link

verbesserte Tokenisierung der Eintragstexte #26

Open neradis opened 10 years ago

neradis commented 10 years ago

Heuristik für Segmentierung in Wortformen und Filterung von Nicht-Worten derzeit zu strikt und unflexibel
-> neben \s+ müssen weitere Zeichen als Trenner zwischen Token zugelassen werden, bspw. , . ; -, aber auch weniger vorhersehbare spezielle UniCode-Zeichen wie 'en-dash' (–, bzw. –) -> es müssen auch alphabetische Buchstaben für Griechisch und lat. Buchstaben mit klassichen Akzenten zugelassen werden

chtake commented 10 years ago

Ich hab das regex mal ein wenig angepasst, es kommen jetzt auf jeden Fall mehr Tokens durch. => 82376c70ff73a82f3a0d0474477888017213fb16