ChristianSch / crime-stats-nlp

NLP based crime stats extraction for police reports taken from http://www.presseportal.de
MIT License
2 stars 0 forks source link

the texttiling does not work as expected #1

Open ChristianSch opened 9 years ago

ChristianSch commented 9 years ago

each article only has a maximum of 2 tiles if Texttiling from nltk is used.

also this happens from time to time:

Traceback (most recent call last):
  File "index.py", line 39, in <module>
    tiles = tokenizer.tokenize(article_text)
  File "/usr/local/lib/python2.7/site-packages/nltk/tokenize/texttiling.py", line 104, in tokenize
    token_table = self._create_token_table(tokseqs, nopunct_par_breaks)
  File "/usr/local/lib/python2.7/site-packages/nltk/tokenize/texttiling.py", line 231, in _create_token_table
    "No paragraph breaks were found(text too short perhaps?)"
ValueError: No paragraph breaks were found(text too short perhaps?)
ChristianSch commented 9 years ago

when tested solely in the python interpreter it seems to be working fine:

>>> text = """Unter Alkoholeinfluss gefahren
... 
... Buseck - Keinen guten Jahresbeginn hatte ein 40-jähriger Mann aus Buseck. Er musste eine Blutprobe erdulden und seinen Führerschein abgeben, weil er unter Alkoholeinfluss gefahren war. Die Polizei stoppte den Wagen des Mannes am Donnerstag, 01. Januar, um kurz nach 09 Uhr. Der Alkotest zeigte über 1,6 Promille.... 
... Diebstähle aus Autos
... 
... Gießen - Fünf Minuten reichten einem Dieb aus. Er schlug kurzerhand die Scheibe des Taxis ein und griff sich das schwarze HTC. Das Ganze war an Silvester, zwischen 22.15 und 22.20 Uhr, in der Bahnhofstraße in Höhe des Hauses Nr. 96. Der Täter entkam unerkannt. In der Bahnhofstraße kam es am gleichen Tag, zwischen 17.20 und 19 Uhr zu einem weiteren Diebstahl. Diesmal war ein grau/roter Smart betroffen. Da lockte offenbar eine sichtbare Geschenketüte. Darin war leider auch noch die Handtasche mit Geldbörse und diversen Papieren. Zwischen Mittwoch, 31. Dezember, 10 Uhr und Freitag, 02. Januar, 09.30 Uhr war der Diebstahl aus einem im Altenfeldsweg geparkten schwarzen Skoda Fabia. Der Täter erbeutete eine Mappe mit diversen Fahrzeugpapieren. Sachdienliche Hinweise bitte an die Polizei Gießen Süd, Tel. 0641/7006-3555.
... 
... Unfallflucht im Schützenweg- Zeugen gesucht
... 
... Großen-Buseck - Bei einer Verkehrsunfallflucht zwischen Dienstag, 30. Dezember, 20:30 Uhr und Mittwoch, 31. Dezember, 18:00 Uhr entstand an einem blauen VW Polo ein Schaden vorne links in Höhe von mindestens 2000 Euro. Der Polo stand ordnungsgemäß am rechten Fahrbahnrand vor dem Haus Schützenweg 6. Wie es zu dem Schaden kam, steht nicht sicher fest. Am Polo befand sich gelber Farbabrieb, wobei es sich nicht zwingend um Fahrzeuglack, sondern eventuell auch um eine Folie handeln könnte. Hinweise bitte an die Polizei Gießen Nord, Tel. 0641-7006-3755."""
>>> print(text)
Unter Alkoholeinfluss gefahren

Buseck - Keinen guten Jahresbeginn hatte ein 40-jähriger Mann aus Buseck. Er musste eine Blutprobe erdulden und seinen Führerschein abgeben, weil er unter Alkoholeinfluss gefahren war. Die Polizei stoppte den Wagen des Mannes am Donnerstag, 01. Januar, um kurz nach 09 Uhr. Der Alkotest zeigte über 1,6 Promille.

Diebstähle aus Autos

Gießen - Fünf Minuten reichten einem Dieb aus. Er schlug kurzerhand die Scheibe des Taxis ein und griff sich das schwarze HTC. Das Ganze war an Silvester, zwischen 22.15 und 22.20 Uhr, in der Bahnhofstraße in Höhe des Hauses Nr. 96. Der Täter entkam unerkannt. In der Bahnhofstraße kam es am gleichen Tag, zwischen 17.20 und 19 Uhr zu einem weiteren Diebstahl. Diesmal war ein grau/roter Smart betroffen. Da lockte offenbar eine sichtbare Geschenketüte. Darin war leider auch noch die Handtasche mit Geldbörse und diversen Papieren. Zwischen Mittwoch, 31. Dezember, 10 Uhr und Freitag, 02. Januar, 09.30 Uhr war der Diebstahl aus einem im Altenfeldsweg geparkten schwarzen Skoda Fabia. Der Täter erbeutete eine Mappe mit diversen Fahrzeugpapieren. Sachdienliche Hinweise bitte an die Polizei Gießen Süd, Tel. 0641/7006-3555.

Unfallflucht im Schützenweg- Zeugen gesucht

Großen-Buseck - Bei einer Verkehrsunfallflucht zwischen Dienstag, 30. Dezember, 20:30 Uhr und Mittwoch, 31. Dezember, 18:00 Uhr entstand an einem blauen VW Polo ein Schaden vorne links in Höhe von mindestens 2000 Euro. Der Polo stand ordnungsgemäß am rechten Fahrbahnrand vor dem Haus Schützenweg 6. Wie es zu dem Schaden kam, steht nicht sicher fest. Am Polo befand sich gelber Farbabrieb, wobei es sich nicht zwingend um Fahrzeuglack, sondern eventuell auch um eine Folie handeln könnte. Hinweise bitte an die Polizei Gießen Nord, Tel. 0641-7006-3755.
>>> from nltk.tokenize.texttiling import TextTilingTokenizer
>>> tokenizer = TextTilingTokenizer()
>>> tiles = tokenizer.tokenize(text)
>>> print(tiles)
['Unter Alkoholeinfluss gefahren\n\nBuseck - Keinen guten Jahresbeginn hatte ein 40-j\xc3\xa4hriger Mann aus Buseck. Er musste eine Blutprobe erdulden und seinen F\xc3\xbchrerschein abgeben, weil er unter Alkoholeinfluss gefahren war. Die Polizei stoppte den Wagen des Mannes am Donnerstag, 01. Januar, um kurz nach 09 Uhr. Der Alkotest zeigte \xc3\xbcber 1,6 Promille.', '\n\nDiebst\xc3\xa4hle aus Autos\n\nGie\xc3\x9fen - F\xc3\xbcnf Minuten reichten einem Dieb aus. Er schlug kurzerhand die Scheibe des Taxis ein und griff sich das schwarze HTC. Das Ganze war an Silvester, zwischen 22.15 und 22.20 Uhr, in der Bahnhofstra\xc3\x9fe in H\xc3\xb6he des Hauses Nr. 96. Der T\xc3\xa4ter entkam unerkannt. In der Bahnhofstra\xc3\x9fe kam es am gleichen Tag, zwischen 17.20 und 19 Uhr zu einem weiteren Diebstahl. Diesmal war ein grau/roter Smart betroffen. Da lockte offenbar eine sichtbare Geschenket\xc3\xbcte. Darin war leider auch noch die Handtasche mit Geldb\xc3\xb6rse und diversen Papieren. Zwischen Mittwoch, 31. Dezember, 10 Uhr und Freitag, 02. Januar, 09.30 Uhr war der Diebstahl aus einem im Altenfeldsweg geparkten schwarzen Skoda Fabia. Der T\xc3\xa4ter erbeutete eine Mappe mit diversen Fahrzeugpapieren. Sachdienliche Hinweise bitte an die Polizei Gie\xc3\x9fen S\xc3\xbcd, Tel. 0641/7006-3555.', '\n\nUnfallflucht im Sch\xc3\xbctzenweg- Zeugen gesucht\n\nGro\xc3\x9fen-Buseck - Bei einer Verkehrsunfallflucht zwischen Dienstag, 30. Dezember, 20:30 Uhr und Mittwoch, 31. Dezember, 18:00 Uhr entstand an einem blauen VW Polo ein Schaden vorne links in H\xc3\xb6he von mindestens 2000 Euro. Der Polo stand ordnungsgem\xc3\xa4\xc3\x9f am rechten Fahrbahnrand vor dem Haus Sch\xc3\xbctzenweg 6. Wie es zu dem Schaden kam, steht nicht sicher fest. Am Polo befand sich gelber Farbabrieb, wobei es sich nicht zwingend um Fahrzeuglack, sondern eventuell auch um eine Folie handeln k\xc3\xb6nnte. Hinweise bitte an die Polizei Gie\xc3\x9fen Nord, Tel. 0641-7006-3755.']
>>> len(tiles)
3