DARIAH-DE / TopicsExplorer

Explore your own text collection with a topic model – without prior knowledge.
https://dariah-de.github.io/TopicsExplorer
Apache License 2.0
62 stars 10 forks source link

Error message TopicsExplorer #129

Open 4132260 opened 2 years ago

4132260 commented 2 years ago

Lieber @severinsimmler

Hier ist Carolina Hormaza. Ich schreibe meine Dissertation in Geschichte in Uni Bielefeld. Ich interessiere mich sehr Topic Modeling mit mein Korpus versuchen. Ich habe versucht aber leider das ist nicht gelaufen. Das sagt „database is locked“. Ich kopiere unter den Bericht dem Fehler. Mein Korpus sind circa 300 Dokumenten 70% auf Deutsch und ein 30% auf English und Spanisch. Alle sind in txt files.

Vielen Dank in voraus für Ihre Unterstützung,

Mit Freundliche Grüßen,

Carolina

Error message

File "site-packages\flask\app.py", line 1815, in full_dispatch_request File "site-packages\flask\app.py", line 1718, in handle_user_exception File "site-packages\flask_compat.py", line 35, in reraise File "site-packages\flask\app.py", line 1813, in full_dispatch_request File "site-packages\flask\app.py", line 1799, in dispatch_request File "application\views.py", line 30, in index File "application\utils.py", line 71, in init_db sqlite3.OperationalError: database is locked Exception on / [GET] Traceback (most recent call last): File "site-packages\flask\app.py", line 2292, in wsgi_app File "site-packages\flask\app.py", line 1815, in full_dispatch_request File "site-packages\flask\app.py", line 1718, in handle_user_exception File "site-packages\flask_compat.py", line 35, in reraise File "site-packages\flask\app.py", line 1813, in full_dispatch_request File "site-packages\flask\app.py", line 1799, in dispatch_request File "application\views.py", line 30, in index File "application\utils.py", line 71, in init_db sqlite3.OperationalError: database is locked

severinsimmler commented 2 years ago

Hallo @4132260,

vielen Dank für deine Nachricht. Das Korpus und alle generierten Daten werden in einer lokale SQLite-Datenbank gespeichert. Die Fehlermeldung bedeutet, dass mehrere Prozesse gleichzeitig auf diese Datenbank zugreifen wollen (oder ein Prozess die Datenbank dauerhaft "blockiert"). Hast du den TopicsExplorer mehrmals geöffnet und versuchst parallel Topic Models zu trainieren? Das ist aus technischen Gründen leider nicht möglich.

Versuch doch mal deinen Computer komplett neu zu starten und den TopcisExplorer nur ein Mal zu öffnen. Falls das nicht funktioniert, lösche die Datei topicsexplorer.db (das ist die lokale Datenbank) in deinem Temp-Ordner. Je nachdem welches Betriebssystem du benutzt, liegt der Temp-Ordner an einem anderen Ort.

Viele Grüße Severin

4132260 commented 2 years ago

Lieber @severinsimmler,

danke für deine Antwort, Ich habe meinen Computer komplett neu zu gestartet und alles hat funktioniert.

Ich habe die erste probe mit 54 Dokumenten versucht und TopicsExplorer hat funktioniert. Aber wann ich habe mit 250 Dokumenten versuche, dann es gab eine error message. Ich kopiere unter den Bericht dem Fehler.

Es gibt ein Problem mit diese besondere Dokumenten? alle sind in txt

Vielen Dank in voraus für Ihre Unterstützung,

Viele Grüßen,

Carolina

Error message Insert '1963_Sandner_Conceptoespacial' into database... Insert '1963_Sick_Wirtschaftsgeographie' into database... Insert '1963_Uhlig_GeografiaAlemania' into database... Insert '1964_DieErde_SandnerSympColoni' into database... Insert '1964_Erkunde' into database... Insert '1965_Kohlheep_NeueForschGeoZ' into database... Exception on /modeling [POST] Traceback (most recent call last): File "site-packages\flask\app.py", line 2292, in wsgi_app File "site-packages\flask\app.py", line 1815, in full_dispatch_request File "site-packages\flask\app.py", line 1718, in handle_user_exception File "site-packages\flask_compat.py", line 35, in reraise File "site-packages\flask\app.py", line 1813, in full_dispatch_request File "site-packages\flask\app.py", line 1799, in dispatch_request File "application\views.py", line 71, in modeling File "application\database.py", line 51, in insert_into File "application\database.py", line 29, in _insert_into_textfiles File "application\utils.py", line 107, in load_textfile UnicodeDecodeError: 'utf-8' codec can't decode byte 0xfc in position 131: invalid start byte

severinsimmler commented 2 years ago

Hallo @4132260,

die Textdateien müssen UTF-8 kodiert sein. Es sieht so aus, als gäbe es Probleme mit der Datei 1965_Kohlheep_NeueForsch_GeoZ_. Vermutlich ist sie in einem anderen Standard kodiert und kann deswegen nicht gelesen werden. Du kannst versuchen sie mit einem Texteditor zu öffnen und als UTF-8 wieder zu speichern. Alternativ müsstest du die Datei einfach ausschließen.