douaberigoale / paperless-metadata-ollama-processor

Process metadata for documents in paperless-ngx, leveraging the Ollama API with a model of your choosing for auto-populating titles, tags, correspondents and document types.
https://hub.docker.com/r/douaberigoale/paperless-metadata-ollama-processor
3 stars 1 forks source link

Need help "processing" #7

Open mikekaldig opened 1 month ago

mikekaldig commented 1 month ago

Hey, i test the processing and receive this error msg:

root@dms-new:/opt/postprocessing# curl -X GET http://localhost:5000/process/12 {"detail":"Error processing document: Expecting value: line 1 column 1 (char 0)"}root@dms-new:/opt/postprocessing#

mikekaldig commented 1 month ago

paperless-metadata-ollama-processor: container_name: postprocessor image: douaberigoale/paperless-metadata-ollama-processor:latest ports:

douaberigoale commented 1 month ago

Hey there,

thanks the error and config details. I assume that the output from llama3.1:latest can't be properly parsed into JSON, but I can't tell for sure.

There's a log file called log in your ./processing mount folder. Can you please share any relevant logs happening during the operation (without any sensitive information ofc)?

Cheers Alex

mikekaldig commented 1 month ago

Hey, thanks for answer :)

Error: Error in post-processing document ID 12: Expecting value: line 1 column 1 (char 0) Traceback (most recent call last): File "/usr/local/lib/python3.10/site-packages/requests/models.py", line 974, in json return complexjson.loads(self.text, **kwargs) File "/usr/local/lib/python3.10/json/init.py", line 346, in loads return _default_decoder.decode(s) File "/usr/local/lib/python3.10/json/decoder.py", line 337, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) File "/usr/local/lib/python3.10/json/decoder.py", line 355, in raw_decode raise JSONDecodeError("Expecting value", s, err.value) from None json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

During handling of the above exception, another exception occurred:

Traceback (most recent call last): File "/app/paperless_post_processor.py", line 20, in process_document document = self.document_service.get_document(doc_id) File "/app/services/document_service.py", line 20, in get_document document_data = response.json() File "/usr/local/lib/python3.10/site-packages/requests/models.py", line 978, in json raise RequestsJSONDecodeError(e.msg, e.doc, e.pos) requests.exceptions.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

douaberigoale commented 1 month ago

Thanks for the logs! I'm going to add a bit more logging to that specific area, since it's still unclear what happened there.

In the meantime: As far as I can see in the logs you pasted, paperless-ngx is giving you an empty response content when you're using the document GET API endpoint. You can use the statement below to check the response directly from their API. You don't have to paste your document here, but it would be helpful if you could say if you see a JSON being retrieved at all.

docker exec paperless-ngx curl -H "Authorization: Token <YOUR TOKEN HERE>" http://localhost:8000/api/documents/12/

Please replace paperless-ngx with the name of your paperless-ngx container and add your token for the statement above to work.

Cheers Alex

mikekaldig commented 1 month ago

% Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 18 100 18 0 0 419 0 --:--:-- --:--:-- --:--:-- 428

This was my output? is that what you need?

mikekaldig commented 1 month ago

Okay, i do a mistake:

\n\nMiuilheim an der Ruhr, 02.10.2020\nZEUGNIS\n\nHerr Mike MeinName, geboren am 18.03.1979 ist seit dem 28.03.2011 als Leiter Lager/\nVersand Essen im Bereich Logistik unseres Unternehmens tatig.\n\nDie Unternehmensgruppe MeinName ist mit der Schloss-Quelle MeinName GmbH als unabhangiger\nMineralbrunnen und Getrankelogistiker seit Uber 100 Jahren erfolgreich in der\nGetrankebranche tatig. Mit den Brunnenstandorten Essen und Mulheim werden Uber 180\nMio. Fullungen mit eigenen Mineralwasser und Erfrischungsgetranken abgefillt und\nzusammen mit der Getrankelogistik ein Umsatz von Uber 140 Mio. Euro jahrlich erzielt.\n\nIn dieser Funktion ist Herr MeinName far den Gesamtbereich verantwortlich. Im Einzelnen\ngehGren folgende Tatigkeiten zu seinem Aufgabengebiet:\n\n- Gesamtverantwortlich fir die wirtschaftliche Abwicklung aller Logistik Prozesse am\nStandort Essen\n\n- die rechtzeitige und komplette Bereitstellung und Verladung aller Kundenauftrage\n\n- die zeit- und qualitatsoptimale Ent- und Beladung aller Fahrzeuge am Standort Essen\n\n- den wirtschaftlichen Einsatz aller Betriebsmittel in seinem Bereich\n\n- den jederzeit optimalen Personaleinsatz in seinem Bereich zur Erfillung der taglichen\nAufgaben\n\n- prozess-, kosten- und ablaufoptimale Zusammenarbeit mit der Produktion am Standort\nEssen\n\n- ordnungsgemafe Bestandsfiihrung und Lagerhaltung\n\n- verantwortlich fur den Gesamtprozess Wareneingang und Warenausgang (Vollgut und\nLeergut)\n\n- $tandige Optimierung und Anpassung der Lagersystematik und der Lagerung (u.a. FiFo ~\nMHD)\n\n- Bearbeitung von Kundenreklamationen, Ruckgaben und Bruch\n\n- Uberwachung der Restlaufzeiten und MHD aller eingelagerten Artikel\n\n- Allgemeine Sauberkeit und Ordnung im Lager und auf dem Verladehof\n\n- Umlagerung der Eigenprodukte nach Milheim (Versorgung GFGH Milheim)\n\n- Zeit- und prozessoptimale Verladeorganisation des Eigenfuhrparks am Standort Essen\n\n- Disziplinarische Fihrung, Motivation und Weiterentwicklung der Mitarbeiterinnen und\nMitarbeiter\n\n- Personaleinsatz- und Urlaubsplanung\n\n- Kontrolle von Schicht-, Pausen- und Abwesenheitszeiten der ihm unterstellten\nMitarbeitern\nA\nSCHLOSS\nQUELLE\n\nErfrischend besonders.\n\n- Uberwachung der Staplerfahrer-Pramiensysteme\n\n- Ejinarbeitung und Ansprechpariner neuer Mitarbeiter\n\n- verantwortliche Leitung und Umsetzung Inventur am Standort Essen\n\n- Sachbearbeiter Tatigkeiten Logistik Essen\n\n- Steuerung und Sicherstellung von operativen logistischen Prozessen\n\n- Ansprechpartnerin im Bereich Logistik zu Materialflissen, Systemlésungen sowie\nProzessen\n\n- Fachliche Kontrolle der Rechnungen im Bereich Logistik\n\n- Pflege der Logistik-EDV\n\n- Digitalisierung der Buroablaufe (Belege, Dokumente, Lieferscheine)\nMitarbeit in Projekten und Maf&nahmen der Schloss Quelle Logistik\n\nMitglied im HACCP Team Standort Essen\nMitglied im Arbeitssicherheitsausschuss\nMitglied im FOOD-DEFENSE-Team\nEinfuhrung und Inbetriebnahme ERP Integra\n\nHerr MeinName verfugt Uber eine auRergewohnlich gute Auffassungsgabe, einen breiten Erfah-\nrungsschaiz und ein exzellentes Fachwissen im Bereich Personalfiihrung, Logistik & Lager\nund IT-Systeme. Er kann technisch komplexe Sachverhalte pragnant und allgemeinverstand-\nlich erklaren, denkt unternehmerisch und behdalt auch unter hohem Zeit- und Erfolgsdruck\nden Uberblick und einen kithlen Kopf.\n\nWahrend seiner Tatigkeit in unserem Unternehmen hat sich Herr MeinName kontinuierlich\nweitergebildet. Sein Verhalten gegeniiber Vorgesetzten und Kollegen war stets einwandfrei.\nHerr MeinName hat seine Aufgaben stets selbststandig mit 4uRerster Sorgfalt und Genauigkeit\nerledigt.\n\nBesonders hervorzuheben ist, dass sich Herr MeinName nicht nur mit seinen eigentlichen Aufga-\nben in vorbildlicher Weise identifiziert, sondern auch dariiber hinaus Verantwortung iber-\nnimmt. So unterstutzte er mit groRem Geschick und Erfolg seine Kollegen bei der Losung\nvon IT-Problemen, oft auch Uber die regulare Arbeitszeit hinaus. Dafiir sind wir ihm sehr\ndankbar.\n\nAufgrund seiner strukturierten, sorgfaltigen und zielorientierten Arbeitsweise konnte er die\nmeist sehr kurzfristigen Winsche unserer Kunden stets korrekt und termingerecht erfilllen.\n\nInsgesamt erfilllte Herr MeinName die ihm Ubertragenen Aufgaben stets und in jeder Hinsicht zu\nunserer vollsten Zufriedenheit.\n\nDas persénliche Verhalten Herrn MeinName war jederzeit einwandfrei. Aufgrund seines\nFachwissens, seiner Kollegialitat und seiner Hilfsbereitschaft war er bei Vorgesetzten\nQUELLE\nErfrischend besonders.\n\nund Kollegen anerkannt und beliebt. Auch bei unseren Kunden genoss er wegen seiner\nKompetenz und seines aufgeschlossenen und zugleich verbindlichen Auftretens hohes\nAnsehen. Unser Unternehmen wurde von ihm stets vorbildlich reprasentiert.\n\nWir bedauern das Ausscheiden Herrn MeinName auerordentlich und danken ihm fir die\n\nlangjahrige wertvolle Unterstiitzung unseres Unternehmens. Fir seine berufliche Zukunft\nwunschen wir ihm weiterhin viel Erfolg und pers6nlich alles Gute.\n\nSchloss-Quelle MeinName GmbH","tags":[5],"created":"2020-10-02T00:00:00+01:00","created_date":"2020-10-02","modified":"2024-09-30T19:39:13.575617+01:00","added":"2024-09-30T19:39:13.203665+01:00","deleted_at":null,"archive_serial_number":null,"original_file_name":"Arbeitszeugnis MeinName.pdf","archived_file_name":"2020-10-02 Arbeitszeugnis MeinName.pdf","owner":4,"user_can_change":true,"is_shared_by_request100 5652 100 5652 0 0 122k 0 --:--:-- --:--:-- --:--:-- 125k

This is the json that you need?