Architekturentscheid: Neuer OCR Service

[vej-ananas]

Beschreibung Für die Texterkennung gibt es einen neuen Python-Service, der PDF-Files von S3 lädt, mit AWS Textract den Text erkennen lässt, und schliesslich das PDF mit Text wieder in S3 speichert. Für den neuen Service müssen Repository, CI/CD und Hosting erstellt werden. Möglich ist auch die Integration in swissgeol-assets-suite.

Das Python-Script muss ausserdem in einen Web-Service umgewandelt werden.

Acceptance Criteria

• [ ] Das Lösung für den neuen OCR Service ist ausgearbeitet.

Anhang Hier ein kurzes Fazit vom [Stijn's] Wissensstand:

• OCR wurde bisher gemacht vom einer Python-Microservice auf Basis von der Tesseract-Bibliothek.
  • Quell-Code war auf https://github.com/geoadmin/web-asset-swissgeol/tree/main/images/bulk-ocr, wurde aber anscheinend mal gelöscht oder nicht migriert zum neuen Github-Repo
  • Die Assets-Applikation ruft die OCR-Service auf mit einem POST-Request in https://github.com/swisstopo/swissgeol-assets-suite/blob/ccdf2157a9601627de116adac1eaa3a8096fb296/apps/server-asset-sg/src/features/ocr/ocr.controller.ts#L133
• Quellcode für die neue OCR-Funktionalität ist im Moment in einem privaten Github-Repo: swisstopo/lgd-utils: Skripts und Utilities für LGD-Prozess (github.com)
  • Code soll veröffentlicht werden und entweder integriert werden im bestehenden swisstopo/swissgeol-assets-suite Repo, oder in einem neuen Repository
  • Ein neues Repo ist wahrscheinlich sinnvoller, weil die Technologien sind unterschiedlich von der Assets-Applikation (Python vs. Typescript) und die OCR-Service könnte in Zukunft auch benutzt werden von anderen Applikationen, z.B. boreholes.swissgeol.ch.
  • Als OCR-Modell wird die AWS-Dienst Textract benutzt (Intelligente Extraktion von Text und Daten mit OCR – Amazon Textract – Amazon Web Services).
  • Mein Python-Code braucht also nicht so viel Rechenleistung, weil die komplexe Berechnungen von der Texterkennung werden von dieser AWS-Dienst gemacht.
  • Um die Texterkennung auszuführen, braucht es einen AWS-Zugriff mit den entsprechenden Berechtigungen um Textract-Requests zu machen.
  • Der Code ist im Moment designed um lokal als Skript ausgeführt zu werden. Es braucht also noch etwas Arbeit, um das ganze als Microservice deployen zu können, und entsprechend konfigurieren zu können.
  • Habt ihr bei EBP verfügbare Entwickler, die das umsetzten können?

[traffic1000]

Mit @stijnvermeeren-swisstopo anschauen: EBP geht auf ihn zu

[stijnvermeeren-swisstopo]

Ergänzend zur Ticket-Beschreibung:

• Ein neues, öffentliches Repository für die OCR-Service wird im Moment erstellt in der swisstopo-Github-Organisation. EBP und Geowerkstatt bekommen auch Maintainer-Berechtigungen im neuen Repository, also ihr könnte dann direkt dort arbeiten. Die Migration vom Code ist geplant für die 2. Juli-Woche (die 1. Woche bin ich in den Ferien).
• Der Python Code in meinem Repository ist eine Art von "Wrapper" um die AWS Textract Service herum. Funktionalitäten die hier implementiert sind, sind unter anderem:
  • Für jede PDF-Seite überprüfen, ob diese schon "digitally born" ist (und keine Texterkennung braucht), oder ob es eine gescannte Seite ist (die Texterkennung braucht). Gegebenenfalls Text entfernen von ältere OCR-Ausführungen die bereits in der PDF-Datei hinterlegt ist.
  • Vorverarbeitung von den PDF-Dateien. Z.B. werden Seiten unter gewisse Bedingungen neu skaliert. Sehr grosse Seiten werden in kleinere Abschnitte verteilt und in mehreren Requests and AWS Textract geschickt, weil AWS Textract hat gewisse Limitierungen bezüglich Dateigrosse und Bild-Dimensionen, und die Resultate sind sowieso besser wenn der Input nicht zu gross ist.
  • Der Response von der AWS Textract Service beinhaltet hauptsächlich den erkannten Text, zusammen mit Koordinaten von der Stelle im Dokument/Bild wo diesen Text gefunden wurde. AWS Textract gibt noch keine neue PDF-Datei zurück. Die Logik um den erkannten Text an den richtigen Stellen im Dokument zu hinterlegen und so eine neue PDF-Datei zu generieren, ist in meinem Repository enthalten.

Ich denke, es wäre sinnvoll, wenn EBP mal eine Evaluierung machen könnte vom aktuellen Stand vom Quellcode, um eine Einschätzung geben zu können, was es noch alles braucht (API? Logging und Monitoring? Wie viel Rechenleistung? Konfiguration?), um die Texterkennung als Mikroservice deployen zu können, und in der Assets-Applikation integrieren zu können. @vej-ananas hat bereits einen Dump vom Quellcode von mir erhalten, und in ca. 2 Wochen ist der Code dann sowieso in einem public Repository.

[stijnvermeeren-swisstopo]

Das neue Repository wurde bereits erstellt, ist aber noch leer: https://github.com/swisstopo/swissgeol-ocr Die Migration vom Code mache ich, wie vorher schon erwähnt, nach meinen Ferien.

Eventuell könnt ihr bei Geowerkstatt und EBP schon mal prüfen, ob ihr auch die Maintainer-Berechtigungen habt für das neue Repository?