maartenmarx
commented
2 years ago Hi @DaanKuyper ,
heel erg bedankt! EEn paar opmerkinge/tips
- Gebruik graag hyperlinks naar files in je repo in je issues. Dat werkt een stuk snmeller en makkelijker dan die omschrijvbingen
- Ik zou toch graag alle PDFs hebben. Ik kan ze op surfdrive zetten, zodat jij er ook bijkan. Kan je dus 1 keer ophalen, en me sturen met wetransfer?
- Kijk eens naar pdftohtml en pdftotree en natuurlijk pdfinfo (allemaal linux commands)
- Eigenlijk zou ik niet moielijk doen, en gewoon ALLE documenten met de beste OCRder die jij kunt vinden opnieuwe OCRen, en dan een mooie maat/methode gebruiken die de docs vergelijkt.
- dan vind je vast ook een paar waar het niks uitmaakt, of allicht zelfs slechter wordt
- misschien vindt je in de pdfinfo metadata wel of het geocred is.
Next todo's
- alle pdfs ophalen
- net spreadsheet op Google docs met hyperlinls nar elke pdf
- dossiernummer extracter ook op de paginas
- alles goed OCRen (bewaar alleen de text plus pdftohtrml -xml XML output) geen plaatjes natuurlijk
- wat eerste vergelijkingen.
- bevat een pagina een dossiernummer
- bevat het weggelakte stukken
- Neem 3 PDF documenten (perfecte tekst, best goede OCR, helemaal geen OCR), en splits die zelf op in losse documenten (maak dus een test set).
- Probeer te leren wat mogelijke aanwijzingen zijn voor "nieuw document".
Fijn weekend!
Een zelfstanding C# project gemaakt dat instaat is alle meta data van WobDossiers en hun respectievelijke PDFDocumenten op te halen en lokaal op te slaan in JSON formaat. Verder is de applicatie in staat om op basis van de meta data een CSV bestand op te bouwen met hier meer informatie betreffende de PFD's.
Het project is ontwikkeld in Visual Studio Community (Preview 2022) en ik zou sterk aanraden om deze omgeving te downloaden om het project zelf te kunnen inzien. Echter kan ook de laatste standalone build gebruikt worden: deze is te vinden in de submap: "DocumentSplitting\bin\Release\net6.0\DocumentSplitting.exe". Hiervoor is dan wel een .NET 6.0 installatie nodig, deze is beschikbaar voor vrijwel alle besturings systemen: https://dotnet.microsoft.com/download/dotnet/6.0. Voordat de applicatie gestart kan worden moet wel naar de Config.json (te vinden in dezelfde folder als de executable) file gekeken worden om de nodige properties aan passen.
Verder kan het overzicht van alle Wob meta data gevonden worden in de map "WOB" van deze repository. Ook kan het overzicht report gevonden worden in deze repository onder de naam: "OverviewReport.csv". Hierin zijn alle 369 pdf documenten plus meta-data gedocumenteerd.
Een oplossing vinden voor het onderscheiden van verschillende PDF documenten: wanneer ontbreekt een OCR volledig? Wanneer is er al een OCR gebruikt maar volstaat de resultaten van deze wel?
Een van de voorbeelden van een onduidelijk document is als volgt: https://wobcovid19.rijksoverheid.nl/publicaties/5e745681a2659dadb7ac782f4e012350/besluit.pdf
Dit document is duidelijk ingescand en zou dus naar verwachting geen tekst elementen bevatten. Echter blijkt dat er (wellicht door het software gebruikt voor het inscannen) al een OCR heeft plaats gevonden. Als ik gebruik maak van iText's SimpleTextExtractionStrategy voor het uitlezen van alle tekst uit een pdf pagina, is te zien dat er wel degelijk tekst in het document voorkomt. Hieronder een snippet:
" > Rurares P3stbs 2000 2O3 EA Dr Hae Kabinet Mrnister-Presdent Errer’:f 1 2513 A Dec ieag Postbts 20001 2500 EA Oen Haag www ksoverhed.1 Contactpersoon Onze referentie 4 129 fl2 Datum 9 juni 2020 Betreft Wob-besluit inzake logboeken coronaDrisis ambtenaren Geachte Bij bnef van 1 mei 2020, ontvangen op 6 mei 2020. heeft u, namens bij het ministerie van Algemene Zaken een verzoek op grond... "
Dit kan ongetwijfeld verbeterd worden.. Door gebruik te maken van een online OCR tool (https://www.onlineocr.net/) was al het volgende resultaat te verkrijgen:
" Retouradres Postbus 20001 2500 EA Den Haag Kabinet Minister-President Ministerie van Algemene Zaken Datum 9 juni 2020 Betreft Wob-besluit inzake logboeken coronacrisis ambtenaren Geachte Bij beef van 1 mei 2020, ontvangen op 6 mei 2020, heeft u, namens bij het ministerie van Algemene Zaken een verzoek op grond... "
Ik ben er nog niet uit hoe ik efficient voor een document kan bepalen of een pagina tekst bevat, of deze correct is, endus of er potentieel een eigen OCR ingezet moet worden...
Verdiepen in wat er gehaald kan worden uit de documenten wanneer deze worden geparsed naar XML door middel van PDF to HTML. Hopelijk kan deze methode zorgen voor een duidelijker onderscheid tussen de documenten.
Ook kijken of er meer uit de PDF meta data te halen valt - met nadruk op het onderzoeken of de gebruikte software voor de PDF opstellen te achterhalen is.