khs-crawler

Tento khs-crawler zpracovává data z Krajských hygienických stanic o počtu identifikovaných nakažených osobách virem způsobujícím onemocnění COVID-19 a generuje je do Google Tabulky.

Data

Výstupy dat jsou dostupné v Google Tabulkách, list Test Crawl

https://docs.google.com/spreadsheets/d/1FFEDhS6VMWon_AWkJrf8j3XxjZ4J6UI1B2lO3IW-EEc/edit#gid=84317159

Potenciální problémy ⚠️

• Středočeský kraj publikuje svá data nekonzistentně - více viz issues#4
• Některé kraje nepublikují svá data ve strojově snadno čitelném formátu, zejména u těchto může nacházet k nestabilitě dat, více viz níže sekce Zdroje dat

Technické informace

V této fázi vývoje se jedná stále o prototyp skriptů pro crawling dat jednotlivých KHS. Pracujte s ním opatrně, kód je psán primitivním stylem. Kupříkladu nejsou ošetřeny výjimky a podobně.

Použité knihovny

• requests + BeautifulSoup - parsování dat z webů
• pdfminer.six - parsování dat z PDF
• Pillow - práce s obrázky
• pytesseract - OCR pomocí Tesseract

Proč tento crawler vznikl

Motivací byl status Marka Lutoňského o neexistenci jednotných dat pro COVID-19 u jednotlivých okresů, kde každá krajská hygienická stanice reportuje data svým vlastním způsobem.

Kam se generují výstupy

Výstupy lze nalézt v Google Tabulkách, listu Test Crawl

https://docs.google.com/spreadsheets/d/1FFEDhS6VMWon_AWkJrf8j3XxjZ4J6UI1B2lO3IW-EEc/edit#gid=84317159

Zdroje dat

Detailnější informace o zdrojích dat, spolu s tím, které objekty DOM se scrapují, lze nalézt na: sablatura.info/covid/hygienicke-stanice

Emoji "pozor" ⚠️ označuje zvýšenou potenciální nestabilitu dat a obecně náchylnost ke změnám při aktualizaci ze strany hygienických stanic. To znamená, například, pokud se někdo přepíše, či změní pořadí dat, může (ale nemusí) to rozhodit jednotlivý parser.