Stop duplicate data processing

Mintaka / mypyladies_sqlite

Teaching and testing materials for lessons about SQLite managed by Pyhon.

MIT License

1 stars 4 forks source link

Stop duplicate data processing #7

Closed Mintaka closed 3 years ago

Mintaka commented 3 years ago

Program work with data sources duplicately.

Download, unzip, insert into database are made with same data every run.

Goal first phase: Suggest how to solve it. Goal second phase: Solve it by code.

Mintaka commented 3 years ago

Návrh jak to vyřešit.

Záznam o stažení každého souboru se uloží do samostatné tabulky. Při dalším zpracování se nejdříve zjistí, které datové zdroje již byly staženy a ty se přeskočí.