marians / cologne-ris-scraper

A python-based scraper for the Ratsinformationssystem (RIS) of Cologne, Germany
14 stars 4 forks source link

Dateien werden nur einmal geladen #5

Closed marians closed 11 years ago

marians commented 12 years ago

PDFs und andere Anlagen werden bislang vom Scraper nur einmal geladen.

Tatsächlich können sich die Dokumente aber immer wieder ändern. Daher müssen wir einen Weg finden, wie die Dokumente mehrmals (aber nicht zu oft) abgerufen werden. Der Vergleich mit der lokalen Kopie kann über Dateigröße und dann Prüfsumme erfolgen. Erst nach der Prüfung, wenn die neue Version aktueller ist, sollte die lokale Kopie ausgetauscht werden.