marians / cologne-ris-scraper

A python-based scraper for the Ratsinformationssystem (RIS) of Cologne, Germany
14 stars 4 forks source link

Modus zum schnellen, häufigen Scrapen von neuen Inhalten #18

Open marians opened 11 years ago

marians commented 11 years ago

Der Scraper sollte einen Modus bieten, der das möglichst schnelle Hinzufügen von neuen Inhalten unterstützt. Attachments, die bereits vorhanden sind, sollten dabei nicht erneut herunter geladen und verglichen werden.

Anders als bei der bisherigen Vorgehensweise geht es dabei nicht um Vollständigkeit.

Das Vorgehen könnte so aussehen: