Queues für persistente Nutzung speichern

marians / scrape-a-ris

Scrape-A-RIS is a scraper for assembly information systems (Ratsinformationssysteme) using Somacos SessionNet, written in Python.

9 stars 8 forks source link

Queues für persistente Nutzung speichern #13

Closed marians closed 11 years ago

marians commented 11 years ago

Es wäre hilfreich, wenn die Queues nach einem Abbruch (manuell oder durch Exception) wieder geladen werden könnten. Damit könnte doppeltes Scrapen vermieden werden.

Fragen:

Reicht Serialisierung mit pickle? Wie kann man Objekte Serialisieren und auf die Festplatte speichern, bevor das Script abbricht?
Oder sollten die Queues lieber direkt in die Datenbank geschrieben werden? Das würde das Umschreiben der Queue-Klasse erfordern.

marians commented 11 years ago

Ist seit geraumer Zeit behoben. Die Queue wird in der Datenbank gespeichert.