Open marians opened 11 years ago
Wenn der Scraper während der Arbeit abgebrochen wird (z.B. mit Ctrl-C) bleiben Jobs IN_PROGRESS in der Queue zurück.
IN_PROGRESS
Ruft man danach den Scraper wieder auf, werden die Jobs IN_PROGRESS übergangen, weil diese ja schon als "vergeben" gelten.
OPEN
failures
Hier ein Aufruf, der obiges erledigt:
db.queue.update( { status: "IN_PROGRESS" }, { $set: { status: "OPEN"}, $inc: { failures : 1 } }, { multi: true } );
Wenn der Scraper während der Arbeit abgebrochen wird (z.B. mit Ctrl-C) bleiben Jobs
IN_PROGRESS
in der Queue zurück.Ruft man danach den Scraper wieder auf, werden die Jobs
IN_PROGRESS
übergangen, weil diese ja schon als "vergeben" gelten.Lösungsmöglichkeiten
IN_PROGRESS
zurückgesetzt wieder aufOPEN
gesetzt werden.failures
Wert um 1 erhöht werden.