B3J4y / UniDisk

A Crawler to search for keywords and compare the score
MIT License
0 stars 1 forks source link

Feat: Restore Project processing #66

Closed timsauvageot closed 3 years ago

timsauvageot commented 3 years ago

Bisher wurden Projekte nur ausgewertet, wenn diese im Status WAITING waren. Wenn die Projektauswertung abgebrochen wurde (VM Neustart) steckten diese fest und wurden nie wieder weiterverarbeitet. Um das zu beheben wird während der Auswertung regelmäßig ein Heartbeat timestamp für das Projekt gespeichert. Über diesen ist es möglich zu erkennen, ob ein Projekt feststeckt (tot ist). Wenn ein Thema oder Stichwort ausgewertet wurde wird außerdem ein timestamp gesetzt. Während der Auswertung werden nun nur die Themen und Stichworte ausgewertet, die nicht vollständig bearbeitet wurden (timestamp = null). Vor jeder Auswertungsrunde werden dann alle toten Projekte geladen und alle Keyword- und Topicscores von nicht ausgewerteten Stichworten und Themen gelöscht. Anschließend kann die Auswertung der Projekte wieder erfolgen.