Kann eine Domain nicht gecrawled werden, soll sie nach einer gewissen Zeit als is_verified: false markiert werden, sodass für diese nicht mehr die täglichen Scans gestartet werden.
Diese würden ohnehin lediglich Fehler melden.
Die beiden Änderungen umfassen nun die Anpassung, dass auch bei anderen Crawler-Fehlern die Domain entsprechend nach ein paar Tagen deverifiziert wird und ist nun effizienter.
Kann eine Domain nicht gecrawled werden, soll sie nach einer gewissen Zeit als
is_verified: falsemarkiert werden, sodass für diese nicht mehr die täglichen Scans gestartet werden.Diese würden ohnehin lediglich Fehler melden.
Die beiden Änderungen umfassen nun die Anpassung, dass auch bei anderen Crawler-Fehlern die Domain entsprechend nach ein paar Tagen deverifiziert wird und ist nun effizienter.