f12defilippis / SemRanker

0 stars 0 forks source link

Distinzione tipologia di errore #15

Open Cabbina opened 9 years ago

Cabbina commented 9 years ago

Differenziare la tipologia di errore riportata dal proxy per calcolare in maniera più accurata gli streaks

f12defilippis commented 9 years ago

@Cabbina Ho fatto in modo di distinguere l'errore di chiamata da quello di parsing. Inoltre sulla stessa keyword ho previsto un numero massimo di errori di parsing che è configurabile tramite un parametro su database. Nel caso di errori di parsing non si dovrebbe muovere lo streak del proxy e dovrebbe essere stampato sul log il codice html della risposta arrivata.

f12defilippis commented 9 years ago

@Cabbina Ho sistemato degli errori di parsing di Google. Inoltre ho notato che molti degli errori di Yahoo derivano dal fatto che su pagine successive spesso il motore di ricerca restituisce una pagina simile a quella allegata; dovrei capire da cosa dipenda questo perchè in effetti navigando da browser le pagine per quelle keywords i risultati ci sono. Per stasera cerco di rilasciare una release con maggiori controlli e ancora delle piccole modifiche sulle chiamate effettuate sperando che diminuiscano queste tipologie di casi. Questo spiega anche il perchè gli errori di parsing di Yahoo non si verificavano sempre e dopo diversi tentativi spesso il motore riusciva a completare la keyword. Potremmo per cominciare iniziare ad aumentare il parametro max_parse_fails e vedere quello che succede schermata 2015-05-18 alle 13 05 49