search

dipnl / wappalyzer

Identify technology on websites.
https://www.wappalyzer.com
2 stars 0 forks source link

Wappalyzer_timeout_error als er nog een request open staat na 30 seconden #10

Open simonbesters opened 4 months ago

simonbesters commented 4 months ago

De bekende Navigation timeout of 30000 ms exceeded zorgt ervoor dat er maar weinig tech's gevonden worden, terwijl het vaak om een hangende request gaat.

error | driver | TimeoutError: Navigation timeout of 30000 ms exceeded (https://venlo.begroting-2016.nl/) (https://venlo.begroting-2016.nl/)

Dit kan mogelijk voorkomen worden door { waitUntil: 'networkidle2' } toe te voegen aan page.goto:

navigation is finished when there are no more than 2 network connections for at least 500 ms.

In het voorbeeld van https://venlo.begroting-2016.nl/ worden dan toch de techs gevonden en krijgen we niet de navigation timeout. Normaal wordt gewacht tot het 'load' event getriggerd wordt, maar soms komt die nooit.

rudiedirkx commented 3 months ago

networkidle2 zorgt soms juist voor problemen NA load als er meteen geajaxt wordt, en daarna regelmatig, dan haalt ie nooit networkidle2. Misschien kunnen we een Promise.race() maken voor de eerste die klaar is: 10 sec wachten, load, of networkidle2. page.goto() accepteert meerdere events, maar dat betekent dat ie ze allemaal tegenkomt, niet de eerste, dus dat willen we juist niet.

Gaan kapot in Wappa, maar niet in WhatCms: https://app.digitalinsightsplatform.nl/custom-queries/189