alexvj
commented
5 years ago Parece que el problema "ha desaparecido", exactamente la misma versión ya no da el 404. De momento, tengo la sospecha de que no se conecta con el mismo servidor para distintos User-Agents u otro tipo de parámetro del navegador. Es probable que intentase conectar con un servidor de respaldo que no tuviese la información de ese perfil. Esto también explicaría por qué un baneo afecta al scraper pero no al resto de navegadores del mismo equipo con misma IP.
Habrá que esperar a que el error vuelva a ocurrir para trabajar sobre ello en el momento y confirmar algunas conjeturas.
El perfil https://scholar.google.es/citations?user=oKAoLxgAAAAJ&hl=es existe. Es validado correctamente, no tiene nada extraño a simple vista, sin embargo, urllib da un 404 sólo con ese investigador.