A scraper tool that aims at gathering features and pictures of vehicles from www.coches.net in order to develop AI models related with the given domain such as a brand model classifier between others. The tool is developed in the context of a task for the 'Tipología y ciclo de vida de los datos' subject of the Data Science Master at UOC Univeristy.
Apache License 2.0
1
stars
0
forks
source link
Paso de fuente de coches.net a milanuncios.com #14
Tras un estudio de cómo obtener los datos de coches.net, @pablo-campillo y yo lo consideramos inviable.
Básicamente, utilizando las cookies de sesión, podemos obtener hasta 4 páginas sin problemas. Luego de ello, se requiere cambiar las cookies o se nos devolverá una página vacía ya que se nos identifica como robots. Si intentamos obtener esas cookies mediante Selenium para sus posterior utilización, se nos banea ya que mediante el uso de distil detectan que somos un bot.
Es por ello que cambiamos a milanuncios.com como fuente de obtención de datos, ya que son muy similares.
Tras un estudio de cómo obtener los datos de coches.net, @pablo-campillo y yo lo consideramos inviable.
Básicamente, utilizando las cookies de sesión, podemos obtener hasta 4 páginas sin problemas. Luego de ello, se requiere cambiar las cookies o se nos devolverá una página vacía ya que se nos identifica como robots. Si intentamos obtener esas cookies mediante Selenium para sus posterior utilización, se nos banea ya que mediante el uso de distil detectan que somos un bot.
Es por ello que cambiamos a milanuncios.com como fuente de obtención de datos, ya que son muy similares.