Grabar datos en MongoAtlas

[jvruoc]

Crear la BBDD de MongoAtlas, la clase para conectar con ella y la llamada desde el main para grabar los datos.

[jvruoc]

Cambios realizados:

• scraper.py

  • Se modifican los print por logger.info()
  • Se eliminan time.sleep() innecesarios, las instrucciones find_elements() acceden al elemento descargado, no al servidor, por lo que no es necesario demorarlas. Se lleva esta instrucción al método Scraper.get_link()
  • Se añade el método _extract_rents() como abstracto para que oblige a definirlo en todas las clases derivadas.
  • Se modifica la situación de las options del cromeDriver para utilizarlos también con el remote Web Driver

• scraperFotocasa.py

  • Se importa la clase Scraper en lugar de todo el módulo
  • Se eliminan algunos time.sleep()
  • Se modifica el replace de texto por decode("unicode_escape") que automáticamente elimina los caracteres de escape
  • Se elimina el código que hace scroll, en el script están todos los inmuebles.
  • En getCardData() se crea la clave _id con el formato "fc-\", para que se pueda distinguir de otras páginas
  • Se deja en la clave price el valor de rawPrice y se elimina esta última.

• database.py

  • Se crea la clase para la grabación en MongoDB
  • Dentro del directorio ./dbconfig se ha dejado un fichero de ejemplo para indicar el contenido de los ficheros de conexión que se utilicen. Para conectar con mongo-atlas se usará el fichero mongo-atlas.json con el formato indicado y con los datos específicos de la bbdd utilizada. Atención este fichero no se guarda en Git

• main.py

  • Se añade un parámetro de ejecución para indicar la colección donde grabar los datos recuperados de las páginas web.