search

CEUPNA / backend-ceupna

0 stars 1 forks source link

Integración de las arañas y la base de datos de la API #8

Open iaguas opened 7 years ago

iaguas commented 7 years ago

Se debe encontrar una forma de unir la base de datos que genera django junto con los datos que se obtienen de la araña.

iaguas commented 7 years ago

Como primera opción se va a desarrollar un scrip para un comando de Django. Esto se hace de forma que se lea un JSON que se obtenga de la araña y se incluya en la base de datos. Se debe tener en cuenta que el campo upna_id está definido como único, por lo que después de la primera importación, deberá hacerse lo necesario para que sólo actualice los datos necesarios. Se explica este tema en esta página de la documentación de Django. Todo esto automatizado con un proceso kron de linux.

De cara al futuro, se debería intentar analizar una integración mejor. Se dispone de un sistema llamado django_item aplicable en Scrapy documentado en su repo. Además, existe un sistema de integración ya preparado. Este se llama django-dinamic-scraper con su repo github lo cual a día de hoy se mantiene y muy probablemente sea la solución para el futuro.

iaguas commented 7 years ago

Para seguir con todo esto, hay que hacer algo con los archivos JSON. Ya son más de uno, así que habría que hacer que una cierta opción se refiera a un cierto fichero. Algo como: import_data --teachers ruta/a/teachers.json --centers ruta/a/centers.json [etc]