search

agendadigitalpy / web-python

Sitio web de AgendaDigital.com.py
https://www.agendadigital.com.py/
MIT License
11 stars 9 forks source link

Adaptar página de solicitudes para estirar datos de MongoDB #9

Open matiasinsaurralde opened 5 years ago

matiasinsaurralde commented 5 years ago

Podríamos mantener el mismo formato de visualización que ya tenemos en el front.

La colección se puede llamar "solicitudes" y esta es la estructura de cada solicitud:

{
  "id": 20899,
  "subject": "Solicitud ZZZ",
  "replied": false,
  "remaining_days": 5,
  "url": "http://informacionpublica.paraguay.gov.py/portal/#!/ciudadano/solicitud/20899"
}
cabupy commented 5 years ago

Matias, si te referis a la estructura que va a tener el modelo en MongoDB creo que el key "url" no es necesario que forme parte y se almacene por cada solicitud.

demianfe commented 5 years ago

Esto se scrapea de la pagina oficial? si es así sería bueno guardar todo el contenido posible, incluso el raw html. Si es un api, guardar todo lo que retorna el servicio, timestamps incluidos.

cabupy commented 5 years ago

No, es una api que devuelve un array JSON

matiasinsaurralde commented 5 years ago

Matias, si te referis a la estructura que va a tener el modelo en MongoDB creo que el key "url" no es necesario que forme parte y se almacene por cada solicitud.

@cabupy Tenés razón, con el ID ya estamos, lo que me olvidé de agregar acá es la fecha.

matiasinsaurralde commented 5 years ago

Esto se scrapea de la pagina oficial? si es así sería bueno guardar todo el contenido posible, incluso el raw html. Si es un api, guardar todo lo que retorna el servicio, timestamps incluidos.

@demianfe Bajamos de la API, que retorna JSON.

Hasta el momento funciona así, cada N horas, el programa en Go baja las solicitudes enviadas a MITIC y las guarda en memoria, cuando entras a la web, tomamos esos datos que están en memoria. Como decís creo que sería bueno ir archivando todo, entonces voy a modificar el programa Go para cambiar y mantener el estado de eso en MongoDB.

Entonces esta app Python lo único que debe hacer es obtener esa info de la DB y mostrarla.