alphacastio / connectors-main

Guidance and Project management for Open-Source Alphacast Connectors
MIT License
8 stars 5 forks source link

Resolucion ISSUE N°28 #31

Closed eze2286 closed 2 years ago

eze2286 commented 3 years ago

Buenas tardes, adjunto código con resolución del ISSUE. Como comentario informo que ambos datasets (Supply Approach y Expenditure Approach) los subí a un repositorio de prueba llamado "Prueba_Paraguay Macro Basics", con el N°1445, y los datasets son "Activity - Paraguay - BCP - Gross Domestic Product - Supply Approach", N°8662 y "Activity - Paraguay - BCP - Gross Domestic Product - Expenditure Approach", N°8663. Lo que hice fue, en primer lugar acceder mediante web scraping al ultimo informe correspondiente a la fecha, para luego con ese acceso poder trabajarlo. Esto es dinámico, por lo cual, al incorporarse un informe nuevo, el código va a traer ese informe. Luego armé una función para acomodar las fechas ya que las mismas están por cuatrimestre. Luego diseñé la función build_dataset(url, encabezados, sheet_name) con la cual se realiza el proceso de construcción del dataset. Una cuestión importante es que el parámetro sheet_name de la función, en caso de indicarse 0 trae la información de Supply Approach y en caso de ser 1 trae la información de Expenditure Approach. Está armado de forma dinámica para que en caso de que en un futuro agreguen mas o menos columnas adecuarse a tal situación. Por ultimo en el código instancio los dos datasets mediante las variables PBI_oferta y PBI_gasto. Asi mismo, les comento que en forma de comentarios en el código también esta el proceso de creación del repo y datasets y el envío de los mismos hacia Alphacast.

Muchas gracias. Saludos.

MacarenaOrtt commented 2 years ago

Hola Ezequiel, como estas? Aprobado el pull request de este issue. De todos modos, te dejo algunos comentarios de cosas para corregir para los próximos:

Para las próximas resoluciones, sería mejor si en el título nos podes indicar el nombre del issue o en todo caso el nombre del dataset (como esta especificado en el issue), ya que por numero nos es mas difícil buscarlo.

Saludos!

eze2286 commented 2 years ago

Hola Macarena todo bien y vos?, bueno gracias. Me queda una duda respecto al punto que me comentas de los multiples requests, en el caso de este ISSUE N°28-PAR - BCP - PIB en cuestión, porque para poder acceder a la lectura del excel no encontré otra posibilidad de hacerlo con otro requests ya que si lo intento hacer directamente con pd.read_excel(link) desde el link que obtengo con el primer requests me sale el error 403 forbidden porque la lo banea. Te referías a ese punto con el comentario o capaz sea algo que no ten entendí. Si me lo podés aclarar así lo tomo en cuenta te lo agradezco. Por las dudas también te aviso que ya envié varios pull request de otros ISSUES previo a los comentarios, así que capaz que hay algunos de estos comentarios que no tomé en esos casos.

Gracias. Espero tu respuesta. Saludos!


De: MacarenaOrtt @.> Enviado: jueves, 2 de diciembre de 2021 15:11 Para: alphacastio/connectors-main @.> Cc: Ezequiel @.>; Author @.> Asunto: Re: [alphacastio/connectors-main] Resolucion ISSUE N°28 (PR #31)

Hola Ezequiel, como estas? Aprobado el pull request de este issue. De todos modos, te dejo algunos comentarios de cosas para corregir para los próximos:

Para las próximas resoluciones, sería mejor si en el título nos podes indicar el nombre del issue o en todo caso el nombre del dataset (como esta especificado en el issue), ya que por numero nos es mas difícil buscarlo.

Saludos!

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHubhttps://github.com/alphacastio/connectors-main/pull/31#issuecomment-984718095, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AQVFIOWANCKRQ2G5YWMNPRTUO6EDXANCNFSM5I3RJGRQ. Triage notifications on the go with GitHub Mobile for iOShttps://apps.apple.com/app/apple-store/id1477376905?ct=notification-email&mt=8&pt=524675 or Androidhttps://play.google.com/store/apps/details?id=com.github.android&referrer=utm_campaign%3Dnotification-email%26utm_medium%3Demail%26utm_source%3Dgithub.

MacarenaOrtt commented 2 years ago

Hola Ezequiel! Me referia a que al incluir el request en la función y luego llamar a la función para cada dataset estas haciendo el mismo request dos veces innecesariamente, ya que podes hacerlo una sola vez y luego levantar el response.content, únicamente cambiando el nro de hoja. Te adjunto imagen para que quede mas claro.

Captura de Pantalla 2021-12-03 a la(s) 3 14 09 p  m

Saludos!

eze2286 commented 2 years ago

Hola Macarena! Si gracias, lo vi después y me di cuenta que lo había cargado así en el archivo.py. Pero en el archivo que uso de forma previa que es .ipynb lo tenía corregido. Aprovecho para hacerte una consulta que me quedó hace un tiempo respecto a todos los ISSUES. El formato de envío tiene que ser si o si .py? o Puede ser .ipynb que es el notebook que utilizo habitualmente para hacer todo el proceso?

Gracias Macarena. Buen fin de! Saludos.


De: MacarenaOrtt @.> Enviado: viernes, 3 de diciembre de 2021 18:20 Para: alphacastio/connectors-main @.> Cc: Ezequiel @.>; Author @.> Asunto: Re: [alphacastio/connectors-main] Resolucion ISSUE N°28 (PR #31)

Hola Ezequiel! Me referia a que al incluir el request en la función y luego llamar a la función para cada dataset estas haciendo el mismo request dos veces innecesariamente, ya que podes hacerlo una sola vez y luego levantar el response.content, únicamente cambiando el nro de hoja. Te adjunto imagen para que quede mas claro.

[Captura de Pantalla 2021-12-03 a la(s) 3 14 09 p  m]https://user-images.githubusercontent.com/85189816/144653022-52463447-c12c-4cea-a767-7b1f65977fc6.png

Saludos!

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHubhttps://github.com/alphacastio/connectors-main/pull/31#issuecomment-985732345, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AQVFIOW3TJIQ5LJZFXSZTILUPEC75ANCNFSM5I3RJGRQ. Triage notifications on the go with GitHub Mobile for iOShttps://apps.apple.com/app/apple-store/id1477376905?ct=notification-email&mt=8&pt=524675 or Androidhttps://play.google.com/store/apps/details?id=com.github.android&referrer=utm_campaign%3Dnotification-email%26utm_medium%3Demail%26utm_source%3Dgithub.