search

henriquepgomide / caRtola

Extração de dados da API do CartolaFC, anålise exploratória dos dados e modelos preditivos em R e Python - 2014-22. [EN] Data munging, analysis and modeling of CartolaFC - the most popular fantasy football game in Brazil. Data cover years 2014-23.
MIT License
451 stars 253 forks source link

🐍 refactor: ci to download cartola data with python #94

Closed arnaldog12 closed 2 years ago

arnaldog12 commented 2 years ago

Esse PR refatora o CI para fazer download dos dados do Cartola usando Python ao invés de R. Isso vai reduzir o tempo do CI de 1h para 1 minuto.

arnaldog12 commented 2 years ago

@henriquepgomide, reparei que o CI que faz download dos dados do Cartola demora em torno de 1h pra rodar todo dia. Muito disso vĂȘm do fato do script rodar numa mĂĄquina Mac OS (nĂŁo lembro por quĂȘ mais 😕) e ter muita dependĂȘncia pra instalar antes.

De fato, o step do CI que faz sĂł o download dos dados demora apenas alguns segundos.

Portanto, eu dei uma lida no seu script e resolvi rescrevĂȘ-lo em Python 🐍 para rodar mais rĂĄpido. Aparentemente, o tempo reduziu de 1h para 1 min (e ainda dĂĄ pra usar cache das bibliotecas).

Por hora, estou salvando o arquivo da rodada em CSV mesmo, mas pro ano que vem estou pensando em salvar o arquivo original JSON que vem da API do Cartola pra termos o dados mais raw possĂ­vel. O que vocĂȘ prefere?