search

caravelahc / paratex

Extrator de presença parlamentar.
11 stars 7 forks source link

Joined processes #19

Closed GabrielSimonetto closed 4 years ago

GabrielSimonetto commented 4 years ago

Added:

join_parts.py --> when you want to join csvs that are already separated by session joined_process on main.py --> if you wanna save it all together when scrapping the data

GabrielSimonetto commented 4 years ago

Percebi que a gente tava se repetindo com as constantes... resolvi assim, vc acha que tudo bem?

em __main__.py

from join_parts import PARTITIONED_PATH, JOINED_PATH

em join_parts.py

PARTITIONED_PATH = Path(__file__).parent / 'partitioned_csvs'
JOINED_PATH = Path(__file__).resolve().parent.joinpath('joined_csvs')

Se um dia o main e o join_parts ficarem em pastas separadas, o __file__ escolhido é o do join_parts né?

Tu faria assim tambem? Ou prefere inverter os 2?

JPTIZ commented 4 years ago

Percebi que a gente tava se repetindo com as constantes... resolvi assim, vc acha que tudo bem?

em __main__.py

from join_parts import PARTITIONED_PATH, JOINED_PATH

em join_parts.py

PARTITIONED_PATH = Path(__file__).parent / 'partitioned_csvs'
JOINED_PATH = Path(__file__).resolve().parent.joinpath('joined_csvs')

Não chega a ser necessário ter um arquivo join_paths.py, mas seria interessante algum export.py (ou report.py) feito para a parte de exportar dados.

Se um dia o main e o join_parts ficarem em pastas separadas, o __file__ escolhido é o do join_parts né?

Aliás, será que não seria melhor aproveitar o cwd em vez das pastas do pacote?

Tu faria assim tambem? Ou prefere inverter os 2?

Eu faria as funções receberem um path: Path por parâmetro, e aí só setar PARTITIONED_PATH e JOINED_PATH como defaults.

Por sinal, não entendi por que cê comentou o if __name__ == '__main__': main() do __main__.py. Você pode ter esse if em mais de um arquivo do mesmo projeto sem problemas.

GabrielSimonetto commented 4 years ago

Não chega a ser necessário ter um arquivo join_paths.py, mas seria interessante algum export.py (ou report.py) feito para a parte de exportar dados.

Mas o join_paths já existe, é o arquivo que concatena os csvs se eles ja foram criados separadamente

Aliás, será que não seria melhor aproveitar o cwd em vez das pastas do pacote?

Cwd no lugar de file daí? Mas não fica um problema similar depois disso?

JPTIZ commented 4 years ago

Okay, mudei algumas coisinhas menores (tinha uma documentação em pt-br no meio do código em inglês, e volta e meia se usava aspas duplas em vez de simples - ao contrário do resto inteiro do projeto).

A partir daqui a gente abre issues pras coisas que discutimos na thread, formalizamos uma APIzinha bacana e enquanto isso partimos pra um Flask.