rafatieppo
commented
1 week ago Obrigado pelas considerações. Como não sei exatamente o procedimento exato de realizar o merge e para evitar complicações, fiz alterações manualmente no código e posteriormente o push.
Alterações oriundas do seu fork que foram realizadas
- cidade e estado de nascimento
- qualis para engenharia iv (
qualis_engiv_periodicos_2020.csv) adicionado
Melhorias que estava trabalhando:
- A lentidão para excluir os duplicados era algo que queria resolver faz tempo. A sua sugestão é bem interessante, todavia resolvi escrever uma nova função para deixar o processo mais rápido. Fiz um teste e em média está 10x mais rápido, quero testar um pouco mais. A princípio a eliminação de duplicatas na coluna está gerando resultados semelhantes e em menos tempo.
- Ao finalizar a extração dos dados, no terminal tem um output de tempo gasto.
obs.: se puder compartilhar os arquivos do lattes seria muito bom. Pode ser via git ou google drive, o que for mais prático.
rencmbr
Quando aplicávamos o lucylattes para muitos pesquisadores (no caso do nosso programa de pós-graduação, cerca de 60), o volume de dados da produção em periódicos e em congressos ficava muito grande, se extraída sem limitar-se o período de tempo. Daí a função de eliminar duplicatas na produção ficava muito lenta (para o nosso programa estava demorando quase 12 horas) e, para o relatório final, nem toda a produção era usada (só a especificada no arquivo de configuração).
O que fiz foi limitar a extração (feita em getpapers_minidom e getworksevents_minidom) ao período indicado no config_tk.txt, reduzindo o tempo de eliminação de duplicatas a alguns minutos. Não fiz isso para projetos, mas usando a mesma lógica, isso pode ser feito no futuro.
Algumas observações: 1) Caso você queira testar a sua versão e a nova com os nossos dados, posso subi-los para o meu fork ou mesmo incluí-los neste pull request. 2) Modifiquei o .gitignore para não gerar conflitos com os arquivos que são gerados após a execução do script (csv_producao, relatorio, etc) 3) Modifiquei novamente o getgeneraldata_minidom.py - ainda ocorreu erro na geração do relatório para 1 currículo que não tinha especificado cidade e estado de nascimento. Com a modificação está tudo OK.