dadosjusbr / parser

MIT License
4 stars 0 forks source link

Testes de regressão? #11

Closed danielfireman closed 5 years ago

danielfireman commented 5 years ago

Fiquei super feliz com os testes que você fez e essa issue para a gente avaliar a dificuldade em automatizar eles.

Será que seria muito complicado usar esses arquivos que você já baixou e criar uma suite de testes de regressão? Se você conseguir descrever as checagens que fez, eu posso ajudar com o código para automatizar.

O que acha?

viniagostini commented 5 years ago

@danielfireman Gostei muito da ideia! Acho que vai dar uma segurança muito boa pra gente ir progredindo com a implementação e para adicionar funcionalidades futuramente.

Eu não acho que seja muito complicado implementar os testes utilizando as planilhas, minha maior preocupação seria a infraestrutura para rodá-los.

Falando de espaço físico, teríamos cerca de 680mb de planilhas, não sei se seria uma boa mantê-las no nosso repositório, e se formos manter em uma fonte externa, será que o CI nos fornece recursos de rede e armazenamento o suficiente para lidar com as mesmas?

Fora isso, o tempo e o recurso computacional para rodar nossa suíte iriam aumentar bastante, também não sei se o CI nos dá de forma gratuita isso.

Talvez a gente possa criar um mecanismo que rode localmente a bateria de testes para todas as planilhas e no repositório e no CI mantemos apenas um conjunto de planilhas que em algum momento causaram algum problema, ou que fogem do padrão.

Eu nunca tive nenhum tipo de experiência com nada parecido, mas é um desafio que me anima muito!

O que tu acha? Ideias?

danielfireman commented 5 years ago

O CI vai fazer download do que estiver no github. Acho que não precisaremos dos 680mb de planilhas, mas creio que ter uns 5-10 exemplos (de preferências com características diferentes) é uma boa. Já temos a infra aqui, só precisamos aumentar um pouco o conjunto para ter bastante confiança. O que acha? É uma forma de conseguir melhorar muito a confiança no serviço sem demandar muito tempo.

viniagostini commented 5 years ago

Top. Curti, estou terminando uma feature do parser e logo depois dela eu mando um PR com esses testes de regressão :smile: