Adapta o projeto para o novo formato de dados da Receita Federal

cuducos commented 2 years ago

Closes #37

Estou atualizando o banco de dados de produção e fazendo o deploy da nova versão nas próximas horas.

Obrigado demais a todo mundo que ajudou nesse refactor 💜

@danielfireman (aka @danielfireman-ifal) @avelino @leogregianin @andidevel @renatosuero @vidalvasconcelos @andidevel

Marcando aqui também algumas pessoas que participaram da discussão e que talvez tenham interesse: @rictom @isorensen @feljrz @diegoarantes @edumaciel10

avelino commented 2 years ago

congratulations my friend @cuducos

Belo trabalho, esse caminho fará o projeto ser mais sustentável no âmbito de consumo da API que logo logo usaremos prestd \o/

cuducos commented 2 years ago

Por curiosidade, usei o vegeta para testar a performance do servidor agora que armazenamos a resposta em JSON pronta no banco de dados (ao invés de fazer uma consulta e algumas sub-consultas por CNPJ).

Parâmetros

~5200 CNPJs selecionados aleatoriamente
10min de teste de carga
Sem limites de requisições por segundo

SQL para obter CNPJs aleatórios

```sql SELECT id FROM cnpj TABLESAMPLE BERNOULLI (0.01) LIMIT 10000; ```

Antes

640k requisições em 10min
~1100 requisições/min
Latência ~120ms
Taxa de sucesso ~89%

Relatório do Vegeta

``` Requests [total, rate, throughput] 640352, 1067.25, 945.39 Duration [total, attack, wait] 10m1s, 10m0s, 698.48ms Latencies [min, mean, 50, 90, 95, 99, max] 48.523ms, 119.957ms, 100.812ms, 168.282ms, 207.184ms, 380.001ms, 15.776s Bytes In [total, mean] 765832251, 1195.96 Bytes Out [total, mean] 0, 0.00 Success [ratio] 88.68% Status Codes [code:count] 200:567894 404:72458 Error Set: 404 Not Found ```

Depois

780k requisições em 10min – 140k requisições a mais no mesmo período de tempo
~1300 requisições/min – 100 requisições/s a mais
Latência ~99ms — 17% mais rápido
Taxa de sucesso 100% — zero perdas

Relatório do Vegeta

``` Requests [total, rate, throughput] 780188, 1300.31, 1297.43 Duration [total, attack, wait] 10m1s, 10m0s, 1.332s Latencies [min, mean, 50, 90, 95, 99, max] 44.693ms, 98.511ms, 82.282ms, 128.796ms, 152.585ms, 286.428ms, 16.508s Bytes In [total, mean] 1343606112, 1722.16 Bytes Out [total, mean] 0, 0.00 Success [ratio] 100.00% Status Codes [code:count] 200:780188 Error Set: ```

danielfireman commented 2 years ago

Muito bom!!!

edumaciel10 commented 2 years ago

Fera!!!

cuducos / minha-receita

Adapta o projeto para o novo formato de dados da Receita Federal #107