Incluir testes CNPJ

[laura-l-amaral]

Próximos passos a partir dos testes descritos abaixo:

• [x] Arrumar dicionários (colocar 0 a esquerda quando necessário e inserir valores que não existem no dicionário e incluir)
• [x] Incluir códigos no diretório de natureza jurídica
• [x] Avaliar situação do diretório do CNAE (estão faltando códigos ou está conectado com o cnae errado)
• [x] Por que data na tabela da simples está desatualizada e arrumar se necessário
• A tabela do simples não possui data. No modelo da pipeline atual, os dados não são particionados por data de atualização. Como não há data, o update_coverage não realiza o update do coverage pelo simples fato de não estar configurado para tal.

Testes

• feitos para tabelas em basedosdados na data 2024-06-09 e 2021-11-23

1. empresas testes:

• relationships: data, natureza_juridica
• custom_dictionary_coverage: porte, qualificacao_responsavel
• unique_combination_of_columns: data, cnpj
• is_row_count_increasing -not_null: cnpj_basico

erros:

2024-06-09 | 2021-11-23

• custom_dictionary_coverage: qualificacao_responsavel - [05, 36, 00]

• relationships: natureza_juridica [3328,8885,2348]

  2021-11-23

• relationships: natureza_juridica [8885]

2. socios: não tem chave unica testes:

• relationships: data
• custom_dictionary_coverage: qualificacao_representante_legal, faixa_etaria,qualificacao,tipo,id_pais
• unique_combination_of_columns: data, cnpj
• data: is_row_count_increasing -not_null: cnpj

erros:

2024-06-09

• custom_dictionary_coverage: id_pais [359, 678, 452, 367, 200, 15]

2021-11-23

• custom_dictionary_coverage: id_pais [359,150,151,449,367,678,452]

3. simples testes:

• relationships: data_exclusao_mei, data_opcao_mei, data_opcao_simples
• unique_combination_of_columns: cnpj_basico
• data: is_row_count_increasing

erros: 2024-06-09 | 2021-11-23

• sem erros

4. estabelecimentos testes:

• relationships: sigla_uf, id_municipio, data_situacao_especial, cnae_fiscal_principal,
• custom_dictionary_coverage: identificador_matriz_filial, situacao_cadastral,motivo_situacao_cadastral
• unique_combination_of_columns: data, cnpj
• is_row_count_increasing -not_null: cnpj_basico, cnpj
• is_row_count_increasing

erros:

2024-06-09 | 2021-11-23 -relationships: cnae_fiscal_principal falha em 1.8M linhas com valores [ 8888888, 4751200, 5812300, 1091100, 3091100, 5611202, 1822900, 3511500, 9609201, 4721101, 2539000, 9900800]

2024-06-09 | 2021-11-23

• custom_dicionary_coverage: id_pais [ '200', '678', '452', '359', '737', '15', '393', '321', '449', '151', '367', '150', '74', '03', '02', '05', '06', '54', '71', '21', '34', '67', '36', '09', '10', '01', '16', '15', '75', '11', '04', '18', '00', '82' ]
• custom_dictionary_coverage: motivo_situacao_cadastral [00:09, 93]

2024-06-09

• relationships: sigla_uf falha 161k com valor EX

2021-11-23

• relationships: sigla_uf falha 151k com valor EX e BR

Diretório de empresas

• Ver materilização do diretório de empresas;
• Row acess policy para ter versão de usuários gratuitos e
• Deixar um coverage aberto e outro fecahdo