Incorporação de novas bases de descritivos e alteração do padrão de arquivos

splor-mg / dados-aux-classificadores

0 stars 0 forks source link

Incorporação de novas bases de descritivos e alteração do padrão de arquivos #13

Closed carloshob closed 5 months ago

carloshob commented 5 months ago

…a atualizacao de schema e datapackage

carloshob commented 5 months ago

Adicionar uo_cod em schemas/aux-funcional-programatica.yaml em virtude de verificar valor de crédito inicial e autorizado roperacional#27 (comment)

Aplicar decisão Utilizar nomes mais curtos para recursos #10 (comment)

Aplicar regras de estilo Adicionar seção com regras de estilo para utilização de hífen (-) ou underscore (_) em nomes cookiecutter-datapackage#39

Todas as alterações foram feitas, conforme alinhado e , inclusive, acho que consegui implementar a substituição do caractere "-" por "_" no extract.R!

carloshob commented 5 months ago

@fjuniorr, já fiz a atualização das bases nas quais estavam faltando os anos de 2018 e 2019!

carloshob commented 5 months ago

@fjuniorr, fiz a atualização das bases de UO para retirada do parâmetro "Ano de Exercício UO". Além disso, criei uma pasta "_temp" em ./ com os achados envolvendo as análises de chave primária, bem como os scripts que utilizei para auxiliar nessa análise.

Em resumo, encontrei:

i) alterações de descritivos que resultam em erro no teste de chave única, em sua maioria diferença de espaço e abreviação no descritivo - caso da base elemento_item

ii) existem também chaves que entendi estarem sendo duplicadas pela existência de outras variáveis que não estão em incluídas na primaryKey, tal como nas bases da funcional_programatica e da uo.

fjuniorr commented 5 months ago

i) alterações de descritivos que resultam em erro no teste de chave única, em sua maioria diferença de espaço e abreviação no descritivo - caso da base elemento_item

A gente não pode ter essa duplicação na base final. Vamos ter que adicionar alguma etapa de limpeza no fluxo.

ii) existem também chaves que entendi estarem sendo duplicadas pela existência de outras variáveis que não estão em incluídas na primaryKey, tal como nas bases da funcional_programatica e da uo.

Quais variáveis? Elas deveriam estar sendo incluídas?