fjuniorr
commented
3 years ago Para referência as instruções que removi do README.
Instruções - Reproduzir série histórica
Na versão datapackage$version desse conjunto de dados foi necessário realizar um tratamento na série histórica dos arquivos para adequação ao documentado no datapackage.json.
Além disso, foi necessário:
- restringir as unidades administrativas;
- corrigir os valores da remuneração do CBMMG.
Essa tratamento ocorreu uma única vez, com a seguinte sequência de scripts:
-
download_servidores.RDownload de 91 arquivos (jun/2012 até dez/2019) paradata-raw/servidores/que sofreram tratamentos manuais descritos aqui -
download_cbmmg.RDownload de 84 arquivos (jan/2012 até dez/2018) paradata-raw/cbmmg/. As seguintes alterações manuais devem ser feitas:- Os meses de jan/2012 a mai/2012 (5 arquivos) devem ser excluídos pois a série histórica da planilha de remuneração se inicia em jun/2012
- O mês de fev/2017 demanda ajuste manual nas últimas colunas antes da execução dos demais scripts
Essas operações podem ser executadas com
make downloadclean_cbmmg.RLimpeza e padronização das planilhasdata-raw/cbmmg/e staging emdata/cbmmg/
Regras de validação
Consistência campo calculado - remuneração líquida
- Remunerações Após Deducões Obrigatórias (
rem_pos) =- (+) Remuneração Básica Bruta (
remuner) - (-) Abate Teto Valor (
teto) - (+) Férias (
ferias) - (+) Gratificação Natal (
decter) - (+) Prêmio Produtividade
(premio) - (+) Férias-Prêmio (
feriasprem) - (+) Jetons Folha (
jetons) - (+) Demais Eventuais (
eventual) - (-) IRPF (
ir) - (-) Contribuição Previdenciária (
prev)
- (+) Remuneração Básica Bruta (
Normalização de texto
- Espaço entre palavras
- UTRAMIG FUND EDUC PARA O TRAB (57/100 vezes)
- UTRAMIG-FUND.EDUC.PARA O TRAB. (43/100 vezes)
Os scripts desse projeto estão demasiadamente complexos porque foram desenvolvidos "na correria" para atendimento do pedido de acesso à informação 1520000062202067 e tiveram de lidar com a limpeza dos arquivos da série histórica, que apresentavam diversas inconsistências em termos de formatação e conteúdo.
Ao invés de refatorar e documentar esses scripts de forma adequada para lidar com a dívida técnica, vou optar por separar os scripts necessários para reprodução da série histórica dos scripts necessários para atualização mensal do conjunto de remuneração.
Ainda não sei se deixo no mesmo repositório em um branch separado, ou se crio outro repo.