Para remover as informações de lotação dos servidores em exercício nas unidades prisionais e socioeducativas nos arquivos históricos precisamos de fazer um cruzamento por texto, tendo em vista que não temos os códigos das unidades administrativas nos arquivos da remuneração.
Os problemas de acentuação podem ser resolvidos (eg. CASA DE SEMILIBERDADE DE MURIAE e CASA DE SEMILIBERDADE DE MURIAÉ), mas lidar com o problema de mojibake (eg. CASA DE SEMILIBERDADE DE MURIA?). Tentei usar a biblioteca ftfy: fixes text for you mas sem sucesso.
Não consegui determinar a extensão desse problemas nos arquivos, mas não parece ser algo desprezível. Uma busca1 por "CENTRO DE INTERNAÃ?O PROVISËRIA PATOS DE MINAS" apontou ocorrência nos meses:
2017-04-01
2017-05-01
2017-06-01
2017-07-01
2017-08-01
2017-09-01
2017-10-01
2017-11-01
2017-12-01
2018-01-01
2018-02-01
2018-03-01
2018-04-01
2019-05-01
2019-06-01
2019-07-01
2019-08-01
[1] Criei uma base de dados local com SQLite para executar esse tipo de pesquisa em todos os meses
Para remover as informações de lotação dos servidores em exercício nas unidades prisionais e socioeducativas nos arquivos históricos precisamos de fazer um cruzamento por texto, tendo em vista que não temos os códigos das unidades administrativas nos arquivos da remuneração.
Os problemas de acentuação podem ser resolvidos (eg. CASA DE SEMILIBERDADE DE MURIAE e CASA DE SEMILIBERDADE DE MURIAÉ), mas lidar com o problema de mojibake (eg. CASA DE SEMILIBERDADE DE MURIA?). Tentei usar a biblioteca ftfy: fixes text for you mas sem sucesso.
Não consegui determinar a extensão desse problemas nos arquivos, mas não parece ser algo desprezível. Uma busca1 por "CENTRO DE INTERNAÃ?O PROVISËRIA PATOS DE MINAS" apontou ocorrência nos meses:
[1] Criei uma base de dados local com SQLite para executar esse tipo de pesquisa em todos os meses