Ingestão dos dados do IBGE

AddressForAll / suporte

Regras, datasets e tickets de suporte, para a gestão e transparência da Equipe de Suporte Tecnico da AddressForAll.

Other

0 stars 0 forks source link

Ingestão dos dados do IBGE #34

Closed ThierryAJean closed 2 weeks ago

ThierryAJean commented 3 months ago

Vamos fazer uma ingestão sem muitas melhorias agora para não perder o timing. Objetivo é colocar no Openaddresses.io Thierry deve preparar a página de licensas.

Linkp download: https://www.ibge.gov.br/estatisticas/sociais/populacao/38734-cadastro-nacional-de-enderecos-para-fins-estatisticos.html?=&t=downloads

ThierryAJean commented 2 months ago

Carlos está nos dizendo que os arquivos de endereços vêm em CSV por município ou por Estado. Precisamos adaptar o template preparado para juntar vários shapefiles, para que funcione para CSV. @0e1 vai fazer o template e passar para o Carlos. Template de loop para CSV.

ThierryAJean commented 2 months ago

Os dados de face de quadra foram ingeridos, falta o Peter ou Claiton homologar e Carlos publicar no Github.

ThierryAJean commented 2 months ago

Claiton fez em parte, mas não conseguiu contornar alguns porblemas ref à manipulação de colunas cujos títulos estão em maiúscula. Claiton vai contornar conforme discussão.

Carlos recomenda utilizar a palavra "jit" just in time.

Peter recomenda atualizar as versões do Linux, Postgress (v 16) e do Postgis (3.4.2)

0e1 commented 2 months ago

@crebollobr

Por favor, testar a ingestão de https://github.com/digital-guard/preserv-BR/tree/main/data/_pk0001.05

Antes atualize o git e a tabela de codecs:

cd /var/gits/_dg/preserv/src
git pull
make load_codec_type pg_datalake=dl05s_main

ThierryAJean commented 2 months ago

Carlos vai testar hoje e nos dar um retorno. A reunião com Overture é cada quarta-feira 13h.

crebollobr commented 2 months ago

QUERY: DROP FOREIGN TABLE IF EXISTS pk7600000105101_p1_geoaddress; CREATE FOREIGN TABLE pk7600000105101_p1_geoaddress ("" text)SERVER files OPTIONS (filename '/tmp/sandbox/_pk7600000105_001/33_RJ.csv', format 'csv', header 'true', delimiter ',') CONTEXT: PL/pgSQL function ingest.fdw_generate_direct_csv(text,text,text,boolean,boolean) line 9 at EXECUTE ERROR: syntax error at or near "SELECT" LINE 1: ... VIEW vw1_pk7600000105101_p1_geoaddress AS SELECT SELECT row...

tem 2 select

crebollobr commented 1 month ago

Resumo A ingestão padrão não deu certo. @ppKrauss está fazendo a ingestão manual

ThierryAJean commented 1 month ago

O link da licença está pronto na pasta do Onedrive https://addressforall-my.sharepoint.com/:b:/g/personal/thierry_addressforall_org/EeOB2M_fyKpKu-X4hg7cQVwBqilUGPyBIJcWpcRyYOSLSQ?e=DnYB8A

ThierryAJean commented 1 month ago

Peter diz: Ola, sobre IBGE/CNFE precisa enriquecer https://github.com/digital-guard/preserv-BR/tree/main/data/_pk0001.05

ThierryAJean commented 3 weeks ago

Faltou espaço de disco na OA. Estamos esperando. Talvez passaremos o dado diretamente para Overture.