Closed ThierryAJean closed 1 month ago
Carlos está nos dizendo que os arquivos de endereços vêm em CSV por município ou por Estado. Precisamos adaptar o template preparado para juntar vários shapefiles, para que funcione para CSV. @0e1 vai fazer o template e passar para o Carlos. Template de loop para CSV.
Os dados de face de quadra foram ingeridos, falta o Peter ou Claiton homologar e Carlos publicar no Github.
Claiton fez em parte, mas não conseguiu contornar alguns porblemas ref à manipulação de colunas cujos títulos estão em maiúscula. Claiton vai contornar conforme discussão.
Carlos recomenda utilizar a palavra "jit" just in time.
Peter recomenda atualizar as versões do Linux, Postgress (v 16) e do Postgis (3.4.2)
@crebollobr
Por favor, testar a ingestão de https://github.com/digital-guard/preserv-BR/tree/main/data/_pk0001.05
Antes atualize o git e a tabela de codecs:
cd /var/gits/_dg/preserv/src
git pull
make load_codec_type pg_datalake=dl05s_main
Carlos vai testar hoje e nos dar um retorno. A reunião com Overture é cada quarta-feira 13h.
QUERY: DROP FOREIGN TABLE IF EXISTS pk7600000105101_p1_geoaddress; CREATE FOREIGN TABLE pk7600000105101_p1_geoaddress ("" text)SERVER files OPTIONS (filename '/tmp/sandbox/_pk7600000105_001/33_RJ.csv', format 'csv', header 'true', delimiter ',') CONTEXT: PL/pgSQL function ingest.fdw_generate_direct_csv(text,text,text,boolean,boolean) line 9 at EXECUTE ERROR: syntax error at or near "SELECT" LINE 1: ... VIEW vw1_pk7600000105101_p1_geoaddress AS SELECT SELECT row...
tem 2 select
Resumo A ingestão padrão não deu certo. @ppKrauss está fazendo a ingestão manual
O link da licença está pronto na pasta do Onedrive https://addressforall-my.sharepoint.com/:b:/g/personal/thierry_addressforall_org/EeOB2M_fyKpKu-X4hg7cQVwBqilUGPyBIJcWpcRyYOSLSQ?e=DnYB8A
Peter diz: Ola, sobre IBGE/CNFE precisa enriquecer https://github.com/digital-guard/preserv-BR/tree/main/data/_pk0001.05
Faltou espaço de disco na OA. Estamos esperando. Talvez passaremos o dado diretamente para Overture.
Vamos fazer uma ingestão sem muitas melhorias agora para não perder o timing. Objetivo é colocar no Openaddresses.io Thierry deve preparar a página de licensas.
Linkp download: https://www.ibge.gov.br/estatisticas/sociais/populacao/38734-cadastro-nacional-de-enderecos-para-fins-estatisticos.html?=&t=downloads