digital-guard / preserv-UY

Digital Preservation of Uruguay metadata of donated maps.
https://git.digital-guard.org/preserv-uy
Creative Commons Zero v1.0 Universal
0 stars 1 forks source link

Erro no make me #4

Closed crebollobr closed 1 year ago

crebollobr commented 1 year ago

Erro no make me

Link https://github.com/digital-guard/preserv-UY/tree/main/data/_pk0002.01

make me pg_db=ingest20

-- Generating makefile --
cd /var/gits/_dg/preserv/src; make generate_makefile country=UY pack_id=2.1 baseSrcPack=/var/gits/_dg/preserv-UY/data/_pk0002.01 baseSrc=/var/gits/_dg output=/tmp/pg_io/tmpfile_UY2.1
make[1]: Entering directory '/var/gits/_dg/preserv/src'
-- Generating makefile in /tmp/pg_io/tmpfile_UY2.1 --
NOTICE:  codec_desc_global : {"srid": "4326"}
NOTICE:  layer : geoaddress, method: csv2sql
NOTICE:  codec resultante : {"srid": "4326"}
NOTICE:  codec_extension from method: <NULL>
ERROR:  TypeError: the JSON object must be str, bytes or bytearray, not NoneType
CONTEXT:  Traceback (most recent call last):
  PL/Python function "jsonb_mustache_render", line 4, in <module>
    j = json.loads(i)
  PL/Python function "jsonb_mustache_render", line 338, in loads
PL/Python function "jsonb_mustache_render"
SQL statement "SELECT replace(jsonb_mustache_render(mkme_tpl, optim.jsonb_mustache_prepare(p_yaml)),E'\u130C9',$$\"$$)"
PL/pgSQL function optim.generate_makefile(text,text,text,text,text) line 16 at SQL statement
make[1]: *** [makefile:224: generate_makefile] Error 1
make[1]: Leaving directory '/var/gits/_dg/preserv/src'
make: *** [makefile:40: me] Error 2
0e1 commented 1 year ago

Problema causado pelo preenchimento errado de donor.csv e donatePack.csv.

Todo o donor deve ter um vatid (ou equivalente) (todo donor deve ter existência legal comprovada). No caso do Uruguai um RUT. Por favor, fornecer o RUT do donor. Notar que adicionei o _wikidataid dele. O RUT eu não encontrei. É possível consultar um RUT em https://servicios.dgi.gub.uy/serviciosenlinea/dgi--servicios-en-linea--consulta-de-certifcado-unico, desde que se saiba o RUT.

Em Peru (RUC) e Chile (RUT), eu encontrei os vatid que faltavam. Mas é preciso verificá-los com os números que possuem. No caso do Peru é possível buscar em https://e-consultaruc.sunat.gob.pe/cl-ti-itmrconsruc/FrameCriterioBusquedaWeb.jsp.

Lembrar que, após atualizações em donor e donatepack deve-se executar:

pushd /var/gits/_dg/preserv/src
make load_optim_csv pg_datalake=dl03t_main
popd

Sem isso, os novos dados não estarão disponíveis para o make usar. Obviamente, vai funcionar se os arquivos donor.csv.e donatepack.csv não estiverem com algum problema no preenchimento.

Agora, o make me está funcionando para _pk0002.01, apesar de vat_id=vatid:. Novamente, esse número é importante para o esquema de doação/preservação proposto.

crebollobr commented 1 year ago

@luisfelipebr consegue ajudar nessa questão de documentos de outros países?

ppKrauss commented 1 year ago

@luisfelipebr e @crebollobr , só serão publicados pacotes com dados completos, o "donor" precisa ser identificado com CNPJ (vatID) e/ou Wikidata.