AddressForAll / WS

Core infrastructure for AdressForAll Web Services
1 stars 0 forks source link

Produzir makefile de cada pacote de dados #16

Closed ppKrauss closed 3 years ago

ppKrauss commented 4 years ago

Ja se encontra em operacao o workflow da Eclusa, que garante a integridade e custodia segura dos dados doados ou resgatados pelo Instituto. Como a mesma pessoa que efetua o FTP nao precisa ser a pessoa que constroe os scripts de ingestao, podemos convencionar o seguinte, com as seguintes responsabilidades:

  1. Igor fecha o pactote e garante sua homologacao no http://api-test.addressforall.org/v1.htm/nav_core/origin

  2. Carlos, a cada pacote (visivel no ls /home/igor/ ) avaliar com Igor o que fazer para gerar dados no PostGIS, e traduzir em script Linux, postando o mesmo como makefile na pasta do pacote. Cada tipo de geracao ou projeto tera suas entradas no makefile. Por hora deve permitir make proj_core, make prj_a4a e make prj_osmcodes, cada qual disparando as suas respespectivas dependencias.
    (90% de qualquer forma serao prj_a4a disparando a conversao de shapes de vias e shapes de lotes).

Por hora apenas os "testes piloto" precisam estar 100% funcionais.


Exemplos de makefile e execucao make:

# Ingest parts of the orignal datasets into the SQL database.

orig1  = "filenameOriginal1.zip"
orig2  = "filenameOriginal2.zip"

prj_a4a: mk_line mk_point

unizip1: $(orig1)
  mkdir -p /tmp/sandbox1/
  unzip -d "/tmp/sandbox1/$(orig1)"

mk_line: unzip1
  psql_mount_csv 
...
ThierryAJean commented 3 years ago

O makes files estão andando. Peter precisando fazer templates p entrega final para o Carlos começar a produzir.

ThierryAJean commented 3 years ago

CArlos fez o makefile de 16 cidades. Planeja fazer mais 4 hoje ou amanhã. Com estas 20 cidades, vamos poder gerar dados. E ver resultado.

crebollobr commented 3 years ago

Cidades feitas, se precisar de outras abrir nova issue