digital-guard / preserv-BR

Digital Preservation of Brazilian metadata of donated maps.
http://git.digital-guard.org/preserv-BR
3 stars 1 forks source link

Coleta WFS Santos e diversos outros #186

Open ppKrauss opened 6 months ago

ppKrauss commented 6 months ago

O padrão WFS equivale a um "download fresquinho a todo momento", e garante a coleta padronizada das colunas desejadas (já filtradas), mesmo depois de alterações no servidor de origem.

O OpenAddresses sempre usou o recurso como principal fonte, para sua coleta e redistribuição. Na AddressForAll seguimos justamente a linha complementar, para a grande maioria dos países do terceiro mundo que não possuem maturidade digital ou investgimento em web services geográficos.

Para conferir consistência e atualizar, por exemplo BR-SP-Santos, podemos usar as dicas de openaddresses/sources/br/sp/santos.json, onde já se encontra bem configurado e operacional o coletor da URL do WFS oficial de lotes de Santos: https://egov1.santos.sp.gov.br/geoserver/santos/ows?service=WFS&version=2.0.0&request=GetFeature&typeName=santos:lotes&outputFormat=application%2Fjson&srsName=EPSG:4326

Nota

A sugestão é uma PoC. Preparar 1 a 3 make_conf's de WFS do Brasil para demonstrar como seria a "coleta periódica" (análoga ao que deveríamos estar fazendo com OSM) de municípios digitalmente maduros, com bons dados.
PS: todas as demais ações AddressForAll são consideradas coleta efêmera, pois além de depender de eventos de nossa iniciativa, não possuem garantia de durabilidade do ponto de coleta (quando não é e-mail é um download com risco de se perder a qualquer momento).

crebollobr commented 4 weeks ago

Statistics from file_id=65 (parcel_full of 7600002902101 of BR-SP-Santos) in ingest.feature_asis.+ + Originals: 54979 items. + + Not Intersecs: 0 items. + + Invalid: 147 items. + + Not simple: 2725 items. + + Empty: 1 items. + + Small: 2 items. + + Null: 0 items. + + Invalid geometry type: 0 items. + + Not closed: 0 items. + + Large: 0 items. + + Deduplication: 5558 items. + + Resulting in feature_asis: 41773. + + Resulting in feature_asis_discarded: 13206. +

crebollobr commented 4 weeks ago

https://github.com/digital-guard/preservCutGeo-BR2021/tree/main/data/SP/Santos/_pk0029.02/parcel