basedosdados / website

🖥 Website oficial da BD
http://basedosdados.org
24 stars 8 forks source link

[migracao] rodar o package validate para todos os pacotes novamente #64

Closed d116626 closed 3 years ago

d116626 commented 3 years ago

Após a resolução definitiva do problema de redirect do staging (@brenodega28) vale validar todos os pacotes e reativar a opcao Extra.forbid no ckan_default

Exemplo de pacote que está com problema: pesquisa-mensal-de-empregos-pme o campo license_urlcaiu na ultima versão dos metadados

vncsna commented 3 years ago

@d116626 e @rdahis não confirmei 100%, mas acho que está faltando spatial_coverage e temporal_coverage ao menos nos datasets que tratei. É pra ter uma cópia em dataset e em cada resource? Dai dataset seria uma união desses campos nas tabelas?

d116626 commented 3 years ago

@d116626 e @rdahis não confirmei 100%, mas acho que está faltando spatial_coverage e temporal_coverage ao menos nos datasets que tratei. É pra ter uma cópia em dataset e em cada resource? Dai dataset seria uma união desses campos nas tabelas?

Isso, alguns campos do dataset é um set da união dos resources do package. Por enquanto a gente ainda n decidiu se isso vai ficar nos extras do dataset ou se vamos retornar o resultados a partir dos resources, acho que ta na hora de tomar essa decisão. O que acham @rdahis e @JoaoCarabetta ?

rdahis commented 3 years ago

Tá na hora. Até pro @brenodega28 poder incluir os filtros de spatial_coverage e temporal_coverage na busca a nível de dataset.

Temos alguma forma de ter endpoint que retorna, por exemplo, "datasets tais que recursos tem cobertura espacial = x"? Caso sim, é a solução mais limpa. Caso não, vamos implementar essa solução do set/união? @d116626

vncsna commented 3 years ago

Pensando melhor prefiro que fiquem nos resources, pra não ter muito dado cruzado/redundante. E que talvez tenha que ser atualizado de vez que quando pra ser consistente com as tabelas.

Neste momento a busca por spatial_coverage e temporal_coverage funciona procurando nos recursos. É uma busca textual em string, e as strings consideradas são transformações diretas de json pra string, como em [1990, 1991].

rdahis commented 3 years ago

Pode fechar?

vncsna commented 3 years ago

Acho que sim