search

splor-mg / dpm

https://splor-mg.github.io/dpm/
0 stars 0 forks source link

Adicionar suporte para instalação de sources que são data packages locais #8

Open fjuniorr opened 1 year ago

fjuniorr commented 1 year ago

A propriedade sources.path também pode ser especificada com um caminho que aponte para um data package local, usando caminho absoluto ou relativo. Exemplos: 

name: roperacional
resources:
  - name: despesa
    path: data/despesa.csv
  - name: receita
    path: data/receita.csv
sources:
  - name: reest
    path: https://raw.githubusercontent.com/splor-mg/reestimativa-dados/dev/datapackage.yaml
  - name: loa
    path: sources/loa/datapackage.yaml # data package local com caminho relativo
  - name: ldo
    path: /home/fjuniorr/ldo/datapackage.yaml # data package local com caminho absoluto

Usualmente as fontes de dados especificadas como data packages locais terão recursos armazenados remotamente (ie. resource.path é uma URL).

fjuniorr commented 11 months ago

Para desenvolver os checks de consistência seria muito conveniente poder instalar de data packages locais para evitar sincronizações desnecessárias com o Github. Atualmente o erro abaixo é gerado:

MissingSchema: Invalid URL 
'/Users/fjunior/Projects/splor/sisor-dados/data/base_orcam_despesa_item_fiscal.csv': No scheme supplied. 
Perhaps you meant https:///Users/fjunior/Projects/splor/sisor-dados/data/base_orcam_despesa_item_fiscal.csv?