[infra] Remove dependencia de YAMLs do pacote

[d116626]

Mapeamento dos YAML no pacote

1. Config
   1. Alterar o template do config.toml
   2. Alterar os templates da configuração
   3. Alterar, se necessário, o processo de inicialização
2. Dataset
   1. init: cria um objeto Metadata em self.metadata
   2. dataset_config: carrega os metadados do yaml
   3. _setup_dataset_object: atualizar a descrição (.txt) para o bigquery
   4. _write_readme_file: gera o [README.md](http://readme.md/)
   5. init: cria ou substitui o arquivo yaml do dataset
3. Table
   1. init: cria um objeto Metadata em self.metadata
   2. table_config: carrega os metadados do yaml
   3. _is_partitioned: verifica se a tabela é particionada pelos dados do yaml (campos de particionamento)
   4. _load_schema: gera o json do schema da tabela e envia para o BQ
   5. _make_publish_sql: cria o arquivo publish.sql baseado no yaml e salva na pasta da tabela
   6. _make_template: cria o arquivo yaml e o publish.sql
   7. update_columns: carrega os metadados do arquivo yaml, lê a planilha de arquitetura (google sheets ou arquivo csv, xls, xlsx, xlsm, xlsb, odf, ods, odt), insere em cols e salva o arquivo yaml com as colunas
   8. init: gera os arquivos de configuração (table_config.yaml e publish.sql) com base em um sample dos arquivos de dados e, caso exista uma planilha de arquitetura, atualiza as colunas com base nela
   9. create: cria a tabela no BQ e chama o init para gerar os arquivos de configuração
   10. update: atualiza o schema do BQ, usano os metadados para renderizar o arquivo .txt de descrição da tabela
   11. publish: cria a tabela em produção no BQ, usando o publish.sql para criar a view atual.
4. Base
   1. _load_yaml: método responsável por carregar os dados dos arquivos yaml

Workflow

• Table.create

  • staging
    • publish.sql: usa dados do csv para criar a view em que todas as colunas são string
    • schema-staging.json: td como string

• Se tabela n existe na API

  • raise: direciona para fomulario de criação de metadados

• Se tabela já existe,

  • Usa dados da API para preencher os arquivos necessarios
    • atualiza publish.sql
    • atualiza schema-staging.json
    • cria schema-prod.json
    • cria table_description.txt

[rdahis]

Podemos fechar?