Implementar mais de uma fonte de ocorrências

[edalcin]

Seria legal gerar uma coleção de ocorrências para cada fonte de dados. Por exemplo, uma lista de URLs com arquivos DwC "reflora.txt" iria gerar a coleção "occurReflora" no MongoDB. Uma lista em "gbif.txt" iria gerar "occurGbif". Desta forma, poderíamos não só comparar, mas ofertar na interface as ocorrências em diferentes fontes de dados.

[edalcin]

@Phenome Subi de prioridade essa tarefa. A ideia é:

• ler a lista de links de arquivos para criar a coleção de ocorrências
• o nome da coleção que será criada dentro do Mongo é o nome do arquivo com a lista de ocorrências. Por exemplo:
  • "reflora.txt" vai criar a coleção "reflora" no mongo e colocar as ocorrências dos DwC listados nesta coleção
• como "bonus" gerar um "log_reflora.txt" com a versão do DwC

Podemos conversar sobre isso, ou fazer um "sprint" juntos na próxima reunião!

[Phenome]

Sugiro criar um arquivo dento de referências, chamado iptSources.json, com a estrutura exemplo:

[
  {
    "collection": "reflora",
    "baseUrl": "https://ipt.jbrj.gov.br/reflora/",
    "datasets": [
      "alcb_herbarium",
      "ase_herbarium",
      "b_herb",
      "brba"
    ]
  },
  {
    "ipt": "jabot",
    "baseUrl": "https://ipt.jbrj.gov.br/jabot/",
    "datasets": [
      "cen",
      "cepec_herbarium"
    ]
  },
  {
    "ipt": "cria",
    "baseUrl": "http://ipt1.cria.org.br/ipt",
    "datasets": [
      "cen",
      "cepec_herbarium"
    ]
  }
]

Daí podemos processar o eml.do para comparar a versão, e se necessário processar o archive.do

[edalcin]

/referencias/source.json comitado!

O ideal acho que seria criar uma coleção no Mongo por "collection". Ou, criar uma coleção única com o "tag" "collection" em cada documento. Acho que a segunda opção é melhor, porque seria fácil filtrar e exportar para outra coleção.

[edalcin]

Criado o taxasources.json:

https://github.com/edalcin/DarwinCoreJSON/blob/main/referencias/taxasources.json

[edalcin]

Resolvido e implementado com o sources.json