bireme / data-governance

This project aims to develop the levels of data governance for Virtual Health Library databases, including ETL, data quality and data visualization processes.
2 stars 1 forks source link

Correções e atualizações - Infometria Lilacs BDENF #258

Closed dossanluc closed 4 years ago

dossanluc commented 4 years ago

1) Ver o total de documentos, pois ainda há uma diferença de aprox. 4 mil registros

2) Possibilitar cruzar os assuntos (DeCS/MeSH) com país

3) Possibilitar cruzar os assuntos com revistas Em ambos os casos, ver se fica bom colocar a informação de país e revista no painel atual da evolução de assuntos por ano.

4) Verifique a consistência das quantidades de documentos por assunto e por autor que vemos no Tableau e na interface e busca da BVS. Exemplo 1: A "Sonia S Marcon" tem 303 documentos na BDENF, de acordo com o Tableau. Na BVS tem 324 recuperando com a expressão db:("BDENF") AND au:(SONIA AND S* AND MARCON) A diferença é pouca e pode ser por conta da diferença total de 4 mil documentos. Não espero que o número seja exato, porque a expressão de busca pode trazer falsos positivos.

  Exemplo 2:    O assunto "Atención de Enfermería" tem 997 documento na BDENF, de acordo com o Tableau. Na BVS tem 4.483 com a expressão db:("BDENF") AND mj:("Atención de Enfermería")
            A diferença é muito grande e seria maior se a busca fosse usando db:("BDENF") AND mh:("Atención de Enfermería"),  que é mais amplo. Acho que é preciso avaliar o ETL, caso não tenha nenhum filtro na visualização. Os números de                   documentos por assunto devem ser exatos entre Tableau e BVS. Só é aceitável pequenas variações por conta de diferença                   de atualização entre as plataformas.

5) Verificar com o Marcelo como incluir nos metadados do ETL a informação de Tipos de Estudos para BDENF. Tendo este dado, incluí-lo nos painéis

6) Verificar com o Marcelo se os temas de Enfermagem presentes em https://bvsenfermeria.bvsalud.org/vitrinas/post_vitrines/enfermeria-covid-19/, na seção "Áreas específicas de Cuidar em Salud y Enfermería" tem processamento. Se não tiver, será preciso processar a base BDENF para classificar os documentos de acordo com estes temas e incluir no ETL e, consequentemente, em um painel parecido com o que já há hoje para assunto por ano.

dossanluc commented 4 years ago

Andamento até 07/08 1) Ver o total de documentos, pois ainda há uma diferença de aprox. 4 mil registros R.: Item corrigido com a alteração de um filtro na visualização.

2) Possibilitar cruzar os assuntos (DeCS/MeSH) com país 3) Possibilitar cruzar os assuntos com revistas R.: Itens em analise

4) Verifique a consistência das quantidades de documentos por assunto e por autor que vemos no Tableau e na interface e busca da BVS. R.: Exemplo1 - A diferença diminuiu, porém não esta igual. Estamos reprocessando os dados no ETL R.: Exemplo2 - Identificamos um "gap" no processando os dados no ETL, o mesmo foi corrido e os dados estão em reprocessamento.

5) Verificar com o Marcelo como incluir nos metadados do ETL a informação de Tipos de Estudos para BDENF. Tendo este dado, incluí-lo nos painéis R.: Os dados já estão contemplados no processo semanal de carga de estratégias, vamos realizar a inclusão na visualização.

6) Verificar com o Marcelo se os temas de Enfermagem presentes em https://bvsenfermeria.bvsalud.org/vitrinas/post_vitrines/enfermeria-covid-19/ R.: Estamos incluindo no processo de carga de estratégia, o @botturam está construindo a primeira fase conforme issue 341 (https://github.com/bireme/db-processing/issues/341)

dossanluc commented 4 years ago

Andamento até 14/08

  1. Ver o total de documentos, pois ainda há uma diferença de aprox. 4 mil registros R.: Item corrigido com a alteração de um filtro na visualização.

  2. Possibilitar cruzar os assuntos (DeCS/MeSH) com país

  3. Possibilitar cruzar os assuntos com revistas R.: Itens em analise

  4. Verifique a consistência das quantidades de documentos por assunto e por autor que vemos no Tableau e na interface e busca da BVS. R.: Exemplo1 - A diferença diminuiu, porém não esta igual. Estamos reprocessando os dados no ETL R.: Exemplo2 - Identificamos um "gap" no processando os dados no ETL, o mesmo foi corrido e os dados estão em reprocessamento.

  5. Verificar com o Marcelo como incluir nos metadados do ETL a informação de Tipos de Estudos para BDENF. Tendo este dado, incluí-lo nos painéis R.: Os dados já estão contemplados no processo semanal de carga de estratégias, vamos realizar a inclusão na visualização.

  6. Verificar com o Marcelo se os temas de Enfermagem presentes em https://bvsenfermeria.bvsalud.org/vitrinas/post_vitrines/enfermeria-covid-19/ R.: Atendido na issue 341 e na alteração no processo semanal de carga de estratégias (ETL - Pentaho)

dossanluc commented 4 years ago

Andamento até 18/08

  1. Ver o total de documentos, pois ainda há uma diferença de aprox. 4 mil registros R.: Item corrigido com a alteração de um filtro na visualização.

  2. Possibilitar cruzar os assuntos (DeCS/MeSH) com país

  3. Possibilitar cruzar os assuntos com revistas R.: Nova visualização disponível para validação

  4. Verifique a consistência das quantidades de documentos por assunto e por autor que vemos no Tableau e na interface e busca da BVS. R.: Exemplo1 - A diferença diminuiu, porém não esta igual. Estamos reprocessando os dados no ETL R.: Exemplo2 - Identificamos um "gap" no processando os dados no ETL, o mesmo foi corrido e os dados estão em reprocessamento.

  5. Verificar com o Marcelo como incluir nos metadados do ETL a informação de Tipos de Estudos para BDENF. Tendo este dado, incluí-lo nos painéis R.: Os dados já estão contemplados no processo semanal de carga de estratégias, vamos realizar a inclusão na visualização. R.: Nova visualização disponível para validação

  6. Verificar com o Marcelo se os temas de Enfermagem presentes em https://bvsenfermeria.bvsalud.org/vitrinas/post_vitrines/enfermeria-covid-19/ R.: Atendido na issue 341 e na alteração no processo semanal de carga de estratégias (ETL - Pentaho) R.: Verificando as quantidades de registros.

renatomurasaki commented 4 years ago

No item 6, favor considerar as áreas temáticas disponíveis na BVS Enfermería e não o recorte COVID-19, disponível em

https://bvsenfermeria.bvsalud.org/pt/

botturam commented 4 years ago

item 6: disponível em:

serverofi5:/bases/Strategies2IAHX/apps/ids_iahx/enfermeria/ENFERMERIA_full.ids

dossanluc commented 4 years ago

item 6: disponível em: Estratégias de Enfermeria atualizadas na base de dados, os mesmo serão baixados para a visualização.

dossanluc commented 4 years ago
  1. Possibilitar cruzar os assuntos (DeCS/MeSH) com país
  2. Possibilitar cruzar os assuntos com revistas Inclusão dos filtros abaixo nos Dashboards 1, 2 e 4
    • Pais
    • Revista
    • Área Temática
    • Tipo de Estudo
dossanluc commented 4 years ago

Visualização disponível e atualizada.