bireme / thesaurus-wp-plugin

Other
0 stars 1 forks source link

Extração dos termos do MeSH em francês dos arquivos RRF do UMLS #81

Closed arthurtreuherz closed 1 year ago

arthurtreuherz commented 3 years ago

Wilson, esses são os arquivos/tabelas no formato RRF do subset que eu criei do UMLS2021AA contendo apenas vocabulários nos 4 idiomas da região da AL&C (por isso os demais idiomas aparecem com tamanho zero). Um deles, portanto, contém os vocabulários em francês: MRXW_FRE.RRF) e nele portanto também estão os termos do MeSH 2021 em francês (MSHFRE). Os arquivos estão no endereço: quartzo2:/home/quartzo/decsweb/www/bases/20210614_UMLS/

arquivos-RRF-do-UMLS2021AA-subset-ing-esp-por-fre

Favor buscar procedimento do Fábio que tabula esses termos para o webservice do UMLS existente no portal antigo do DeCS, na tentativa de extrair os termos em francês do MSHFRE, para posterior carregamento no fi-admin para o tesauro DeCS. Talvez seja necessário extrair dados do outro arquivo marcado, MRCONSO.RRF.

No site do UMLS (https://uts.nlm.nih.gov/uts/umls/home) você também pode conseguir informações úteis.

acecampos commented 2 years ago

@wilsonmoura por favor, extrair os termos em francês do MSHFRE também de 2019, 2020 e 2022. Grata!

acecampos commented 1 year ago

@wilsonmoura: Instruções para download do MetamorphoSys estão em

https://www.nlm.nih.gov/research/umls/implementation_resources/metamorphosys/help.html

Que você acha de fazer um teste com a edição 2022 mesmo no ambiente de testes?

acecampos commented 1 year ago

Sinopse do MSHFRE contendo o ano de edição disponível para descarregar pelo site do UMLS

https://www.nlm.nih.gov/research/umls/sourcereleasedocs/current/MSHFRE/metadata.html

Metamorphosys: ferramenta que permite customizar os dados descarregados (downloaded) do UMLS MSH: https://www.nlm.nih.gov/research/umls/implementation_resources/metamorphosys/help.html https://www.ncbi.nlm.nih.gov/books/NBK9684/

Filtro de vocabulário https://www.nlm.nih.gov/research/umls/implementation_resources/metamorphosys/help.html#Filters

Metathesaurus - Rich Release Format (RRF)

https://www.ncbi.nlm.nih.gov/books/NBK9685/#ch03.sec3.3.4

Release Note from UMLS:

https://www.nlm.nih.gov/research/umls/knowledge_sources/metathesaurus/release/notes.html

Download das fontes de conhecimento do UMLS:

https://www.nlm.nih.gov/research/umls/licensedcontent/umlsknowledgesources.html?_gl=1*xd97bx*_ga*MTEzNTA3MjY5MS4xNjM0ODExODE2*_ga_P1FPTH9PL4*MTY2Mzk0MTM5NS4yNDguMS4xNjYzOTQyNDkxLjAuMC4w

lucianaPRB commented 1 year ago

@wilsonmoura Conforme discutido em reunião, o subset do Francês MSHFRE 2022AB foi incluído no Sharepoint. Caminho encaminhado por email. Obrigada!

lucianaPRB commented 1 year ago

@wilsonmoura Para testar carregamento teste do MSH-Fre, exemplos de registros que devem ser atualizados: Birth Cohort - D000089822 Body Integrity Identity Disorder - D000081042 Persistent Infection - D000088562 Geroscience - D000089323 Exergaming - D000088544

Obrigada!

wilsonmoura commented 1 year ago

@acecampos @lucianaPRB o carregamento dos termos MeSH em francês foi finalizado. Favor validar no ambiente de testes.

acecampos commented 1 year ago

Oi, Wilson! Marcamos uma reunião breve para fazer algumas perguntas para você, ok? Obrigada! Abraços,

Ana Cris


De: Wilson da Silva Moura @.> Enviado: segunda-feira, 12 de dezembro de 2022 11:41 Para: bireme/thesaurus-wp-plugin @.> Cc: Campos, Ana Cristina Espindola (BIR) @.>; Mention @.> Assunto: Re: [bireme/thesaurus-wp-plugin] Extração dos termos do MeSH em francês dos arquivos RRF do UMLS (#81)

@acecamposhttps://nam12.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com%2Facecampos&data=05%7C01%7Ccamposan%40paho.org%7C6a6ea6b6e44d4e1032c008dadc4ef0d7%7Ce610e79c2ec04e0f8a141e4b101519f7%7C0%7C0%7C638064528851405669%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000%7C%7C%7C&sdata=T5FPZVQ91B2M99OcdX4vcMCmtFdOsxMa450aXOzDrI8%3D&reserved=0 @lucianaPRBhttps://nam12.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com%2FlucianaPRB&data=05%7C01%7Ccamposan%40paho.org%7C6a6ea6b6e44d4e1032c008dadc4ef0d7%7Ce610e79c2ec04e0f8a141e4b101519f7%7C0%7C0%7C638064528851405669%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000%7C%7C%7C&sdata=mpRv883R9d7DngkTCGhqlMTkrIEduOkGHJP84NbT%2BNE%3D&reserved=0 o carregamento dos termos MeSH em francês foi finalizado. Favor validar no ambiente de testes.

— Reply to this email directly, view it on GitHubhttps://nam12.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com%2Fbireme%2Fthesaurus-wp-plugin%2Fissues%2F81%23issuecomment-1346624704&data=05%7C01%7Ccamposan%40paho.org%7C6a6ea6b6e44d4e1032c008dadc4ef0d7%7Ce610e79c2ec04e0f8a141e4b101519f7%7C0%7C0%7C638064528851405669%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000%7C%7C%7C&sdata=A9U45XzyENzX%2FnY7QCWsSh2tgUJ3is4%2B3y2N%2FgYjtSE%3D&reserved=0, or unsubscribehttps://nam12.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com%2Fnotifications%2Funsubscribe-auth%2FAINVH7TFXLZAYKJG2YRW2HLWM42RFANCNFSM46XN47OA&data=05%7C01%7Ccamposan%40paho.org%7C6a6ea6b6e44d4e1032c008dadc4ef0d7%7Ce610e79c2ec04e0f8a141e4b101519f7%7C0%7C0%7C638064528851405669%7CUnknown%7CTWFpbGZsb3d8eyJWIjoiMC4wLjAwMDAiLCJQIjoiV2luMzIiLCJBTiI6Ik1haWwiLCJXVCI6Mn0%3D%7C3000%7C%7C%7C&sdata=OomjbAuDwyQRPF8WWgk%2FM31HbxYK8ZMfa2dxKYu2YY4%3D&reserved=0. You are receiving this because you were mentioned.Message ID: @.***>

IMPORTANT: This transmission is for use by the intended recipient and it may contain privileged, proprietary or confidential information. If you are not the intended recipient or a person responsible for delivering this transmission to the intended recipient, you may not disclose, copy or distribute this transmission or take any action in reliance on it. If you received this transmission in error, please dispose of and delete this transmission. Thank you.

acecampos commented 1 year ago

@wilsonmoura conforme mostrado em reunião presencial, os termos preferidos dos conceitos não preferidos não estão sendo colocados como tal. Registros para serem usados no teste: Persistent Infection - D000088562 Geroscience - D000089323 Exergaming - D000088544 Climate Models - D000090082 Mandibular Canal - D000088263


Exemplo de uma ausência de PEP em fr: Descriptor UI: D000091385 ConceptUI: M000748953

Sénescence des fleurs ID do termo: fred079772 Termo preferido do conceito: N É permutado: N LexicalTag: NON Termo preferido do registro: N Data de criação: 11 de Dezembro de 2022

Deveria ser

Sénescence des fleurs ID do termo: fred079772 Termo preferido do conceito: Y É permutado: N LexicalTag: NON Termo preferido do registro: N Data de criação: 11 de Dezembro de 2022


Gratas, @lucianaPRB e Ana

wilsonmoura commented 1 year ago

@acecampos @lucianaPRB realizamos o carregamento dos termos MeSH em francês utilizando apenas a amostra sugerida no comentário anterior. Favor validar no ambiente de testes.

acecampos commented 1 year ago

@wilsonmoura obrigada! Para os PEPs, o carregamento com ajustes funcionou perfeitamente. Entretanto, Persistent Infection - D000088562 => o descritor MH encontra-se sem tradução. Geroscience - D000089323 => o descritor MH encontra-se sem tradução. Exergaming - D000088544 => o descritor MH encontra-se sem tradução. Climate Models - D000090082 => o descritor MH encontra-se sem tradução. Na UMLS de consulta nem tem o PEP, mas tem o MH. Pode ser que no pacote baixado tenha mais coisa que não é mostrada no site. Mandibular Canal - D000088263 => o descritor MH encontra-se sem tradução. Na UMLS de consulta tem um ET e não tem tradução dos 3 PEPs. Pode ser que no pacote baixado tenha mais coisa que não é mostrada no site.

Não entendo como isso pode ter acontecido, uma vez que, se ele tem PEP na UMLS, teria que ter o MH também.

wilsonmoura commented 1 year ago

@acecampos os testes foram feitos apenas com o processamento responsável pelo carregamento dos UPs. Sendo assim, para poupar tempo, o carregamento dos conceitos não foi realizado pois, diferente dos UPs, o mesmo foi realizado corretamente.

acecampos commented 1 year ago

@wilsonmoura entendido, obrigada. Está validado!

wilsonmoura commented 1 year ago

Documentação dos passos para realizar o carregamento dos termos MSHFRE

  1. Transferir o arquivo MRCONSO.RRF para o diretório /bases/dec.000/MSHFRE/ localizado no servidor de processamento;
  2. No servidor de processamento, executar os comandos abaixo para gerar os insumos do carregamento:
$ cd /bases/dec.000/MSHFRE/
$ ./mshfre.sh
$  mv traducao_FR.txt /bases/dec.000/atualiza_NLM/listas/
$  mv traducao_FR_UPs.txt /bases/dec.000/atualiza_NLM/listas/
  1. Em seguida, executar os comandos abaixo para realizar o carregamento dos termos MSHFRE:
$ cd /bases/dec.000/atualiza_NLM/wrk/
$ # nohup python ../tpl/insere_traducao_FR.py &> ../outs/insere_traducao_FR.YYYYMMDD.out & 
$ # nohup python ../tpl/insere_traducao_FR_UPs.py &> ../outs/insere_traducao_FR_UPs.YYYYMMDD.out & 

OBS: Antes de executar o carregamento, certificar que os dados do ambiente de testes do Tesauro FI-ADMIN estão atualizados de acordo com o ambiente de trabalho/produção.