search

ymcui / MacBERT

Revisiting Pre-trained Models for Chinese Natural Language Processing (MacBERT)
https://www.aclweb.org/anthology/2020.findings-emnlp.58/
Apache License 2.0
645 stars 59 forks source link

When using Synonyms masking, Synonyms are not in the list of vocab. #9

Closed TianhaoFu closed 3 years ago

TianhaoFu commented 3 years ago

你好，我在尝试复现macbert的同义词替换mask操作，使用你们建议的 Synonyms 包。在使用的过程中，我发现了一个问题。

在我想替换某个词的时候，其同义词并不能在我自己的vocab词表里找到对应的词向量。我目前采取的方法是遇到这种情况我就选择跳过这个词，不进行mask操作。

我想询问一下你们有无遇到这种情况，是怎么处理的，能否给我一些建议，谢谢。@ymcui

stale[bot] commented 3 years ago

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your contributions.

stale[bot] commented 3 years ago

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.

ymcui commented 3 years ago

抱歉，最近比较忙。 如果没有可替换的近义词，可使用随机词替换（论文中的方法），亦可跳过该词并选择其他可替换的词。

Echo0117 commented 2 years ago

你好，我在尝试复现macbert的同义词替换mask操作，使用你们建议的 Synonyms 包。在使用的过程中，我发现了一个问题。

在我想替换某个词的时候，其同义词并不能在我自己的vocab词表里找到对应的词向量。我目前采取的方法是遇到这种情况我就选择跳过这个词，不进行mask操作。

我想询问一下你们有无遇到这种情况，是怎么处理的，能否给我一些建议，谢谢。@ymcui

我现在也是遇到这个问题，请问你是怎么解决的呀~~