请问可否使用wwm系列的模型做词级别的fill-mask预测？

[LiShaoyu5]

我按照说明样例进行了尝试，将目标词的每个字替换为[MASK]，例如： text = '今天[MASK][MASK]很好，我们去散步吧。' 模型的输出是每个[MASK]结果相独立的。请问有没有进行词级别预测的实践或可能性？

使用transformers的pipeline，输出结果如下： [[{'score': 0.8543989062309265, 'token': 1921, 'token_str': '天', 'sequence': '[CLS] 今 天 天 [MASK] 很 好 ， 我 们 去 散 步 吧 。 [SEP]'}, {'score': 0.04111962765455246, 'token': 3698, 'token_str': '气', 'sequence': '[CLS] 今 天 气 [MASK] 很 好 ， 我 们 去 散 步 吧 。 [SEP]'}, {'score': 0.03914867341518402, 'token': 2552, 'token_str': '心', 'sequence': '[CLS] 今 天 心 [MASK] 很 好 ， 我 们 去 散 步 吧 。 [SEP]'}, {'score': 0.008203613571822643, 'token': 3241, 'token_str': '晚', 'sequence': '[CLS] 今 天 晚 [MASK] 很 好 ， 我 们 去 散 步 吧 。 [SEP]'}, {'score': 0.004204942844808102, 'token': 7345, 'token_str': '阳', 'sequence': '[CLS] 今 天 阳 [MASK] 很 好 ， 我 们 去 散 步 吧 。 [SEP]'}], [{'score': 0.7786498069763184, 'token': 3698, 'token_str': '气', 'sequence': '[CLS] 今 天 [MASK] 气 很 好 ， 我 们 去 散 步 吧 。 [SEP]'}, {'score': 0.05413159355521202, 'token': 2658, 'token_str': '情', 'sequence': '[CLS] 今 天 [MASK] 情 很 好 ， 我 们 去 散 步 吧 。 [SEP]'}, {'score': 0.015517142601311207, 'token': 7345, 'token_str': '阳', 'sequence': '[CLS] 今 天 [MASK] 阳 很 好 ， 我 们 去 散 步 吧 。 [SEP]'}, {'score': 0.015286962501704693, 'token': 1921, 'token_str': '天', 'sequence': '[CLS] 今 天 [MASK] 天 很 好 ， 我 们 去 散 步 吧 。 [SEP]'}, {'score': 0.014853968285024166, 'token': 1045, 'token_str': '光', 'sequence': '[CLS] 今 天 [MASK] 光 很 好 ， 我 们 去 散 步 吧 。 [SEP]'}]] 这个例子用每个结果的top1可以得到天气，但更多的例子并不理想。

[stale[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your contributions.

[stale[bot]]

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.