关于valid_ids的疑问

yangheng95 / LCF-ATEPC

codes for paper A Multi-task Learning Model for Chinese-oriented Aspect Polarity Classification and Aspect Term Extraction

MIT License

186 stars 45 forks source link

Closed luozhouyang closed 3 years ago

luozhouyang commented 3 years ago

请问valid_ids代表什么呢？我看代码只是起到一个masking的作用。但是看数据处理的逻辑，valid_ids基本上都是1，那么这种情况下它的作用是什么呢？

yangheng95 commented 3 years ago

luozhouyang commented 3 years ago

看数据处理的逻辑，因该是在wordpiece分词把单词分成多个piece的情况下，首个piece会设置valid_id为1，后续的piece的valid_id为0。目的是为了只选择第一个piece？

luozhouyang commented 3 years ago

好的，了解了。多谢～