Open hscspring opened 3 years ago
关于知识这块的观点很认同。但是其中有一处不太认同,其实预训练模型考虑到了语序信息。
@qqfly1to19 关于知识这块的观点很认同。但是其中有一处不太认同,其实预训练模型考虑到了语序信息。
抱歉可能是我没说清楚,我本来意思是语义很多情况下和顺序没关系。预训练模型当然都考虑顺序啦。
不过最近有点思考,发现有些情况下,顺序特别重要,比如:“大部分杀手是野生动物”和“大部分野生动物是杀手”。实体都一样,但顺序不一样语义完全不一样。 还有些情况虚词特别重要,比如:“我把包子吃了”和“我被包子吃了”。之前也做过一些计算语言学的东西,关于作家风格的,主要能区分作家风格的往往是虚词,甚至标点。
这里不由地引发了更多思考,如何看待实体和虚词的关系,如何考虑顺序(尤其是短语之间的顺序)对语义的影响
https://yam.gift/2021/06/10/NLP/2021-06-10-Pretrain-Thinking/
Yam | AI | NLP | 人工智能 | 哲学 | 自然语言处理 | 机器学习