search

hscspring / hscspring.github.io

AI NLP 人工智能 自然语言处理 机器学习 哲学
https://yam.gift
5 stars 2 forks source link

对NLP预训练模型的思考 | Yam #276

Open hscspring opened 3 years ago

hscspring commented 3 years ago

https://yam.gift/2021/06/10/NLP/2021-06-10-Pretrain-Thinking/

Yam | AI | NLP | 人工智能 | 哲学 | 自然语言处理 | 机器学习

qqfly1to19 commented 2 years ago

关于知识这块的观点很认同。但是其中有一处不太认同，其实预训练模型考虑到了语序信息。

hscspring commented 2 years ago

@qqfly1to19 关于知识这块的观点很认同。但是其中有一处不太认同，其实预训练模型考虑到了语序信息。

抱歉可能是我没说清楚，我本来意思是语义很多情况下和顺序没关系。预训练模型当然都考虑顺序啦。

不过最近有点思考，发现有些情况下，顺序特别重要，比如：“大部分杀手是野生动物”和“大部分野生动物是杀手”。实体都一样，但顺序不一样语义完全不一样。 还有些情况虚词特别重要，比如：“我把包子吃了”和“我被包子吃了”。之前也做过一些计算语言学的东西，关于作家风格的，主要能区分作家风格的往往是虚词，甚至标点。

这里不由地引发了更多思考，如何看待实体和虚词的关系，如何考虑顺序（尤其是短语之间的顺序）对语义的影响