Open marchboy opened 3 years ago
https://marchboy.github.io/2021/05/22/week5_OOV%E5%92%8CWord-repetition%E9%97%AE%E9%A2%98%E7%9A%84%E6%94%B9%E8%BF%9B/
Out of Vocabularywhy&what is OOV未登录词就是训练时未出现，测试时出现了的单词。在自然语言处理或者文本处理的时候，我们通常会有一个字词库（vocabulary）。这个vocabulary要么是提前加载的，或者是自己定义的，或者是从当前数据集提取的。假设之后你有了另一个的数据集，这个数据集中有一些词并不在你现有的vocabulary里，我们就说这些词汇是Out-
https://marchboy.github.io/2021/05/22/week5_OOV%E5%92%8CWord-repetition%E9%97%AE%E9%A2%98%E7%9A%84%E6%94%B9%E8%BF%9B/
Out of Vocabularywhy&what is OOV未登录词就是训练时未出现，测试时出现了的单词。在自然语言处理或者文本处理的时候，我们通常会有一个字词库（vocabulary）。这个vocabulary要么是提前加载的，或者是自己定义的，或者是从当前数据集提取的。假设之后你有了另一个的数据集，这个数据集中有一些词并不在你现有的vocabulary里，我们就说这些词汇是Out-