search

SeanLee97 / QANet_dureader

QANet+DuReader中文机器阅读理解
MIT License
224 stars 63 forks source link

语料预处理 #1

Closed SmartPorridge closed 6 years ago

SmartPorridge commented 6 years ago

您好，

能否把 语料预处理 部分介绍的详细一些，刚刚接触，还不是太理解。

谢谢！

SeanLee97 commented 6 years ago

@SmartPorridge 语料的预处理过程大致如下：

  1. 构建词典、词向量和字典、字向量
  2. 产生batch数据：包括截断和填充

建议看不懂的地方使用断言输出，看代码和输出结果的关系来判断代码的作用。

SmartPorridge commented 6 years ago

@SeanLee97 谢谢，我慢慢看，感谢！