Closed yanqiangmiffy closed 6 years ago
I checked that the vocab.txt
no empty lines.
I put chinese_dialog.txt(tokenized) in Corpus/Augment0
,and have generated vocab.txt
Would I make sure that the number of Q:
sentences equals the number of A:
sentences? I found that your data is the situation,but mine is not
你好,我也尝试了下面的方法:将几句中文对话语料加入到cornell_cleaned_new.txt
,然后生成vocab.txt,但是也报同样的错误,我查了下,说这个错误是有空行导致的,但是,检查了下,发现没有,不知道哪里出现错误了?
你好,我测试了下
如果在·cornell_cleaned_new.txt
加入:
===
Q: 我 提现 前 两次 都 给 我 退回来 了 , 现在 我 24 号 又 提 结果 到 现在 还是 银行 处理 中 都 多少 天 了 天龙八部
A: 您好 , 积木 大大 正在 拼命 敲字 , 会 尽快 尽力 帮 您 解决问题 , 请 您 稍 等 哦 \ ( ^ o ^ ) / 现在 畅易阁 提现 出现 延迟 已经 在 处理
不会报错 但是如果加入:
===
Q: 您好
A: 为什么 我 卖 号 的 提现 还 不到 三天 了
Q: 目前 确实 出现 这种 情况 , 我们 的 工作人员 正在 紧急 修复 中 , 给 您 带来 的 不便 还 请谅解
A: 畅易格
就会报错‘InvalidArgumentError (see above for traceback): assertion failed: [All values in memory_sequence_length must greater than zero.] [Condition x > 0 did not hold element-wise:] [x (IteratorGetNext:3) = ] [9 8 8...]
,是我数据处理不符合规范吗
@yanqiangmiffy 你好!既然是作中文处理,你可以去掉这些行,看看问题是不是就解决了。 tokenizeddata.py 中以下部分是将大写字母转换成小写字母的,请去掉::223 到 236 行。
@bshao001 你好,可以了,多谢您了
Excuse me,when I trianing use my custom chinese dialog data,it raised the following error,
tensorflow.python.framework.errors_impl.InvalidArgumentError: assertion failed: [All values in memory_sequence_length must greater than zero.] [Condition x > 0 did not hold element-wise:] [x (IteratorGetNext:3) = ] [8 9 8...]
, which part may I make mistake?