baidu / Dialogue

444 stars 97 forks source link

evaluate question #42

Open d1jiasheng opened 5 years ago

d1jiasheng commented 5 years ago

您好,我在跑豆瓣的data.pkl数据集的时候,在save_step会卡住,我初步分析原因应该是验证集数量太大和for循环太多导致的。我观察了在跑data_small.pkl的时候,验证集的batch_num大概是31个,验证需要花费时间大概两分钟,而data.pkl的batch_num大概是1562个,验证的时候就会一直卡在那个地方。我想问一下您在实验的时候对这个部分有什么优化吗

xyzhou-puck commented 5 years ago

tenosrflow版本已经停止优化了,有兴趣可以关注一下我们paddle版本的代码,如果有需求欢迎到https://github.com/PaddlePaddle/models 提需求。