search

luhua-rain / MRC_Competition_Dureader

机器阅读理解 冠军/亚军代码及中文预训练MRC模型
730 stars 151 forks source link

squad_convert_examples_to_features #32

Closed sxlyiyiyi closed 3 years ago

sxlyiyiyi commented 3 years ago

请问squad_convert_examples_to_features需要运行多久才可以转换完成

luhua-rain commented 3 years ago

看你的数据量，可以通过--threads指定数据处理的线程数~

sxlyiyiyi commented 3 years ago

我使用了threads=6，json文件大概30多m，要跑20个小时，这是不是不正常

sxlyiyiyi commented 3 years ago

每一个个context都挺长的

luhua-rain commented 3 years ago

参考：a100单卡，5w数据，threads=12，跑2小时

------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2021年5月18日(星期二) 中午11:30 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [basketballandlearn/MRC_Competition_Dureader] squad_convert_examples_to_features (#32)

我使用了threads=6，json文件大概30多m，要跑20个小时，这是不是不正常

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

renxingkai commented 3 years ago

我使用了threads=6，json文件大概30多m，要跑20个小时，这是不是不正常

我的也好慢，几十个小时，纯拼CPU了