关于预训练过程的GPU算力需求

Kreutzer-C commented 9 months ago

您好，请问您在进行MFP和RFD预训练时是用什么GPU进行训练的呢？对GPU显存需求大概是多少呢？大概每个epoch的训练时长是多久？我正在考虑对您的工作进行复现，但不知道预训练的方法对算力的需求如何，非常期待您的回复

CHIANGEL commented 9 months ago

我记得3080Ti 10G的显存可以支持RFD，run time per epoch有点忘了，参考论文figure 3应该RFD需要10min左右。

MFP的显存要求更高一些，需要10+G的显存，run time per epoch也会高

Kreutzer-C commented 9 months ago

这听起来是令人鼓舞的消息，感谢您的帮助^_^

Kreutzer-C commented 9 months ago

您好，我在代码复现过程中遇到了其他问题，希望得到您的指点。请问在数据集的预处理阶段，proc_criteo和split_criteo_x4的执行顺序是怎样的呢？我注意到如果先对数据集进行train,val,test分割再依次分别做预处理时，如果引入统计每个分类型特征中具有同一特征值的样本数量，将低于阈值（对于criteo一般取10）的样本抛弃并将特征值置为缺失token 这一操作，那么先前的split会导致每个特征域的统计数量不正常（毕竟总的样本数量已经按比例被分成了三份），导致val和test集中大量的特征值被置为缺失token。所以是否应该先对整个数据集做预处理，然后再进行split呢？

CHIANGEL commented 9 months ago

嗯，是先一起处理数据，split index是额外生成

CHIANGEL commented 9 months ago

我们提供了处理好的数据集，可以直接下载

CHIANGEL / MAP-CODE

关于预训练过程的GPU算力需求 #3