issues
search
Oneflow-Inc
/
libai
LiBai(李白): A Toolbox for Large-Scale Distributed Parallel Training
https://libai.readthedocs.io
Apache License 2.0
389
stars
55
forks
source link
Dev data parallel infer
#491
Closed
xiezipeng-ML
closed
1 year ago
xiezipeng-ML
commented
1 year ago
这个pr支持了libai中的数据并行推理,目前可以
data+tensor+pipeline
推理了。
具体的实现是通过把不同长短的句子进行pad,生成过程中检测到生成完毕的句子则用pad填充。
然后发现了oneflow已经支持了不均匀的切分,也就是size是[3,2]的tensor可以s(0),否则的话的话还需要pad句子为偶数才能数据并行推理。
data+tensor+pipeline
推理了。