Meidozuki / TTJ-Who-is-faster

A simple comparison among Tensorflow,pytorch(Torch),Jittor
3 stars 0 forks source link

关于jittor测速存在的问题 #1

Open Jittor opened 2 years ago

Jittor commented 2 years ago

您好,看到您对不同框架进行测试,我们表示非常感谢,我运行了一下您的脚本,发现其中存在一个 小问题, jittor使用的dataset并没有使用多个worker,导致显卡其实没有跑满,我对您的代码进行了一行的改动,速度就大幅提升了,我在RTX TITAN上测cifar 10,一个epoch只需要48s,理论上,您的3090会更快。

train_loader.set_attrs(batch_size=batch_size, num_workers=4)

您可以根据您的情况,修改workers数量, 运行的时候,请留意nvidia-smi的输出,显卡占用率是否比较高

这是我的结果: Screenshot from 2022-04-07 13-43-25

速度会有被很多不同因素,包括硬盘io,cpu温度,总线速度,频率等等,有一些简单的参考资料:https://cg.cs.tsinghua.edu.cn/jittor/assets/docs/Jittor%E6%80%A7%E8%83%BD%E6%B5%8B%E8%AF%95%E4%B8%8E%E5%AF%B9%E6%AF%94%E6%96%B9%E6%B3%95.html

有兴趣的话,欢迎加入计图开发者交流群(761222083)

Jittor commented 2 years ago

另外,我建议您测测大图,比如吧图像resize到224以上,现在图片数据太小,框架之间拉不开差距,大部分时间都是在读数据,不是在跑模型

cjld commented 2 years ago

我是jittor核心开发者,您可以加我微信 randonlang

Meidozuki commented 2 years ago

另外,我建议您测测大图,比如吧图像resize到224以上,现在图片数据太小,框架之间拉不开差距,大部分时间都是在读数据,不是在跑模型

是的,我在递交任务撞车的时候测试pytorch和jittor,跑一个epoch的时间jittor会比pytorch长,但是如果是用在内存中的数据测出来的FPS,jittor会比pytorch更高。因此我也推测可能问题出在IO的时间上 我打算等之后队列空下来再试试看跑更大的模型,谢谢建议

Meidozuki commented 2 years ago

我已经更新了MNIST跑出来的结果