评测报告中没有准确率等指标

Oneflow-Inc / DLPerf

DeepLearning Framework Performance Profiling Toolkit

Apache License 2.0

275 stars 27 forks source link

评测报告中没有准确率等指标 #135

Open jiangqn opened 3 years ago

jiangqn commented 3 years ago

在各深度学习框架的评测报告中，没有resnet50在ImageNet上的准确率，没有BERT在GLUE leaderboard上的分数。在实际应用中，重要的不只是效率还有预测效果。没有报告这些重要模型在重要benchmark上的准确率等指标，别人很难确定使用oneflow框架能不能复现出经典模型的效果。

ShawnXuan commented 3 years ago

非常感谢您的关注！

DLPerf着重性能方面的指标，OneFlow-Benchmark仓库里面有准确率方面的指标:

resnet50的ImageNet上的准确率请参考这里
BERT的几个下游任务的打分请参考这里