dyweb / papers-notebook

:page_facing_up: :cn: :page_with_curl: 论文阅读笔记(分布式系统、虚拟化、机器学习)Papers Notebook (Distributed System, Virtualization, Machine Learning)
https://github.com/dyweb/papers-notebook/issues?utf8=%E2%9C%93&q=is%3Aissue+is%3Aopen+-label%3ATODO-%E6%9C%AA%E8%AF%BB
Apache License 2.0
2.15k stars 251 forks source link

Model Cards for Model Reporting #194

Open gaocegege opened 4 years ago

gaocegege commented 4 years ago

https://arxiv.org/abs/1810.03993

来源:Jeff Dean 推特

gaocegege commented 4 years ago

https://modelcards.withgoogle.com/about

gaocegege commented 4 years ago

自深度学习出现以来,如何让专家/非专家更全面地了解模型的效果和局限性,是一个非常让人头疼的方式。在我看来这算是模型可视化的一个子方向。举个例子,比如某些图像识别算法可能对黑人女性的识别准确率低于其他人种/性别。

这篇文章是一个非常工程向的文章,它希望制定一个对模型的描述规范,利用这一规范,我们可以利用 1-2 页的介绍性文章,全面地介绍一个模型。这个介绍可以被各种不同的 stakeholders 阅读,比如 ML/AI 工程师,模型开发者,应用开发者,公司决策者。

Screenshot from 2019-11-25 10-00-53

gaocegege commented 4 years ago

这些信息分为模型细节,应用场景,影响因素,模型指标,评估数据,训练数据等。

模型细节中,模型的日期是为了记录模型是什么时候产生的,这可以帮助我们了解它可能采用的技术。比如在 ResNet 那篇论文出现之前训练的模型,是不可能用 ResNet 的。

模型版本是模型当前的版本还有 ChangeList。模型在不同版本做了什么修改,通过这一字段可以方便地得知。

模型的类型,指的是模型本身的类型,比如 CNN,Naive Bayes classifier。

gaocegege commented 4 years ago

其他也类似,这篇论文最大的作用是可以指导模型仓库或者类似的东西的开发者。