computational-creativity-conclusion/

[utterances-bot]

计算创意学系列（完结篇）：科学家阻止不了工程师们举起魔杖

http://psyxel.com/computational-creativity-conclusion/

[imwower]

学到很多，先收藏，再慢慢看，感谢~

[zhannahz]

当我们在计算机系统的设计上无可选择地要去拥抱复杂性的时候，我们也将不得不从“分析性的（Analytical）计算机科学”走向“经验性的（Empirical）计算机科学”。我们会开始像研究社会现象或者生态系统那样研究一个机器，而不是像研究某个数学公式那样研究一个机器。

相当有意思。厌氧菌除了Cohen是否能推荐其他做或讨论过Empirical computer science / empirical AI的学者？我知道Herbert Simon很早写过一篇。更好奇今天的Neural Network在模拟脑时附带的黑箱子特征是否有激起更多关于empirical approach的讨论。谢谢～

[ywang485]

@zhannahz 关于Empirical computer science / empirical AI方面的学者，ACM有个期刊叫作ACM Journal of Experimental Algorithmics，收录的都是研究算法的经验性方法相关的文章，在这个期刊主页 ( https://dlnext.acm.org/journal/JEA ) 可以找到很多现在在做这个方向研究的学者和学术机构。

另外还有一本书A Guide to Experimental Algorithmics，来自这个期刊的编辑之一Catherine Cole McGeoch。

如果去看今天的AI相关的论文，会发现用经验性方法来评估算法的表现已经几乎满大街都是了，尤其是基于神经网络的算法，论文的套路就是很少量的分析性评估加上大量的经验性评估（在某些数据集上跑算法，然后看结果的统计规律），而且分析性评估部分是可以没有的，但是经验性评估必须有。

不少传统的计算机学者对这类论文是抱持怀疑态度的，觉得做几个实验就得出结论，缺乏严谨的数学证明，让方法的可信度大打折扣。还有另一种批评意见是，经验性的评估方法有很多人为操纵结果的空间，对神经网络方面的论文，人们经常开玩笑说不管你想得出什么结论，总有办法通过选择合适的算法参数和数据集的组合来得到。

但这些怀疑的声音也挡不住这种方法的流行。不过作为这种方法盛行的结果，论文对一种AI算法的价值的支持作用越来越小，只有应用过经实践验证的有效性才有说服力。

其实这些问题在那些早就在使用经验性方法的学术领域（比如人文社科）一直都是存在的，只不过在那些语境下大家都习惯了。

[zhannahz]

用经验性方法来评估算法的表现已经几乎满大街都是了，尤其是基于神经网络的算法，论文的套路就是很少量的分析性评估加上大量的经验性评估（在某些数据集上跑算法，然后看结果的统计规律），而且分析性评估部分是可以没有的，但是经验性评估必须有。

啊这里我发现我对”经验型方法“的理解有点偏差。我以为 1）目标是理解算法为什么能 work 2）用更接近行为科学家研究行为那样的方法了达成目标，比如控制其他一切条件，依次分别去掉部分 neural net 连接（类似人脑做 lesion）看对结果的影响（即找让算法能行的 neccessary condition）。换句话说，算法被看作一种自然物而非数学物。因为单看 neural networks 的代码是没有透明解释的。 与之方法相对但目标相同的有分析性方法比如用统计模型来看为什么某些 neural nets 总能 converge，这还是从数学层面上评估算法。同是分析方法的数学证明在 neural networks 上已经不可行。

[ywang485]

@zhannahz 我感觉你的理解没错。确实是用更接近行为科学家的方法理解算法为什么能work，只不过这种方法能够得到的理解比起更传统的数学证明来（比如你说的用统计模型来看为什么某些 neural nets 总能 converge）能够形成的理解要肤浅和模糊多了。比如现在神经网络应用的论文很多会做Ablation Study：比如它们提出在现有的神经网络上增加改进X，就会实验比较有X和没有X的Performance，发现有X更好，就认为是对X确实有用的验证，也有助于形成“这个神经网络之所以Work是因为有X”的理解，当然这种理解比起从算法本身出发、不依赖于任何具体的数据集——也就是分析性地——证明这个神经网络之所以Work是因为有X形成的理解要模糊多了。

[wuwustg]

'当我们在计算机系统的设计上无可选择地要去拥抱复杂性的时候，我们也将不得不从“分析性的（Analytical）计算机科学”走向“经验性的（Empirical）计算机科学”。我们会开始像研究社会现象或者生态系统那样研究一个机器，而不是像研究某个数学公式那样研究一个机器。' 甚至系统本身运作的产物也会尝试用经验主义去分析系统呢～嘻嘻，好有趣。