Open TiankaiHang opened 3 months ago
原文链接：http://www.incompleteideas.net/IncIdeas/BitterLesson.html
GPT-4-Turbo翻译版本
70年的人工智能研究可以读出的最大教训是，利用计算的通用方法最终是最有效的，而且差距很大。其根本原因是摩尔定律，或者说是其对计算单元成本持续指数级下降的概括。大多数人工智能研究都是在假设智能体可用的计算量是恒定的情况下进行的（在这种情况下，利用人类知识将是提高性能的唯一途径之一），但在比典型研究项目略长的时间内，大量更多的计算能力不可避免地会变得可用。研究人员寻求在短期内带来差异的改进，他们寻求利用他们对领域的人类知识，但长期来看唯一重要的是利用计算。这两者不必互相对立，但在实践中它们往往如此。在一个上花费的时间就是没能在另一个上花费的时间。对于一种方法或另一种方法的投资有心理上的承诺。而基于人类知识的方法往往以使方法复杂化的方式进行，这使它们不太适合利用利用计算的通用方法。有许多例子表明人工智能研究人员迟来的学习这个痛苦的教训，回顾其中一些最突出的例子具有启发性。
在计算机国际象棋中，1997年击败世界冠军卡斯帕罗夫的方法是基于大规模、深入的搜索。当时，这被大多数追求利用人类对国际象棋特殊结构理解的计算机国际象棋研究人员以惊慌的眼光看待。当一个更简单的、基于搜索的方法与特殊的硬件和软件证明要有效得多时，这些基于人类知识的国际象棋研究人员并不是好的输家。他们说，“蛮力”搜索可能这次赢了，但它不是一种通用策略，而且它不是人们下国际象棋的方式。这些研究人员希望基于人类输入的方法获胜，当它们没有获胜时感到失望。
计算机围棋的研究进展呈现出类似的模式，只是进一步延迟了20年。巨大的初期努力投入到避免搜索中，利用人类知识或游戏的特殊功能，但所有这些努力一旦在规模上有效地应用搜索后，都被证明是无关紧要的，或者更糟。同样重要的是使用自我对弈学习价值函数的方法（正如在许多其他游戏中，甚至在国际象棋中一样，尽管学习在1997年首次击败世界冠军的程序中并没有发挥重要作用）。自我对弈学习，以及一般的学习，就像搜索一样，它能够使大量计算得以应用。搜索和学习是利用人工智能研究中大量计算的两个最重要的技术类别。在计算机围棋中，就像在计算机国际象棋中一样，研究人员最初的努力是朝着利用人类理解（这样就需要更少的搜索）而努力，但只有在后来，通过接受搜索和学习，才取得了更大的成功。
在语音识别领域，20世纪70年代由DARPA赞助的早期竞赛中出现了一系列参赛者。参赛作品包括利用人类知识的众多特殊方法——对单词、音素、人类发声道等的了解。另一方面，更多基于统计的新方法进行了大量计算，这些方法基于隐马尔可夫模型（HMM）。再次，统计方法胜过了基于人类知识的方法。这导致了自然语言处理整个领域的重大变革，逐渐在几十年的时间里，统计和计算开始主宰该领域。深度学习在语音识别中的最近兴起是沿着这一一贯方向的最新步骤。深度学习方法更少依赖于人类知识，并且使用更多的计算，加上在巨大的训练集上进行学习，以产生显著更好的语音识别系统。正如在游戏中一样，研究人员总是试图制作出按照他们自己的思维方式工作的系统——他们试图将这些知识放入他们的系统中——但最终这被证明是适得其反的，是研究人员时间的巨大浪费，因为通过摩尔定律，大量的计算能力变得可用，而且找到了将其有效利用的方法。
在计算机视觉领域，也出现了类似的模式。早期方法将视觉视为寻找边缘、广义圆柱体或基于SIFT特征的过程。但今天，所有这些都被抛弃了。现代的深度学习神经网络只使用卷积的概念和某些种类的不变性，并且表现得更好。
这是一个重要的教训。作为一个领域，我们还没有彻底学习它，因为我们仍在犯同样的错误。要看到这一点，并有效地抵制它，我们必须理解这些错误的吸引力。我们必须学习到，建立在我们认为自己如何思考的基础上是行不通的。这个痛苦的教训是基于以下历史观察：1）人工智能研究人员经常试图将知识构建到他们的智能体中；2）这在短期内总是有帮助的，并且令研究人员个人感到满意；但3）从长远来看，它会达到平台期甚至阻碍进一步的进展；4）最终取得突破性进展的是基于通过搜索和学习扩展计算的相反方法。最终的成功带有苦涩，而且往往没有完全消化，因为这是对一种受青睐的、以人为中心的方法的成功。
从痛苦的教训中应该学到的一件事是通用方法的巨大力量，即随着可用的计算能力的增加而继续扩展的方法。在这方面似乎可以任意扩展的两种方法是搜索和学习。
从痛苦的教训中学到的第二个一般性观点是，心灵的实际内容是极其复杂的，不可救药的复杂；我们应该停止试图找到简单的方式来思考心灵的内容，比如简单的方式来思考空间、物体、多个智能体或对称性。所有这些都是任意的、本质上复杂的外部世界的一部分。它们不是应该内置的内容，因为它们的复杂性是无尽的；相反，我们应该内置能够发现并捕捉这种任意复杂性的元方法。这些方法的一个关键在于它们能够找到好的近似，但寻找它们的过程应该是我们的方法，而不是我们自己。我们希望人工智能智能体能够像我们一样发现，而不是包含我们所发现的内容。将我们的发现内置进去只会使看到发现过程是如何进行的变得更困难。
原文链接：http://www.incompleteideas.net/IncIdeas/BitterLesson.html
GPT-4-Turbo翻译版本
70年的人工智能研究可以读出的最大教训是，利用计算的通用方法最终是最有效的，而且差距很大。其根本原因是摩尔定律，或者说是其对计算单元成本持续指数级下降的概括。大多数人工智能研究都是在假设智能体可用的计算量是恒定的情况下进行的（在这种情况下，利用人类知识将是提高性能的唯一途径之一），但在比典型研究项目略长的时间内，大量更多的计算能力不可避免地会变得可用。研究人员寻求在短期内带来差异的改进，他们寻求利用他们对领域的人类知识，但长期来看唯一重要的是利用计算。这两者不必互相对立，但在实践中它们往往如此。在一个上花费的时间就是没能在另一个上花费的时间。对于一种方法或另一种方法的投资有心理上的承诺。而基于人类知识的方法往往以使方法复杂化的方式进行，这使它们不太适合利用利用计算的通用方法。有许多例子表明人工智能研究人员迟来的学习这个痛苦的教训，回顾其中一些最突出的例子具有启发性。
在计算机国际象棋中，1997年击败世界冠军卡斯帕罗夫的方法是基于大规模、深入的搜索。当时，这被大多数追求利用人类对国际象棋特殊结构理解的计算机国际象棋研究人员以惊慌的眼光看待。当一个更简单的、基于搜索的方法与特殊的硬件和软件证明要有效得多时，这些基于人类知识的国际象棋研究人员并不是好的输家。他们说，“蛮力”搜索可能这次赢了，但它不是一种通用策略，而且它不是人们下国际象棋的方式。这些研究人员希望基于人类输入的方法获胜，当它们没有获胜时感到失望。
计算机围棋的研究进展呈现出类似的模式，只是进一步延迟了20年。巨大的初期努力投入到避免搜索中，利用人类知识或游戏的特殊功能，但所有这些努力一旦在规模上有效地应用搜索后，都被证明是无关紧要的，或者更糟。同样重要的是使用自我对弈学习价值函数的方法（正如在许多其他游戏中，甚至在国际象棋中一样，尽管学习在1997年首次击败世界冠军的程序中并没有发挥重要作用）。自我对弈学习，以及一般的学习，就像搜索一样，它能够使大量计算得以应用。搜索和学习是利用人工智能研究中大量计算的两个最重要的技术类别。在计算机围棋中，就像在计算机国际象棋中一样，研究人员最初的努力是朝着利用人类理解（这样就需要更少的搜索）而努力，但只有在后来，通过接受搜索和学习，才取得了更大的成功。
在语音识别领域，20世纪70年代由DARPA赞助的早期竞赛中出现了一系列参赛者。参赛作品包括利用人类知识的众多特殊方法——对单词、音素、人类发声道等的了解。另一方面，更多基于统计的新方法进行了大量计算，这些方法基于隐马尔可夫模型（HMM）。再次，统计方法胜过了基于人类知识的方法。这导致了自然语言处理整个领域的重大变革，逐渐在几十年的时间里，统计和计算开始主宰该领域。深度学习在语音识别中的最近兴起是沿着这一一贯方向的最新步骤。深度学习方法更少依赖于人类知识，并且使用更多的计算，加上在巨大的训练集上进行学习，以产生显著更好的语音识别系统。正如在游戏中一样，研究人员总是试图制作出按照他们自己的思维方式工作的系统——他们试图将这些知识放入他们的系统中——但最终这被证明是适得其反的，是研究人员时间的巨大浪费，因为通过摩尔定律，大量的计算能力变得可用，而且找到了将其有效利用的方法。
在计算机视觉领域，也出现了类似的模式。早期方法将视觉视为寻找边缘、广义圆柱体或基于SIFT特征的过程。但今天，所有这些都被抛弃了。现代的深度学习神经网络只使用卷积的概念和某些种类的不变性，并且表现得更好。
这是一个重要的教训。作为一个领域，我们还没有彻底学习它，因为我们仍在犯同样的错误。要看到这一点，并有效地抵制它，我们必须理解这些错误的吸引力。我们必须学习到，建立在我们认为自己如何思考的基础上是行不通的。这个痛苦的教训是基于以下历史观察：1）人工智能研究人员经常试图将知识构建到他们的智能体中；2）这在短期内总是有帮助的，并且令研究人员个人感到满意；但3）从长远来看，它会达到平台期甚至阻碍进一步的进展；4）最终取得突破性进展的是基于通过搜索和学习扩展计算的相反方法。最终的成功带有苦涩，而且往往没有完全消化，因为这是对一种受青睐的、以人为中心的方法的成功。
从痛苦的教训中应该学到的一件事是通用方法的巨大力量，即随着可用的计算能力的增加而继续扩展的方法。在这方面似乎可以任意扩展的两种方法是搜索和学习。
从痛苦的教训中学到的第二个一般性观点是，心灵的实际内容是极其复杂的，不可救药的复杂；我们应该停止试图找到简单的方式来思考心灵的内容，比如简单的方式来思考空间、物体、多个智能体或对称性。所有这些都是任意的、本质上复杂的外部世界的一部分。它们不是应该内置的内容，因为它们的复杂性是无尽的；相反，我们应该内置能够发现并捕捉这种任意复杂性的元方法。这些方法的一个关键在于它们能够找到好的近似，但寻找它们的过程应该是我们的方法，而不是我们自己。我们希望人工智能智能体能够像我们一样发现，而不是包含我们所发现的内容。将我们的发现内置进去只会使看到发现过程是如何进行的变得更困难。