Open boyahub opened 1 year ago
「麻省理工在Nature发表最新成果」！颠覆传统神经网络！19个神经元驾驶一辆车
https://zhuanlan.zhihu.com/p/584104124?utm_id=0 4 个月前 · 来自专栏 自然语言处理论文分享
NLP自然语言处理 关注 首发: AINLPer 微信公众号（每日论文干货分享！！） 编辑: ShuYini 校稿: ShuYini 时间: 2022-11-16 引言 去年，麻省理工学院的研究人员宣布，他们已经建立了“液体”神经网络，灵感主要来自小型物种的大脑。它是一种灵活、健壮的机器学习模型，它能够在工作中学习适应不断变化的条件，可以应用于安全且关键的场景，如驾驶和飞行。这些“液体”神经网络的灵活性意味着增强我们与世界之间的连接，可以为时间序列相关的任务提供更好的决策，如大脑/心脏监测、天气预报和股票定价等。
但随着神经元和突触数量的增加，这些模型的计算成本变得非常昂贵，并且需要笨重的计算机程序来解决其潜在的复杂数学问题。 所有这些数问题学，类似于许多物理现象，随着模型规模的增长将变得更难解决，这意味着需要计算很多小步骤才能得出解决方案。
现在，同一组科学家发现了解决这一瓶颈的方法，即「通过突触求解两个神经元相互作用背后的微分方程，从而解锁一种新型快速高效的人工智能算法」。这些模式具有与液体神经网络相同的特征——灵活、因果性、鲁棒性和可解释性——但速度要快几个数量级，而且可扩展。因此，这种类型的神经网络可以用于任何需要长期洞察数据的任务，因为它们即使在训练之后也很紧凑且适应性强——而许多传统模型是固定的。
这些模型被称为“封闭式连续时间”(closed-form continuous-time：CfC)神经网络，在一系列任务中优于最先进的同类模型，在从运动传感器识别人类活动、物理建模模拟步行机器人的动力学和基于事件的时序图像处理。例如，「在一项医学预测任务中，新模型对8,000名患者的抽样速度提高了220倍」。
一篇关于这项工作的新论文今天发表在 Nature Machine Intelligence 上，「文章连接在最后」。
麻省理工学院计算机科学和人工智能实验室(CSAIL)主任、这篇新论文的资深作者Daniela Rus教授说:“「我们称之为‘CfC’的新机器学习模型，用一个封闭的近似形式取代了定义神经元计算的微分方程，保留了液体网络的优秀属性，而不需要数值积分」。”“CfC模型是因果的、紧凑的、可解释的，训练和预测是有效的。它们为安全关键应用打开了可信赖的机器学习之路。”
保持流动性 微分方程使我们能够计算世界的状态或一种现象的演变，但不是整个时间的全部——只是一步一步的。为了建模自然现象，了解过去和未来的行为，比如人类活动识别或机器人的路径，该团队从一堆数学技巧找到了答案:一个“封闭形式”的解决方案，在一个单一的计算步骤中建模整个系统的描述。
根据他们的模型，「人们可以在未来的任何时候计算这个方程，也可以在过去的任何时候计算这个方程。不仅如此，计算速度也快得多因为你不需要一步一步地解微分方程」。
想象一下，一个端到端神经网络可以从安装在汽车上的摄像头接收驾驶信息。这个网络经过训练，可以产生输出，比如汽车的转向角度。2020年，该团队通过使用19个节点的液体神经网络解决了这一问题，因此19个神经元加上一个小型感知模块可以驾驶一辆汽车。微分方程描述了系统的每个节点。对于封闭形式的解，如果你把它替换到这个网络中，它会给出精确的行为，因为它很好地近似了系统的实际动力学。因此，他们可以用更少的神经元数量来解决这个问题，这意味着它将更快，计算成本更低。
这些模型可以接收时间序列(时间中发生的事件)的输入，「可用于分类、控制汽车、移动人形机器人或预测金融和医疗事件」。使用所有这些不同的模式，它还可以提高准确性、鲁棒性和性能，重要的是，还可以提高计算速度——这有时是一种权衡。
解决这个方程对推进自然和人工智能系统的研究都有深远的意义。麻省理工学院新论文的第一作者说：“当我们对神经元和突触的通信有了一个封闭的描述时，我们就可以建立具有数十亿细胞的大脑计算模型，由于神经科学模型的高度计算复杂性，这一能力在今天是不可能实现的。封闭形式的方程可以促进这种大层次的模拟，这为我们理解AI打开了新的研究途径。”
嵌入式应用 此外，早期的证据表明，Liquid CfC模型可以在一个环境中从视觉输入学习任务，并将它们学到的技能转移到一个全新的环境中，而无需额外的训练。这就是所谓的分布外泛化，这是人工智能研究中最基本的开放挑战之一。
“基于微分方程的神经网络系统很难求解，也很难扩展到数百万和数十亿个参数。获得神经元如何相互作用的描述，不仅仅是阈值，而是解决细胞之间的物理动力学，能够让我们建立更大规模的神经网络，”哈萨尼说。 “「这个框架可以帮助解决更复杂的机器学习任务——实现更好的表示学习——并且应该成为任何未来嵌入式智能系统的基本构建块」。”
“最近的神经网络架构，例如神经 ODE 和液体神经网络，具有由代表无限潜在状态的特定动态系统组成的隐藏层，而不是显式堆叠的层，”Aurora Flight Sciences 的人工智能和机器学习小组负责人Sildomar Monteiro说， “这些隐式定义的模型展示了最先进的性能，同时比传统架构需要的参数少得多。其中传统网络架构由于训练和推理需要的高额计算成本，它们在实际应用受到了很大的限制。”他补充说，这篇论文“表明这类神经网络的计算效率有了显着提高，有可能实现与安全关键型商业和国防系统相关的更广泛的实际应用。”
Paper：https://www.nature.com/articles/s42256-022-00556-7
Paper：https://arxiv.org/pdf/2006.04439.pdf
推荐阅读 [*] NLP自然语言处理：中文预训练模型！| 哈工大 && 科大讯飞 提出多任务预训练模型LERT（含源码）
[*] NLP自然语言处理：Salesforce | Transformer变体！用于时间序列预测的指数平滑Transformer（含源码）
[*] 这是一篇关于「情绪分析」和「情感检测」的综述（非常详细）
[*] 刚刚 ！ICLR2023 官方评审结果正式发布！另附：2017年--2023年 ICLR 论文下载
[*] NLP自然语言处理：EMNLP2022 | “Meta AI 9篇接受论文”，其中7篇主会、2篇Findings
[*] EMNLP2022|清华&阿里提出“更强，更快”的基于Bert的「中文」语言模型！！
[*] EMNLP2022 | 基于挖掘的零样本学习(Zero-Shot)，无需Prompt模板设计(阿姆斯特丹）
[*] NeurIPS 2022 | 模型轻量化部署！？根源分析异常值对Transformer的影响（含源码）
[*]NeurIPS2022 | 基于Transformer的中文命名实体识别(NER)新模型
[*]一文了解ACL国际会议--附: 历年会议论文下载
[*]EMNLP2022 | 听说训练一个Bert模型所消耗的能量相当于一次跨美飞行？(NLP气候影响)
[*]一文带你看懂NeurIPS国际顶会--附: 各年论文列表连接
[*]一文了解AAAI国际会议--附: 各年论文列表连接
你要是翻译一篇新闻呢，就应该把原文链接放在醒目的位置并注明这是一篇译文。装作是自己原创然后通篇翻译腔实在是很难绷。BTW，像senior author这类词，直接写英文就行了，你要翻译就翻译成实验室负责人之类接地气的名字，写个资深作者可能真没几个人能看懂…… 2022-11-22 · IP 属地山东 回复
4
NLP自然语言处理 作者 感谢您的指点，后面一定多注意 2022-11-22 · IP 属地上海
赞
王泓砚 有点像薛定谔方程，可以描述任何一个时空点的可能状态 2022-11-21 · IP 属地江苏 回复
3
点点 重点是19个神经元需要的算力如何，如果和现有自动驾驶模型的算力差不多那就没有区别 2022-11-22 · IP 属地北京
NLP自然语言处理 作者 后面看看能不能落实到应用吧 2022-11-21 · IP 属地上海
gff
等着出事故吧越来越巫术了 2022-11-20 · IP 属地福建 回复
2
唐大为 看不懂 2022-11-20 · IP 属地重庆 回复
1
相知爱 这种颠覆性的文章，我一般看不懂。 2022-11-19 · IP 属地内蒙古 回复
李凡 NLP自然语言处理作者 除了标题颠覆，全文哪个地方颠覆了？19个神经元开车是2年多前的老结果（其实也是个嘘头），小编居然当作重大发现放到标题中。小编你到底有没有读过原文哪怕一次？ 2022-11-23 · IP 属地美国
NLP自然语言处理 作者 主要是作者整理的不行，看看原文 2022-11-20 · IP 属地上海
Have been 所以真的颠覆了吗？我又要重头学了 2022-11-20 · IP 属地陕西 回复
NLP自然语言处理 作者 那倒是不至于 2022-11-20 · IP 属地上海
我命由我不由天 感觉这是Neural ODE吧？ 2022-11-22 · IP 属地美国 回复
羁绊
封闭的，是否应该翻译成闭式的更好？ 2022-11-21 · IP 属地广东 回复
NLP自然语言处理 作者 嗯，这样确实好 2022-11-21 · IP 属地上海
赞 文章被以下专栏收录
自然语言处理论文分享 自我学习、持续为分享NLP相关研究的成果，共勉！ 推荐阅读 效率提升1200倍！麻省理工开发AI制药新模型 智东西（公众号：zhidxcom） 编译 | 夏舍予 编辑 | 徐珊智东西7月14日消息，据外媒Tech Xplore报道，麻省理工学院的研究人员最近开发了一种叫做EquBind的新模型，这个模型可以提前预测新蛋… 智东西 · 发表于智东西 一文读懂入选麻省理工《全球青年科技创新人才榜》的六位华人科学大神 那个吴小... · 发表于深圳奋斗故事 麻省理工学院校长在京演讲：中国在量子、5G等领域的进展世界领先 Deep... · 发表于DeepTech深科技
麻省理工研究者Stephanie Seneff的评论 不是没有学者发声，只是因为这些声音被屏蔽在不显眼的角落，公众无法听闻，只能日复一日地接受大喇叭的灌输，谎言被重复一百遍后，成了所谓“真理”。 虽然，Stephanie不算专业对口，但他是… 夷人
「麻省理工在Nature发表最新成果」！颠覆传统神经网络！19个神经元驾驶一辆车！ NLP自然语言处理的文章 129 赞同 打开 赞同 129 15 条评论
「麻省理工在Nature发表最新成果」！颠覆传统神经网络！19个神经元驾驶一辆车
https://zhuanlan.zhihu.com/p/584104124?utm_id=0 4 个月前 · 来自专栏 自然语言处理论文分享
NLP自然语言处理 关注 首发: AINLPer 微信公众号（每日论文干货分享！！） 编辑: ShuYini 校稿: ShuYini 时间: 2022-11-16 引言 去年，麻省理工学院的研究人员宣布，他们已经建立了“液体”神经网络，灵感主要来自小型物种的大脑。它是一种灵活、健壮的机器学习模型，它能够在工作中学习适应不断变化的条件，可以应用于安全且关键的场景，如驾驶和飞行。这些“液体”神经网络的灵活性意味着增强我们与世界之间的连接，可以为时间序列相关的任务提供更好的决策，如大脑/心脏监测、天气预报和股票定价等。
但随着神经元和突触数量的增加，这些模型的计算成本变得非常昂贵，并且需要笨重的计算机程序来解决其潜在的复杂数学问题。 所有这些数问题学，类似于许多物理现象，随着模型规模的增长将变得更难解决，这意味着需要计算很多小步骤才能得出解决方案。
现在，同一组科学家发现了解决这一瓶颈的方法，即「通过突触求解两个神经元相互作用背后的微分方程，从而解锁一种新型快速高效的人工智能算法」。这些模式具有与液体神经网络相同的特征——灵活、因果性、鲁棒性和可解释性——但速度要快几个数量级，而且可扩展。因此，这种类型的神经网络可以用于任何需要长期洞察数据的任务，因为它们即使在训练之后也很紧凑且适应性强——而许多传统模型是固定的。
这些模型被称为“封闭式连续时间”(closed-form continuous-time：CfC)神经网络，在一系列任务中优于最先进的同类模型，在从运动传感器识别人类活动、物理建模模拟步行机器人的动力学和基于事件的时序图像处理。例如，「在一项医学预测任务中，新模型对8,000名患者的抽样速度提高了220倍」。
一篇关于这项工作的新论文今天发表在 Nature Machine Intelligence 上，「文章连接在最后」。
麻省理工学院计算机科学和人工智能实验室(CSAIL)主任、这篇新论文的资深作者Daniela Rus教授说:“「我们称之为‘CfC’的新机器学习模型，用一个封闭的近似形式取代了定义神经元计算的微分方程，保留了液体网络的优秀属性，而不需要数值积分」。”“CfC模型是因果的、紧凑的、可解释的，训练和预测是有效的。它们为安全关键应用打开了可信赖的机器学习之路。”
保持流动性 微分方程使我们能够计算世界的状态或一种现象的演变，但不是整个时间的全部——只是一步一步的。为了建模自然现象，了解过去和未来的行为，比如人类活动识别或机器人的路径，该团队从一堆数学技巧找到了答案:一个“封闭形式”的解决方案，在一个单一的计算步骤中建模整个系统的描述。
根据他们的模型，「人们可以在未来的任何时候计算这个方程，也可以在过去的任何时候计算这个方程。不仅如此，计算速度也快得多因为你不需要一步一步地解微分方程」。
想象一下，一个端到端神经网络可以从安装在汽车上的摄像头接收驾驶信息。这个网络经过训练，可以产生输出，比如汽车的转向角度。2020年，该团队通过使用19个节点的液体神经网络解决了这一问题，因此19个神经元加上一个小型感知模块可以驾驶一辆汽车。微分方程描述了系统的每个节点。对于封闭形式的解，如果你把它替换到这个网络中，它会给出精确的行为，因为它很好地近似了系统的实际动力学。因此，他们可以用更少的神经元数量来解决这个问题，这意味着它将更快，计算成本更低。
这些模型可以接收时间序列(时间中发生的事件)的输入，「可用于分类、控制汽车、移动人形机器人或预测金融和医疗事件」。使用所有这些不同的模式，它还可以提高准确性、鲁棒性和性能，重要的是，还可以提高计算速度——这有时是一种权衡。
解决这个方程对推进自然和人工智能系统的研究都有深远的意义。麻省理工学院新论文的第一作者说：“当我们对神经元和突触的通信有了一个封闭的描述时，我们就可以建立具有数十亿细胞的大脑计算模型，由于神经科学模型的高度计算复杂性，这一能力在今天是不可能实现的。封闭形式的方程可以促进这种大层次的模拟，这为我们理解AI打开了新的研究途径。”
嵌入式应用 此外，早期的证据表明，Liquid CfC模型可以在一个环境中从视觉输入学习任务，并将它们学到的技能转移到一个全新的环境中，而无需额外的训练。这就是所谓的分布外泛化，这是人工智能研究中最基本的开放挑战之一。
“基于微分方程的神经网络系统很难求解，也很难扩展到数百万和数十亿个参数。获得神经元如何相互作用的描述，不仅仅是阈值，而是解决细胞之间的物理动力学，能够让我们建立更大规模的神经网络，”哈萨尼说。 “「这个框架可以帮助解决更复杂的机器学习任务——实现更好的表示学习——并且应该成为任何未来嵌入式智能系统的基本构建块」。”
“最近的神经网络架构，例如神经 ODE 和液体神经网络，具有由代表无限潜在状态的特定动态系统组成的隐藏层，而不是显式堆叠的层，”Aurora Flight Sciences 的人工智能和机器学习小组负责人Sildomar Monteiro说， “这些隐式定义的模型展示了最先进的性能，同时比传统架构需要的参数少得多。其中传统网络架构由于训练和推理需要的高额计算成本，它们在实际应用受到了很大的限制。”他补充说，这篇论文“表明这类神经网络的计算效率有了显着提高，有可能实现与安全关键型商业和国防系统相关的更广泛的实际应用。”
Paper：https://www.nature.com/articles/s42256-022-00556-7
Paper：https://arxiv.org/pdf/2006.04439.pdf
推荐阅读 [*] NLP自然语言处理：中文预训练模型！| 哈工大 && 科大讯飞 提出多任务预训练模型LERT（含源码）
[*] NLP自然语言处理：Salesforce | Transformer变体！用于时间序列预测的指数平滑Transformer（含源码）
[*] 这是一篇关于「情绪分析」和「情感检测」的综述（非常详细）
[*] 刚刚 ！ICLR2023 官方评审结果正式发布！另附：2017年--2023年 ICLR 论文下载
[*] NLP自然语言处理：EMNLP2022 | “Meta AI 9篇接受论文”，其中7篇主会、2篇Findings
[*] EMNLP2022|清华&阿里提出“更强，更快”的基于Bert的「中文」语言模型！！
[*] EMNLP2022 | 基于挖掘的零样本学习(Zero-Shot)，无需Prompt模板设计(阿姆斯特丹）
[*] NeurIPS 2022 | 模型轻量化部署！？根源分析异常值对Transformer的影响（含源码）
[*]NeurIPS2022 | 基于Transformer的中文命名实体识别(NER)新模型
[*]一文了解ACL国际会议--附: 历年会议论文下载
[*]EMNLP2022 | 听说训练一个Bert模型所消耗的能量相当于一次跨美飞行？(NLP气候影响)
[*]一文带你看懂NeurIPS国际顶会--附: 各年论文列表连接
[*]一文了解AAAI国际会议--附: 各年论文列表连接
你要是翻译一篇新闻呢，就应该把原文链接放在醒目的位置并注明这是一篇译文。装作是自己原创然后通篇翻译腔实在是很难绷。BTW，像senior author这类词，直接写英文就行了，你要翻译就翻译成实验室负责人之类接地气的名字，写个资深作者可能真没几个人能看懂…… 2022-11-22 · IP 属地山东 回复
4
NLP自然语言处理 作者 感谢您的指点，后面一定多注意 2022-11-22 · IP 属地上海
赞
王泓砚 有点像薛定谔方程，可以描述任何一个时空点的可能状态 2022-11-21 · IP 属地江苏 回复
3
点点 重点是19个神经元需要的算力如何，如果和现有自动驾驶模型的算力差不多那就没有区别 2022-11-22 · IP 属地北京
赞
NLP自然语言处理 作者 后面看看能不能落实到应用吧 2022-11-21 · IP 属地上海
赞
gff
等着出事故吧越来越巫术了 2022-11-20 · IP 属地福建 回复
2
唐大为 看不懂 2022-11-20 · IP 属地重庆 回复
1
相知爱 这种颠覆性的文章，我一般看不懂。 2022-11-19 · IP 属地内蒙古 回复
2
李凡 NLP自然语言处理作者 除了标题颠覆，全文哪个地方颠覆了？19个神经元开车是2年多前的老结果（其实也是个嘘头），小编居然当作重大发现放到标题中。小编你到底有没有读过原文哪怕一次？ 2022-11-23 · IP 属地美国
赞
NLP自然语言处理 作者 主要是作者整理的不行，看看原文 2022-11-20 · IP 属地上海
赞
Have been 所以真的颠覆了吗？我又要重头学了 2022-11-20 · IP 属地陕西 回复
1
NLP自然语言处理 作者 那倒是不至于 2022-11-20 · IP 属地上海
赞
我命由我不由天 感觉这是Neural ODE吧？ 2022-11-22 · IP 属地美国 回复
赞
羁绊
封闭的，是否应该翻译成闭式的更好？ 2022-11-21 · IP 属地广东 回复
赞
NLP自然语言处理 作者 嗯，这样确实好 2022-11-21 · IP 属地上海
赞 文章被以下专栏收录
自然语言处理论文分享 自我学习、持续为分享NLP相关研究的成果，共勉！ 推荐阅读 效率提升1200倍！麻省理工开发AI制药新模型 智东西（公众号：zhidxcom） 编译 | 夏舍予 编辑 | 徐珊智东西7月14日消息，据外媒Tech Xplore报道，麻省理工学院的研究人员最近开发了一种叫做EquBind的新模型，这个模型可以提前预测新蛋… 智东西 · 发表于智东西 一文读懂入选麻省理工《全球青年科技创新人才榜》的六位华人科学大神 那个吴小... · 发表于深圳奋斗故事 麻省理工学院校长在京演讲：中国在量子、5G等领域的进展世界领先 Deep... · 发表于DeepTech深科技
麻省理工研究者Stephanie Seneff的评论 不是没有学者发声，只是因为这些声音被屏蔽在不显眼的角落，公众无法听闻，只能日复一日地接受大喇叭的灌输，谎言被重复一百遍后，成了所谓“真理”。 虽然，Stephanie不算专业对口，但他是… 夷人
「麻省理工在Nature发表最新成果」！颠覆传统神经网络！19个神经元驾驶一辆车！ NLP自然语言处理的文章 129 赞同 打开 赞同 129 15 条评论