正文共：字-3图
预计阅读时间：27分钟
计算在神经科学中扮演了什么角色？在分子水平上理解大脑能否带来更好的神经网络？人工智能和自然智能之间是否存在一道无法逾越的鸿沟？会不会出现一个研究智能的统一框架？在最新的一次访谈中，李飞飞与BillNewsome展开了一场深入对话。人脑只需要20瓦的功耗就可以处理运动、视觉、推理、规划、情感等复杂任务，GPT-3功耗瓦也只能处理语言任务，这种差距不禁令人思索：人工智能和自然智能之间是否存在一道无法逾越的鸿沟？在这次访谈中，斯坦福大学计算机科学系教授、以人为本人工智能研究院（HAI）院长李飞飞与斯坦福大学医学院神经生物学教授、吴蔡神经科学研究所所长BillNewsome展开了一场深入对话。李飞飞的主要研究领域为计算机视觉、认知神经科学等。她本科阶段就读于普林斯顿大学，主攻物理学，年获加州理工学院的电子工程博士学位。从年开始，李飞飞和一位同事着手开始一项庞大的任务，为来自互联网的十亿张图片进行分类、打标签，从而为计算机提供样本。最终，他们建立了ImageNet数据集，促进了人工智能浪潮的发展，也让整个AI学术界和产业界记住了这位传奇的华人女博士。年2月，李飞飞因「为建立大型知识库研究机器学习和视觉理解做出贡献」入选美国工程院院士。BillNewsome博士是系统和认知神经科学领域的顶级研究者。他本科就读于斯泰森大学，主修物理学，之后在加州理工学院拿到生物学博士学位。他对我们理解视觉感知背后的神经机制和简单的决策形式做出了根本性的贡献。作为吴蔡神经科学研究所所长，他专注于多学科研究，帮助我们了解大脑，为大脑紊乱提供新的治疗方法，并促进大脑健康。年，他被选为美国科学院院士。在这场对话中，李飞飞和BillNewsome主要探讨了以下主题：计算在神经科学中的三个角色需要计算神经科学家来解决的难题在分子水平上理解大脑能否帮助我们构建神经网络认知神经科学在构建AI方面的作用为什么说AI不只是一个用来帮助理解生物学的工具AI动机能否扩展到可量化的目标之外思考意识和智能的方法对话的完整视频如下：计算在神经科学中的三个角色李飞飞：您认为计算在您的领域和吴蔡研究所的工作中发挥着什么样的作用？Newsome：计算在当今的神经科学领域非常重要。我们有一个叫计算神经科学的分支，我们在斯坦福也有这方面的教员，而且将来会聘用更多。经常有人会问我：「计算神经科学是什么？」我通常会回答说，计算神经科学有三个非常、非常重要的研究领域。第一个是理论，这个领域的人尝试将该学科理论化并抽象出大脑进行计算、表征和动作生成的通用原理。第二个是神经网络，这个领域的人知道如何构建深度卷积网络和循环神经网络，他们建模来解决一些已知神经系统可以解决的简单问题。如果可以弄清楚这些网络如何解决上述问题，我们或许就可以深入了解关于神经系统的一些新假设。第三个是高端数据分析。我们现在所得到的数据正在变得空前庞大、复杂，有时还很模糊。知道如何处理这些数据、如何避免统计陷阱已经变得非常重要。我认为计算的这三个方向对于神经科学至关重要。不同的计算神经科学家可能精通其中的两个方向，有些人三个都很精通，但对于神经科学来说，我们还需要更多的人加入进来，因为挑战也是空前的。需要计算神经科学家来解决的难题李飞飞：您认为是哪些挑战让我们如此需要这些计算神经科学家？Newsome：我来举一些现实世界的例子吧。其中一个例子可能会让你觉得计算在发挥主导作用，比其他神经科学方法都要先进；还有一个可能会让你觉得计算需要介入进去，发挥其作用，以加深对问题的理解。我首先要讲的是神经系统中一种叫做「integration（整合）」的过程。简单点说，它就是对发生的事件进行计数，对某个时间序列进行积分，最后算出结果。这在神经系统的很多研究领域都是一个非常重要的问题，包括决策。但我们也可以简单地理解，比如说，在将视线从一个点转移到另一个点的时候，某些神经元会放电，给出一个关于眼部运动的map，大脑接收到这些信号之后，就会指挥眼睛做相应运动。神奇的是，即使放电消失了，它们也还在那儿。计算的理论是关于「整合」的：你如何接受放电带来的神经信号，如何求在眼睛下一次运动之前保持其位置不变的一些值的积分？在这个例子中，我们掌握了一些关于生理学、计算学和产生眼球运动的大脑连接结构的知识，但缺少的是解剖学方面的知识。事实证明，包含物理原理的几种不同的计算理论可以解释这一点，但要想知道大脑究竟符合哪一种理论，我们需要掌握能解释细胞之间如何连接的微观解剖学。这就是一个计算理论起到主导作用并激发了一些解剖学问题的例子。今天很多听众会产生共鸣的一个例子是深度卷积网络，它在视觉领域正在逼近甚至超越人类的表现。这就带来了一个很有意思的问题：我们确切地知道训练过的网络各层之间的联系，知道它们之间传递的信号，也可以测量它们的性能，但神经科学家们还是普遍存在一种焦虑，因为我们不知道这一切是怎么发生的。你可以用一堆像素来识别出人脸，但算法的原理是什么？也就是说，在这一领域，深层的物理、计算原理都还没建立起来。在这种情况下，我认为计算需要介入进来，这不仅有助于我们了解人工网络，还有助于了解大脑中识别人脸的真正网络。在分子水平上理解大脑能否帮助我们构建神经网络李飞飞：我们现在有一些成百上千层的神经网络，一方面，它们的表现非常惊艳，但另一方面，这些网络又都非常庞大，而且与大脑相比非常不自然。我举一个神经元之间通信的例子。在今天的神经网络算法中，它的实现方式是一个单一的标量值，而大脑中突触的通信要复杂得多。神经信号不仅仅是一种神经信号，我想了解更多。此外，从系统的角度来看，我们的大脑是一个有机器官，至少进化了5亿年之久。它有不同的部分、不同的模块。而今天的神经网络远没有达到那种复杂性和结构。我很想知道，从您的角度来看，随着我们在分子层面、突触层面和系统层面对大脑计算的了解越来越多，我们在构建这些神经网络的过程中会不会得到一些新的洞见？Newsome：我希望有，飞飞。我认为这是研究计算的神经科学家争论的最深奥的智力问题之一，也就是AI和NI（naturalintelligence）能够在多大程度上交汇，成为真正有用的对话伙伴。还是说它们只是夜间经过的船只，或两个平行宇宙？正如你所指出的，它们之间存在很大的差异。单个神经元是非常复杂的（我们大脑中有亿个神经元）：形态复杂、生物物理性质复杂，不同的神经元有不同类型的物理特性。它们是完全非线性的，通过突触连接成回路，理解和描绘这些回路是神经科学领域的一大基本问题。但有一个问题值得我们停下来思考。那就是，大脑中有很多神经调节物质，它们在大脑中扩散到自己周围的数千个突触，这些物质可以彻底改变整个回路。你拿一组以特定方式连接的神经元，然后喷上这些神经调节物质，回路瞬间就改变了。李飞飞：这点确实非常令人着迷，我们的深度学习架构里面就没有这种计算机制。Newsome：普遍循环（universallyrecurrent）是大脑架构的另一种特征。大脑的A区可以投影到B区，你可以把它想象成深度卷积网络中的一层投影到另一层。但不可避免的是，B也会投影回A。如果不把两个区域都弄清楚，你就很难理解其中任何一个区域的活动，也无法理解非线性活动以及产生同时涉及多个层的状态的动态相互作用。我们很多人都认为，理解那些分布在网络中的动态状态将成为理解很多大脑计算的关键。我知道现在很多DCN都已经开始包含循环。我不知道具体是那个领域，但那肯定是得到dynamics的一种方法。dynamics是大脑运行的另一个普遍特征。它们反映了周围世界的dynamics，输入和输出的dynamics。你需要有动力输出来驱动肌肉将手臂从一个地方移动到另一个地方，对吧？所以大脑在dynamics方面要丰富得多。关于大脑的另一件事是它的超低功率运转。李飞飞：是啊，大脑只需要20瓦就能运转。但相比之下，GPT-3等高性能神经网络都非常消耗GPU的算力，你怎么看待这个问题？Newsome：我没仔细想过这个问题。我在斯坦福有一个同事，他叫KwabenaBoahen，研究的是神经形态工程。他试图构建一个模拟电路，以一种更加类似大脑的方式运行。他的模拟电路在能耗方面非常高效，但还没有达到DCN目前已经达到的令人印象深刻的性能和类认知任务的水平。因此，这里有一条鸿沟需要逾越。认知神经科学在构建AI方面的作用李飞飞：您刚才提到了「认知」这个词，我想深入讨论一下。虽然我们刚开始谈的是计算神经科学，但认知神经科学也是神经科学和我所在视觉领域的一部分。在过去的30年里，认知神经科学在视觉领域发挥了很大的作用，它向AI领域展示了需要研究的问题，尤其是IrvBiederman、MollyPotter等人七八十年代在心理物理学领域做出的杰出工作。这些工作向我们展示了目标识别的重要问题，并导致计算机视觉目标识别研究在上世纪90年代和21世纪前十年出现突破性发展。所以我想听听您的看法，您认为认知神经科学是否还在两方面发挥作用，一方面是今天的AI研究，另一方面是AI反过来帮助前者？Newsome：我在认知神经科学方面不像你那么精通。我以一种非常简单的方式思考认知神经科学。我是一个感觉神经科学研究者，研究视觉系统、Hubel和Wiesel的理论基础以及视网膜的感受场特性，然后是大脑的第一个处理过程和大脑皮层。20世纪七八十年代，我开始研究大脑，思考来自周边的信号。我们都管自己叫感觉神经科学研究者，但还有一组神经科学家在往相反的方向努力。他们让动物做出动作，比如眼睛向右看，或者移动手臂。他们观察为这些动作提供输入的神经元，然后追踪这些输入回到大脑。这是一种运动科学方面的努力。感觉派和运动派很乐于倾听彼此的看法，但他们从没有认真坐下来聊过。但最终，二者还是相遇了。为这两者的结合做出贡献是我职业生涯的一部分。我们采用的方法是研究简单的决策形式：给动物感觉刺激，让它们就自己看到的东西做出决策，然后采取下一步动作。如果它们决策正确，就给予奖励。那么问题来了，感觉信号——也就是决策结果——是如何与控制运动相联系的呢？此时你就进入了认知领域。有人认为那是大脑中的感觉系统与运动系统的分水岭。那么决策是如何输出的呢？你可以将大脑中的感觉表示看作一种类似证据的东西，用来证明现实世界中都有什么。然后你可以想象大脑中的这些认知结构需要做出决策、输出决策、指导动作。你不能同时让眼睛向左看和向右看。有时你必须做出决策。我就是这么理解认知科学的。我认为认知科学现在是神经科学领域最有意思的方向之一。计算理论正在发挥作用，因为一些整合问题，对来自嘈杂刺激的证据的整合，那一类的理论模型深深地启发了我在决策方面的工作。所以我说计算理论正在做出贡献。有时候我也会反过来想：我们从视觉和神经科学中学到了什么，可以给AI提供启发？我们俩也讨论过这个问题。李飞飞：是啊。我想举一个我们领域的例子。DanYamins、NickHaber等年轻一代的斯坦福神经科学家都在尝试将发展认知灵感带入深度学习框架的计算建模中。你可以把他们正在构建的这些学习智能体看作学习中的儿童。在好奇心、探索等方面，这些智能体正在试图遵循人类早期认知发展的规律，学习建立一个世界模型，同时改进自己的动态模型与世界交互的方式。我认为，来自认知发展科学的箭矢实际上正在指向AI，以启发新的计算算法，而这些新算法超越了监督学习等传统模型。Newsome：神经科学真正引领人工智能、卷积网络、人工视觉的一个例子是对哺乳动物大脑早期视觉的深刻理解，即对空间和时间频率进行过滤的设定场结构在空间中有特定的位置；它的多尺度特性；以抽取面向Gabor滤波器的方式组装这些单元。这是典型的定向过滤，在所有哺乳动物皮层处理的早期阶段都是常见的。而现在，这些都融入了人工视觉。这是第一件事。你甚至不需要通过哪些步骤训练一个DCN。你只需要从这个前端开始，这个前端来自于神经科学，来自于Hubel和Wiesel的经典著作，通过一些基本的心理物理学和统计分析。如果非要让我指出神经科学给人工智能带来的东西，那我会说它为很多愿景开了个头。李飞飞：这确实很了不起。Newsome：我还想说另外一些挑战。我相信年轻一代的视觉研究者，或者说每个人都已经认识到，虽然在某些情况下，经过训练的人工视觉系统可以超越人类，但它们的学习过程与人类是如此的不同。人工系统需要成千上万的例子才能学得比较好，但我女儿两三岁的时候只看了十几次大象的图片就记住了，而且不同角度、不同环境都能认出来。两者是完全不同的。这个例子说明，人类认知神经科学以及关于人类和动物早期的视觉发展的研究给人工视觉、人工智能的研究提出了真正的挑战。李飞飞：我想强调你刚才提到的一点，就是NI系统的学习方式是如此不同。我还记得20年前，我第一篇关于AI的论文是「One-ShotLearningofObjectCategories」，但直到今天，我们还没有一个真正有效的框架来实现类似人类的one-shot或few-shot学习。除了基于例子的学习，我们还有无监督学习，它们具有灵活性和泛化能力，这确实是整个智能领域的一大前沿，无论是人类智能，还是人工智能。Newsome：我认为AI和NI现在都应该适当谦虚。我们对于其原理的理解似乎同样肤浅。李飞飞：我觉得它在某种程度上甚至对我们这些科学工作者产生了社会影响。我们需要和大众分享AI的局限性，因为当前对AI、机器的炒作是建立在对AI系统局限性理解不足的基础之上的。为什么说AI不只是一个用来帮助理解生物学的工具李飞飞：Bill，我想稍微换个话题。我认为你们在吴蔡研究所做的工作应该已经超越了这些相对低层次的建模。吴蔡研究所最重要的使命之一与神经紊乱和医疗相关。所以我想问：我们是否应该将AI和机器学习更多地看作是一种工具，让这种数据驱动的方法帮助研究者、医生发现疾病机理和治疗方法？吴蔡研究所有没有类似的工作？你如何从研究神经紊乱的角度来看待人工智能?Newsome：这是一个好问题。人工智能真的更多地是一种工具，使我们能够进行严肃的生物学研究，还是说人工智能的过程、算法和架构结构有助于我们理解它们在大脑中的对应关系？我觉得两者都有。我来举一个神经疾病的例子。一些神经系统疾病具有精神共病（psychiatric
