最新消息:世界很大,我们都想去看看——让我们从好奇网开始!

IBM认知计算创始人D. Modha——从印度学霸到打造硅基大脑

好奇 爱 好奇 1517浏览 0评论 来自微信:机器之心 | almosthuman2014

1
这团光怪陆离的漩涡反映的是恒河猴的神经结构,莫德哈从中汲取设计芯片的灵感。漩涡边缘的缩写标示的是恒河猴的独立脑区。图片来源:《发现》杂志

得知那条将改变自己一生命运的消息的那天,17岁的德尔门德拉•莫德哈(Dharmendra Modha)正在孟买的一家医院里,带领一帮工人刮除铁椅子上的油漆。他很高兴能拥有这份工作,因为它能保证稳定的收入,也能保证安全——在1986年的孟买,一位贫穷少年切合实际的最大追求不过如此。

莫德哈的母亲在午饭后不久,把话传到了他工作的地方:全国统一大学入学考试的成绩下来了。似乎出了一些问题,因为家里收到了一封令人费解的电报。

莫德哈的分数不仅令他在印度人口最密集的城市荣登榜首,他的数学、物理和化学成绩在拥有一亿人口的马哈拉施特拉邦也都勇拔头筹。他能否前往学校去协调一下?

当时的莫德哈想象不到,那封电报对他的未来有何意义。他双亲的学业都止于11年级,亲戚中上过大学的人数,一只手便数得过来。

然而这些年来,当他沿着考试成绩铺就的道路,先是求学于印度最具声望的理工学府之一,继而进入加利福尼亚州圣何塞市的IBM阿尔玛登研究中心,在计算机科学领域取得事业上的成功,胸中的抱负也经历了一番风起云涌,莫德哈早已远非昔日可比。

近日,这位长着黑色浓眉、留着短发、带着眼镜的小个子工程师,坐在美国硅谷的办公室里,讲述了他改变计算领域未来的愿景。“我们的任务很明确,”已经44岁的莫德哈拿着一枚有一块金色方框的矩形电路板说道。

“我们要让这种芯片无处不在——每一个角落,每一样物体中。我们要让它们成为世界不可或缺的一部分。”

传统的芯片是将成套小型电子模块放在一块小板片上,被计算机用来执行操作。它们往往含有几百万条既能够编码并存储信息,也能够执行程序指令的微型电路。

莫德哈的芯片功能与此相同,却相当节能,而且根据设计,由这种芯片构成的计算机能够处理的数据量将远超传统计算机。莫德哈展望出一种以这种新型芯片为关键核心的全新计算模式,其计算能力将令现存的任何机器望尘莫及。这种计算模式的模仿对象,正是令当年孟买那位穷苦劳工走向技术革新的重大要塞之一的神奇造物:人脑。

求问神经学

人脑消耗的能量大概相当于一枚20瓦的灯泡——这比一台执行人脑级别运算的计算机节省了十亿倍。它又是那么地紧凑,能够装进一只两升的汽水瓶里。然而,这一团糊状的有机物能够完成的事情,是任何一台现代计算机都无法做到的。

当然,在执行预先编程的计算时,计算机优势明显,比如生成工资单,或者为登月舱计算抵达月球上某个特定地点所要采用的路线。可是若论及从不熟悉的景象、声音、气味和事件中领悟到意义,以及迅速理解它们之间的关联,即便最先进的计算机也无法与大脑相提并论。

也没有机器能够匹敌人脑从经验中学习以及根据记忆预测未来的能力。

5年前,莫德哈意识到,如果世界上最优秀的工程师采用旧的方法上下求索数十载,仍旧无法造出能效及智力可与人脑相比的机器,他们也许就永远都做不到了。

于是他抛弃了过去60年来指导芯片设计和软件开发的许多原则,转而求助于神经学文献。说不定理解脑的不同组件及其互相配合的方式,能够帮助他建造更加聪明、更加节能的硅基机器。

莫德哈的努力正在换来回报。他设计的新型芯片包含的硅基原件,粗略地模仿了碳基脑细胞的物理分布以及之间的连接。莫德哈相信,他的芯片可以用来建造人脑规模的认知计算系统,而能耗只比人脑高100倍。这样的系统将比如今的计算机节能一千万倍。

莫德哈的团队已经演示了一些基础的功能。他们开发的芯片能够学会玩电子游戏《弹跳小球》,而无需程序员明确告知该如何做。在这个游戏里,玩家需要移动屏幕底端的一根长条,准确预测出小球弹起的角度。它们还能够辨识实验室助理用电子笔在平板上潦草写下的阿拉伯数字0至9。

当然,已经有很多工程师实现了这样的壮举——而且令人印象更加深刻。开发算法使计算机根据经验发展出新行为的努力,形成了一门名为机器学习的分支专业。这样的机器已经在国际象棋和智力竞赛节目《危险边缘》中击败了世界上最聪明的头脑!

虽然在教会计算机执行有着明确参数的特定任务,比如侧向泊车或者在百科全书里寻找冷门问题的答案等方面,机器学习理论学家已经取得了进展,但他们的程序还不能让计算机在完全没有预设的情况下形成概念。

莫德哈希望,他的节能芯片能够带来变化。他说:“现代计算机最初被设计用来解决3类基础问题:商业应用,比如记账;科学,比如核物理模拟;还有政府项目,比如社会保险。”

另一方面,大脑则经历了演化的严酷历练,能够迅速理解周围的世界,并依据其结论采取行动。“它能够在大草原上的一片嘈杂之中分辨出徘徊的猎食者,并不需要被告知该寻找什么。它并没有被编程,而是学会了逃跑和避开狮子。”

具备类似能力的机器,或许将帮助人类解决最紧迫的问题之一:信息过载。从2005年至2012年,全世界创造、复制及消费的数字信息增长了2,000%以上——在2012年超过了2.8万亿G。

一些人估计,信息的比特数几乎与可观测宇宙中的恒星数量相当。编写代码以指导如今的计算机处理海量信息——如何排序、分析、连接信息,以及如何做出应对——的艰巨任务,已经远远超出了人类程序员的能力。

莫德哈相信,认知计算机能够填补海量信息与现有计算机能力之间的鸿沟。它们将汇集来自多个传感数据流的输入,并形成关联及记忆编码,从中识别出模式,作出预测,继而解读,甚至可能做出应对之举——而做到所有这些,消耗的电力远低于当今的机器。

比如说,从监测全世界水源的大量传感器获取数据流之后,计算机或许能够学会识别压力、温度、波浪大小和潮汐的变化,然后发出海啸预警——尽管目前的科学还无法将如此大批的变量与海啸之类的巨浪关联起来。

以脑结构为基础的计算机,可以帮助急诊医生做出困难的诊断,哪怕体温、血液成分或者其他潜在疾病相关体征的共同变化还没有被学界所了解。

“你还是会想把你的薪水、性别和社会保险码存储到当今的计算机里面。”莫德哈说,“但是认知计算带来的是一种与此互补的范式,应运而生的将是一种截然不同的机器。”

2
德尔门德拉·莫德哈站在脑墙旁边。在IBM,他的认知计算团队使用这堵墙模拟脑的活动并设计神经芯片。他手里托着的是神经突触芯片,基于脑结构的新一代计算机的核心构件。图片来源:《发现》杂志

点亮网络

莫德哈并不是第一个从大脑中汲取灵感的工程师。人们对脑的最小单元——被称为神经元的细胞——执行运算的方式的深刻理解,已经催生出了整个计算科学领域。

是神经元的激发,令我们能够思考、感觉和移动。而这些能力并非源于任何单一神经元的活动,而是来自互联成网的神经元相互传递简单信号的协同工作。

早在1943年,模拟人脑的机器便有了理论上的可能。当时,神经生理学家沃伦·麦卡洛克(Warren McCulloch)和数学家沃尔特·匹兹(Walter Pitts)提出了神经网络通过互动相互激发在脑中传递消息的理想化数学方程。

在生物的脑中,神经元通过被称为突触的连结点传递电化学信号,以此进行通讯。这样的过程往往始于光线或声音之类的外部刺激。如果刺激足够强烈,接收神经元细胞膜两侧的电压就会超过一个给定阈值,让充当信令的电化学物质跨过突触,激发更多神经元,以此类推。

当同时被激发的神经元数量达到一个临界值,外界的输入就会被脑的认知区域所感知。足够多的神经元被共同激发时,孩童可以学习骑自行车,老鼠能够走迷宫。

麦卡洛克和匹兹指出,无论他们的理想化神经元接收到多少输入,它只会处于仅有的两种状态之一 ——激发或者休眠,具体要看兴奋阈值有没有被超越。

由于神经元遵从这种“非此即彼法则”,脑执行的任何计算都可以简化为一系列真假表达式,这里的真和假,还可以分别由1和0代替。现代计算机的基础也是使用1和0的逻辑系统,只不过信息来自电路开关,而非外部环境。

麦卡洛克和匹兹找到了脑和计算机之间的基本相似点。只要有能力问出足够多的“真/假”问题,不管脑还是计算机,最终都应该能够解决哪怕最复杂的问题。

比如说,要想在一组红点和一组蓝点之间划一条界线,问题的应对者可能会询问每一个点是红色(真/假)还是蓝色(真/假),然后询问两个相邻的点是否颜色不同(真/假)。只要问题与答案的层面足够多,应对者便可以解决几乎任何复杂问题。

然而,由神经网络构成的大脑能够编码记忆及学习,与此相比,前述的逻辑能力似乎差得还远。加拿大心理学家唐纳德·赫伯(Donald Hebb)1949年解释了大脑的这些能力。他假设两个以极短的间隔相继激发的神经元之间的联系会加强。“共同激发的神经元会彼此纠缠”,这是他的重要作品中一句朗朗上口的名言。

神经元之间的连接解释了叙事性记忆的形成。文学史上有一个很有名的例子,当马塞尔·普鲁斯特(Marcel Proust)把一块马德琳蛋糕在茶杯里泡了泡又咬了一口的时候,童年的记忆涌上了心头。这是他小时候经常做的事情,多年之后重复这套动作时,存储这些味道和运动记忆的脑区中,神经元被激发了。

正如赫伯所指出的,这些神经元和那些与其他童年记忆有关的神经元之间,存在紧密的物理连接。于是,当普鲁斯特品尝马德琳蛋糕时,编码那些记忆的神经元也被激发了——普鲁斯特沉浸在那么多联想记忆中,成就了他的宏篇巨著《追忆似水年华》

到20世纪60年代,计算机研究者就开始尝试,将赫伯关于学习和记忆的想法建立成模型。他们取得的成就之一,就是一个粗糙的大脑模型,被称为感知机。感知机包含一个由人工神经元组成的网络。这种网络由两层电路组成,既可以在计算机上模拟,也可以制造成实物。

两层之间的空间据称代表了突触。电路层在突触上传递信号实现互相交流,便(粗略地)模拟了一个活的神经网络。人们可以调整两层之间传送的信号强度——从而调整第一层激活第二层的可能性(大体上相当于一个处于激发状态的神经元激活另一个神经元,从而把信号传递下去)。

如果引导第二层对一些输入做出的回应比其他输入更加强烈,感知机便实现了学习功能。程序员训练一种神经网络学会了“阅读”,方法就是让它在接收到描绘出特定字母的光学图案时激发得更加强烈。

能够训练计算机根据经验将数据分门别类,这是一个革命性的想法。然而感知机具有局限性:它只包含两层电路,只能识别“线性可分”的图案,比如能够用一根直线分开的一群黑点和白点(或者用更加形象的话说,一只猫坐在一把椅子的旁边)。但如果向它展示组成更加复杂图形的一群黑点和白点,就好像猫坐在了椅子上面,感知机就会彻底糊涂了。

直到20世纪80年代,工程师才开发出一种算法,能够把神经网络带入下一个层次。现在,程序员不再仅仅能够调整两层人工神经元之间的权重,而且能够调整3层、4层,甚至9层之间的权重,从而描绘一个能够容纳更多细节的宇宙。

这种网络能够回答更加复杂的问题。忽然之间,神经网络能够在黑点和白点之间划出蜿蜒曲线,也能够同时分辨出猫以及它蹲坐于其上的那把椅子了。

3
聚在脑墙前面的,是认知计算实验室的团队成员(由左至右):约翰·阿瑟(John Arthur)、保罗·梅洛拉(Paul Merolla)、比尔·瑞斯科(Bill Risk)、德尔门德拉·莫德哈、布莱恩·杰克逊(Bryan Jackson)、麦隆·弗里克纳(Myron Flickner)和斯蒂夫·艾瑟(Steve Esser)。图片来源:《发现》杂志

走出孟买

就在神经网络的复兴开始提速之时,莫德哈进入了印度首屈一指的工程学府:孟买的印度理工学院。他1990年毕业,获得了计算机科学及工程专业的学位。

莫德哈寻求继续自己的学业,而在那个时候,没有几个专业能像重新兴起的神经网络那样热门。从理论上来讲,神经网络的大小仅仅受到计算机规模和程序员创造力的制约。

当时有一件事,有力地佐证了神经网络前所未有的能力:美国卡内基梅隆大学的研究生狄恩·鲍默劳(Dean Pomerleau),用模拟的路况图片,教神经网络理解与车载计算机相连的摄像机获取的实时路况图像。传统的程序员在这个问题上步履维艰,因为哪怕角度、光照或其他因素极其细微的变化,都会令只能识别准确视觉参数的预编程软件应接不暇。

鲍默劳没有尝试把每一幅可能的图片或者路况都准确地写入代码,而仅仅是向神经网络展示不同的路况。一旦它学会了在某种特定情况下驾驶,它就能融会贯通,在类似但不完全一样的情况下驾驶。

使用这种方法,计算机能够根据相似之处,通过没有隔离板的道路识别出有隔离板的道路,或者通过晴朗天气中的道路识别出雨天的道路——这是使用传统编码技术无法完成的事情。读取过一些左转弯和右转弯的道路图片之后,它能够识别以任何角度转弯的道路。

其他程序员通过输入优质信用卡账户和欺诈信用卡账户的购物记录,设计出了能够侦测信用卡诈骗的神经网络。根据在已知欺诈账户中发现的常见花费模式,神经网络能够识别出欺诈行为,并定位出新的诈骗案例。

圣地亚哥是神经网络的圣城——1987年,大约1,500人在那里召开了20年来神经网络领域第一次意义重大的会议。1991年,莫德哈来到加利福尼亚大学圣迭戈分校攻读博士学位。他以应用数学为研究方向,构造出等式来检验给定系统能够处理多少个维度的参数,并设计配置使其能够处理更多。

1997年,莫德哈在圣何塞市入职IBM时,计算科学的另一股趋势——万维网的崛起,成为了焦点。甚至在那个时候,新数据的滔天巨浪淹没程序员的情形就已经显而易见了。互联网提供了大量关于人类行为、消费者喜好和社会趋势的信息。

但是,信息太多了:人们该如何组织这些信息?你怎么能够从以数万种特征为分类依据的文件中,识别出模式?

为了处理将各种偶然情况考虑在内所需的数据或者大段程序,现在的计算机耗费了太多能量。随着家庭、桥梁、医院急诊室以及其他各处安装上更多采集视觉、听觉信号以及其他信息的感应器,信息的泛滥只会愈演愈烈。

4
德尔门德拉·莫德哈和团队成员比尔·瑞斯科站在IBM公司阿尔玛登研究中心一台超级计算机旁边。团队利用阿尔玛登和劳伦斯利物莫国家实验室的超级计算机模拟了大体上接近小鼠、大鼠、猫和人类大脑的网络。图片来源:《发现》杂志

模拟大脑

莫德哈思考得越多,越发相信,也许转而研究人脑这一现存最有效率、最节能的模式识别机器,才会找到解决之道。在神经学文献中寻找灵感的过程中,他发现了美国麻省理工学院神经学家米甘卡·苏尔(Mriganka Sur)的著作。

苏尔曾经把与新生雪貂眼睛相连的神经与脑的视觉皮层分离开来,然后连接到听觉皮层上。尽管眼睛连接到了脑中处理声音的部分,经过改造的小动物仍旧可以像成年雪貂那样视物。

对莫德哈来说,这个实验结果的含义令人激动:雪貂的神经回路是灵活的——就如同一些汽车的前后保险杠一样能够互换。苏尔的研究表明,要想在计算机上建造一个人工皮层,你只需要一种制作神经“回路”的设计,就能够生成它所有的构建模块。

如果你能够破解那个回路的编码——然后在计算中实现它——你所要做的无非重复实现它。当程序员想要给计算机增加新功能,使用模式识别算法理解新的数据流时,他们不必再从头开始,只要增加新的回路就可以了。

在寻找主要神经模式时,莫德哈发现,欧洲的研究者已经能够用数学语言描述猫脑中的回路,看上去与苏尔在雪貂体内的研究对象类似。

如果你展开猫的皮层,抚平上面的褶皱,你会发现有6个同样的层次在一遍又一遍地重复。若是绘制一下不同层次上不同神经群体之间的联系,得到的图解与电路图非常相似。

莫德哈和他的团队从这些典型回路中汲取灵感,开始编制一种能够多次复制的人工神经网络。第一步是,确定他们在IBM传统的超级计算机上,一次性能够连接并运行多少条这样的虚拟回路。

有没有可能达到人脑皮层的规模?

起初,莫德哈和他的团队早早就遇到了障碍,他们的能够运行的虚拟回路还达不到小鼠皮层神经数量的40%,也就是大约800万个神经元,每个神经元又带有6300个突触。回路数量的短缺,限制了他们模拟实现学习、记忆和创造性智力的能力。

于是,他们再次向神经科学求助。他们意识到,脑中真正的神经元,只在激活时,才会成为脑整体计算过程的一分子。未被激活的时候,神经元仅仅待在支线上无所事事,耗费极少的能量。因此,没有必要把800万神经元的状态每秒就更新1000次,那样只会拖慢系统。

相反,他们可以指导计算机只关注刚刚被激发、因此最有可能再次被激发的神经元,以此实现对脑的模拟。这样调整过之后,超级计算机模拟脑基系统的速度提高了上千倍。到2007年11月,莫德哈已经能够模拟规模相当于大鼠皮层的神经网络,也就是5500万个神经元和4420亿个突触。

两年后,他的团队把模拟的规模提升到了16亿个神经元和接近9万亿个突触,这已经相当于猫的大脑了。最终,他们将系统扩充到了5300亿个神经元和100万亿个突触,大致相当于一个人脑了。

建造硅脑

研究者已经模拟了数以亿计一模一样的这种规范电路,也许有一天,这些电路会将一种新型的认知计算机带入现实。但它只是一个模型,运行在慢得令人恼火的古董机器上,永远不会像大脑那样工作,永远无法步入认知的层面。

2008年,美国国防部先进研究项目局(DARPA)宣布了一个旨在为真正的认知计算机制造硬件的计划。第一笔拨款将被用于设计节能芯片,它将成为新型机器心脏与灵魂——莫德哈美梦成真了。

5
莫德哈研制的硅基大脑的基本构成单元——节能神经芯片。图片来源:《发现》杂志

在DARPA的资助下,莫德哈于2011年夏天公布了他的新型节能神经芯片。这种芯片成功的关键在于它的处理器,也就是接收并执行指令的部分。传统计算机包含少量运算速度非常快的处理器(现代笔记本电脑通常在一块芯片上拥有二至四个处理器),而且它们几乎一直都在工作。每一毫秒,这些处理器便扫描数以百万计的电路开关,监控几千条电路的状态,并在两种可能的状态——1和0之间切换。

为了存储1和0构成的模式,当今的计算机使用独立的存储单元。电子信号在处理器和存储器之间,通过被称为存储总线的通路传送。工程师曾经通过缩短总线的长度来提高运算速率。

现在一些服务器能够让信号在存储器和处理器之间每秒来回传递数亿次,然而最短的总线也要耗费能量并产生热量,需要大量的电能来冷却。

大脑的构架从根本上有所不同,这种不同将反映在基于大脑结构的计算机中。大脑并非由少数几个连续工作的强大处理器构成,而是包含几十亿相对较慢、较小的处理器——神经元,而且这些处理器只在被激活时才消耗能量。由于大脑以神经元之间连接强度的方式存储记忆,也就是说,存储在神经网络自身内部,因此并不需要耗能巨大的总线。

莫德哈新型芯片的处理器,是工作方式犹如大脑的计算机的最小单元:每一块芯片上包含256个非常慢的处理器,每一个处理器代表一个人工神经元(作为对照,蛔虫的脑包含大约300个神经元)。任何时候都只有被激活的处理器才会显著耗费能量,因此总体能耗较低。

即便处于被激活状态,处理器需要的能量也远远不及传统计算机中的处理器,因为它们被设计执行的任务简单得多:传统计算机处理器要执行计算机运行所必需的所有计算和操作,而莫德哈的微小单元只需要计算从其他虚拟神经元接收到的信号数量,评估它们的权重,并决定接收到的信号是否足够令处理器发出一条自己的信号。

莫德哈还没有将他的新型芯片及其处理器连接到模拟大脑物理结构的大型网络上。但是他确信,这么做的收益将是巨大的。演化将脑中最有可能沟通的部分放在一起,从而赋予了脑相当节能的解剖结构,因为神经元离得越近,传递信号需要的能量便越少。莫德哈希望通过复制脑的宏观布局,在他以脑结构为灵感的机器中,实现这种以及其他未曾想到的节能特性。

他耗时多年、花费大量精力研究恒河猴脑中的长距离连接,最终得到了383个不同脑区的分布图,而这些脑区由6602个独立链接彼此相连。这副图展示了任何人工大脑中的不同区域分别应该被分配多少个认知计算芯片,以及它们应该和哪些其他芯片连接起来。

比如说,有336条链接始于脑的主要视觉中枢。前额皮质所在的额叶则令人惊叹地生发出1648条链接。额叶位于大脑中部,是决策和认识思维之所在。就像在真正的脑中一样,神经元计算机中也会有一个中心点汇聚最多的链接。

当然,就算莫德哈能够建造这种“脑机”,一些人仍在怀疑它是否有实际用途。顶尖的神经网络理论家吉奥夫•辛顿(Geoff Hinton)认为,这种新型计算机毫无用处,除非有合适的“学习算法”能够清楚说明哪些因素应当改变突触连接的强度,并且改变多少。如果在没有这种算法的情况下制造新型芯片,他说,“就如同还没有搞清楚如何产生爆炸并且控制能量驱动车轮前进,便要制造汽车发动机。”

但是,莫德哈和他的团队没有被批评意见吓住。他们争辩称,他们是在以认知计算大幅节能以及大跨度提升处理能力之长,弥补传统计算机之短。需求日益急迫:到2020年,全世界产生的数字信息量将是2012年的14倍。莫德哈说,只有当计算机能够发现模式并且自行得出关联,问题才能够得到解决。

建造未来的计算机是一项令人生畏的挑战。然而多年之前,还在世界另一侧从椅子上刮除油漆的少年莫德哈便已经懂得,利用人脑的力量,你能够取得的成就将难以估量。

本文选自果壳网,秦鹏编译,原文为《发现》,The Quest to Build a Silicon Brain

转载请注明:好奇网 » IBM认知计算创始人D. Modha——从印度学霸到打造硅基大脑

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址