南京大学缪峰团队提出迄今最高并行度神经形态类脑计算方案
导读:近日,南京大学缪峰教授合作团队首次提出了迄今最高并行度的神经形态类脑计算方案,成功实现了对 16 张字母图片的并行读取、并行识别、与识别结果无线传输的功能演示。
“如何利用新的计算硬件和计算方案来实现大规模并行计算,从而实现信息处理速度的不断提升,是未来计算领域里一个广受关注的议题。” 南京大学物理学院缪峰教授告诉 DeepTech。
近日,南京大学缪峰教授合作团队首次提出了迄今最高并行度的神经形态类脑计算方案,成功实现了对 16 张字母图片的并行读取、并行识别、与识别结果无线传输的功能演示。
基于神经形态的并行计算方案,对 16 张字母图片的并行读取、并行识别与识别结果传输示意图(来源:受访者)
该计算方案既为未来人工智能时代填补海量数据计算需求所面临的算力缺口提供了可行的技术途径,也为利用大规模并行计算技术在神经形态计算领域的应用提供了科学依据。
相关研究成果于 7 月 8 日发表在 Nature Nanotechnology 上,论文题目为《利用连续时间数据表达在纳米尺度交叉阵列上实现可扩展大规模并行计算》(Scalable massively parallel computing using continuous-time data representation in nanoscale crossbar array)。
图 | 相关论文(来源:Nature Nanotechnology)
南京大学物理学院博士生王聪和副教授梁世军为该论文第一作者,缪峰教授担任通讯作者。共同作者还包括东南大学和紫金山实验室张在琛教授、张川教授团队。
迄今最高并行度神经形态计算方案
信息科学领域一直存在一个颇具挑战性的科学问题:计算机处理速度是否存在上限?
不可否认的是,近年来计算机处理器的运行速度确实达到了一个瓶颈,这导致传统计算机在有着大规模计算需求的物联网、自动驾驶等应用场景中面临巨大挑战。
图 | 利用纳米尺度忆阻器交叉阵列实现大规模并行计算(来源:受访者)
为了应对这个挑战,缪峰团队引入忆阻器交叉阵列。由于其在神经形态计算方面具有优良的性能,可实时连续地处理动态信息,可以说是绝佳的信息载体。基于此,该团队提出和实现了基于神经形态的并行计算方案:频分复用计算(Frequency Multiplexing Computing,FMC)方案。
该计算方案拥有并行计算和并行读取两种模式,在实验中,研究团队将两个分别工作在读取和计算模式下的忆阻器阵列进行级联,成功实现功能验证。
在对 16 张字母图片并行识别的演示过程中,该团队使用了两个级联的忆阻器交叉阵列,将第一个阵列用来储存图片,第二个阵列用来储存用于识别上述图片的神经网络权重。第一个阵列完成信息读取后,经过电流转换,这些信息可直接被加载到第二个阵列中去,经过第二个忆阻器阵列的推理,16 张图片的同时分类过程即宣告完成。
“该频分复用计算技术具有普适性,可以广泛应用于忆阻器、相变存储器、磁隧穿结存储器、浮栅器件等众多神经形态计算硬件上。” 缪峰教授表示。
颠覆冯诺依曼计算架构,打造全新计算范式
人工智能时代,处理和存储单元分离的冯诺依曼计算架构瓶颈逐渐显现,传统计算架构亟需调整。
“而神经形态计算的出发点,便是为了解决目前冯诺依曼计算架构面临的包括存储墙、功耗墙等在内的诸多重大挑战,最终形成颠覆冯诺依曼架构的全新计算范式,使其类似人类大脑,同时具备极低功耗、极高并行度、自主学习决策等特征。” 缪峰表示。
相比于基于冯诺依曼架构的数字计算机,神经形态计算技术最大的优势是可以用更少的器件、更低的能耗、更高的速度来处理人工智能计算任务。
在缪峰看来,这也是实现通用人工智能计算机的终极路线。
图 | 缪峰教授(来源:受访者)
不过想要实现真正意义上的神经形态计算,使其具备类似于人类获取信息、学习、推理、认知等能力,尚需要开发全新的硬件。
一个无法回避的挑战就是:如何选择合适的材料体系、设计新的器件结构、构建基于新器件的硬件系统?
这个问题为材料选择树立了一个很高的标准:既要求材料的物理特性能够在器件层面模拟神经元和突触的功能,又要求其能够进一步实现大规模集成,从而在系统层面实现对人脑信息处理功能的模拟。
到目前为止,领域内尚未发现能够完全满足上述要求的材料。
而具备各类衍生现象的量子材料,有望从功能上满足这样的要求。但是,若想找到最合适的量子材料,人们需要借助描述微观世界的量子物理,设计出 “巧夺天工” 的器件结构,从而实现能够满足未来发展需求的神经形态计算单元和电路。
此外,如何让这些新型神经形态器件和电路可以稳定、高效地相互协作运行,构建出一个智能、强大的信息处理系统,也是该领域的一个重要发展方向。
缪峰表示,解决这样的挑战需要物理学、材料学、电子科学与工程、计算机科学、生物学等多学科的交叉合作与共同努力。
从实验室验证到产业应用,勇闯人造 “电子大脑” 无人区
“模拟人脑信息处理的方式,仿制出像人脑一样能够进行思考,且在工作性能上超越人脑的通用人工智能计算机,是我们这个领域的科学家毕生追求的梦想。” 缪峰告诉 DeepTech。
人脑是自然界中最完美的信息处理系统,它可以凭借极低的功耗同时执行诸多复杂的任务。因此,对于 “电子大脑” 的关注和研究近年来愈加频繁。
为了实现类脑计算,缪峰团队在寻找合适的量子材料、开发基于材料特性的新原理类脑计算器件、集成小型系统、类脑计算应用初步展示等方面,付出了大量时间和精力。正是在这种不懈努力下,他们为类脑计算的未来发展找到了全新突破口。
图 | 如人眼一般的类脑视觉传感器(来源:受访者)
以该团队近期的两项重要成果为例,为提升信息处理效率,缪峰构建了一个类脑视觉传感器,其拥有如同人眼般强大的信息探测和处理功能,且可同时发挥作用。另外,基于这种 “类视网膜形态” 器件,他进一步构建了一套 “类脑视觉原型系统”,实现了对大规模输入图像的快速识别。
“忆阻器之父”、加州大学伯克利分校电机工程与计算机科学系教授蔡少棠(Leon Chua)对于此项研究给予了高度评价,认为其 “为将来探索类脑视觉系统在自动驾驶、智能安防和智能医疗等领域的应用开辟了一条可遵循的潜在技术路线。”
虽然当前的神经形态计算主要处于实验室内的原理验证阶段,但是同样备受产业界关注。据了解,不仅是 IBM、Intel、阿里巴巴等大公司在研究神经形态计算硬件,还有众多初创公司也对此开展了研究。
根据神经形态计算硬件具体技术方案和相关硬件的技术指标的不同,神经形态计算技术将为低功耗边缘设备和服务器云端设备提供新的计算范式和可用系统,带来低功耗高性能的表现。
比如说,应用了神经形态计算技术的 “感算一体” 摄像机,可以在近数据端对数据进行预处理,减少原始数据向后级传输所需带宽以及 A/D 转换成本。
在未来,当器件各方面性能得到进一步提升、系统规模进一步扩大后,便可以在近数据端的硬件部署完整的大型推理网络。而这样的系统可以借助其低功耗的优势,实现无需唤醒的实时工作。
此外,随着契合的技术逐渐发展,或将实现对神经形态硬件的片上训练(On-Chip Learning),从而进一步提高其智能水平。最终,在未来,具有这种 “电子大脑” 的诸多智能设备可以为人类提供更好的服务。
图 | 类脑电路示意图(来源:受访者)
不过,目前已知的 “电子大脑”,在规模、性能和功耗方面与人脑相比差距很大,还需要在科学和技术层面克服诸多挑战。比如,要发展新原理类脑计算范式,具体采用哪类量子材料?如何优化电子器件?实行什么样的工作原理和运行机制?
“目前这些方面都还处于百花齐放、百家争鸣的状态。另外,在技术层面,我们人类也还缺乏类脑计算的顶层架构设计等。” 缪峰表示。
九年留学归来,组建科研团队,协力 “啃下硬骨头”
2004 年,缪峰在南京大学本科毕业后,奔赴美国加州大学河滨分校攻读物理学博士学位,期间主要从事低维材料的基本物性研究。但博士毕业后,缪峰并没有选择继续留在高校,而是选择去了美国硅谷的工业界实验室:惠普实验室。
惠普实验室是第一个在实验上发现忆阻器的团队,对神经形态计算领域的发展做出了突破性的贡献。
该实验室的创始主任是纳米电子学领域领军科学家理查德斯坦利威廉姆斯(R. Stanley Williams),也正是在他的领导下,一个研究实力强大、成员背景高度交叉、内部氛围非常和谐的团队成功组建起来。
在此期间,缪峰参与了一些具有明确应用导向的研发项目,而这些经历对后来他回国从事相关研究奠定了非常好的基础。
“研发过程中,我逐渐了解在推动一项新技术实现应用的道路上,需要从哪些方面入手,这些都是在学校里不太容易接触到的经历。” 缪峰表示。
在他看来,在神经形态计算这一国际前沿研究方向上,国内外的发展速度基本并驾齐驱,大都围绕着新原理器件的构建及小规模阵列的应用探索展开,可以说中国并不落后。
图 | 缪峰研究团队(来源:受访者)
因此,在 2012 年入选国家 “海外高层次青年人才计划” 之后,缪峰全职回到南京大学物理学院工作,并迅速组建了自己的研究团队。
目前该团队主要由缪峰教授、梁世军副教授、两位博士后、以及近 20 名博士生和硕士生构成。团队致力于通过开展二维材料物态的调控和器件研究, 实现新型量子物态调控规律和器件结构设计在未来计算领域的应用。
“我们的目标是希望通过对新材料和新原理的前瞻性研究,建立二维材料的物性调控与信息器件应用之间的桥梁,从而加速不同学科之间的深度融合。” 缪峰教授向 DeepTech 介绍。
研究过程中,团队会遇到各种各样的困难,其中最大的难题就是多学科的知识学习、交叉融合和运用。为了克服这一挑战,缪峰团队始终强调,团队内部不同研究方向之间、以及与组外跨学科团队要进行深度交叉讨论与合作。
图 | 类脑视觉系统(来源:受访者)
通过持续的努力探索和严格的自我要求,缪峰团队近年来陆续在室温高灵敏红外探测器、“原子乐高” 高鲁棒性忆阻器、弹道雪崩探测器、类脑视觉传感器及系统、可重构逻辑和神经形态电路、大规模并行神经形态计算技术等方向取得重要突破。
缪峰表示,这些突破和积累已经为其团队后续继续 “啃一些硬骨头” 打下了良好的基础。接下来,他们将围绕未来电子信息技术发展面临的关键挑战,不断深入地思考,并对可能的颠覆性技术进行持续探索。