北京时间10月14日,清华大学计算机科学与技术系(以下简称“计算机系”)张悠慧团队、精密仪器系(以下简称“精仪系”)施路平团队与合作者在《Nature》杂志发文,首次提出“类脑计算完备性”以及软硬件去耦合的类脑计算系统层次结构。
与通用计算机的“图灵完备性”概念与“冯诺依曼”体系结构相对应,本篇题为《一种类脑计算系统层次结构》(A system hierarchy for brain-inspired computing)的论文首次提出“类脑计算完备性”以及软硬件去耦合的类脑计算系统层次结构,通过理论论证与原型实验证明该类系统的硬件完备性与编译可行性,并扩展了类脑计算系统应用范围使之能支持通用计算。
现有类脑计算系统方面的研究多聚焦于具体芯片、工具链、应用和算法的创新实现,而对系统基础性问题,例如计算完备性、系统层次结构等思考不足,导致软硬件紧耦合、应用范围不明确等一系列问题。
但从现有通用计算机的发展历史与设计方法论来看,完善的计算完备性与软硬件去耦合的层次结构是计算系统蓬勃发展的计算理论与系统结构基础。
图灵完备性和冯·诺依曼体系结构(详见附录1)是通用计算机技术能够飞速发展并持续繁荣的关键因素——几乎所有的高级编程语言都是图灵完备的,冯·诺伊曼架构通用处理器则可以通过图灵完备的指令集实现图灵完备性,这意味着编程语言编写的任何程序都可以转换为任意图灵完备处理器上的等价指令序列(即“程序编译”)。
这样,由软件层、编译层、硬件层组成的计算机层次结构就能够确保应用软件、指令集、硬件设计在独立发展的同时相互兼容(即软硬件去耦合),为整个领域的繁荣发展打下了系统基础。
相对于通用计算机,这一定义放松了对系统计算过程和精度的约束。
第一是计算通用性,即判断系统功能的边界。面向应用的软件模型是图灵完备的,为支持各种应用程序(不限于神经网络类型)的编程提供基础。第二是编译可行性,即降低软硬件开发的耦合程度。通过上述硬件原语以及构造性转化算法,确保“图灵完备”软件与“类脑计算完备”硬件原语序列间的“类脑计算完备性”等价转换(如同通用计算机在“图灵完备性”保证下的“程序编译”),实现了软硬件去耦合,从而增强应用系统的开发效率。
第三是引入新的系统设计与优化维度——近似粒度。
在上述理论与算法基础上,构建支持通用图形处理器、类脑天机芯片和基于阻变存储器的神经形态芯片(仿真)这三类硬件的软件工具链示例,并以智能自行车(作为神经网络应用代表)、鸟群模拟、QR分解(后两者作为非神经网络的通用计算应用代表)为示范应用,证实了设计的可行性,同时测试显示这一设计能够大幅提升系统优化空间,进而显著提升系统效能。
《Nature》杂志的一位审稿人认为“这是一个新颖的观点,并可能被证明是神经形态计算领域以及对人工智能的追求的重大发展(This is a novel perspective and could prove to be a significant development for the field of neuromorphic computing, and in the quest for artificial general intelligence)”。
这项研究得到了清华大学、北京信息科学与技术国家研究中心、北京智源人工智能研究院、北京市“脑科学研究”科技专项计划、北京市未来芯片技术高精尖创新中心、科技部和国家自然基金委等单位的支持。
值得一提的是,从今年春节前夕投稿,到8月上旬正式接收,论文的两轮修改由各团队在疫情期间通过线上紧密合作完成。
成员们努力克服交流不便、实验数据处理困难等问题,针对文章实验设计回复了超过70页的反馈文件。与审稿人的交流也使得小组人员对类脑计算有了更为深入的思考,目前,进一步研究已经展开。
文章的发表,意味着清华大学相关团队在一年多的时间内完成了类脑计算领域《自然》正刊三连发——从2019年8月1日的《Nature》封面文章“Towards Artificial General Intelligence with Hybrid Tianjic Chip Architecture”(精仪系施路平教授团队与合作者)开始,到2020年初的“Fully hardware-implemented memristor convolutional neural network”的文章(微纳电子系吴华强教授团队与合作者),直至此次“A system hierarchy for brain-inspired computing”一文。
上述论文分别从“异构融合的新型类脑计算芯片与系统”、“基于忆阻器件的神经形态芯片”、以及“类脑计算完备性与系统层次结构”等角度完成了类脑计算领域的首次实现。
中心融合了脑科学、电子、微电子、计算机、自动化、材料以及精密仪器等学科,进行全方位类脑智能研究。中心瞄准重大科学问题和国家重大需求,特别是未来卡脖子问题提前布局,给老师们以充分的信任和支持,倡导厚积薄发。近年来,类脑计算研究中心提出了符合脑科学基本规律的新型类脑计算架构——异构融合的天机类脑计算芯片架构,可同时支持计算机科学和神经科学的神经网络模型,发挥它们各自的优势。
目前“天机芯”已发展到第三代。第一代天机芯于2015年06月成功流片,该芯片首次将人工神经网络(Artificial Neural Networks, ANNs)和脉冲神经网络(Spiking Neural Networks,SNNs)进行异构融合,同时兼顾技术成熟并被广泛应用的深度学习模型与未来具有巨大前景的计算神经科学模型。
这款自动驾驶自行车,配备了“天机芯”和IMU传感器、摄像头,刹车电机、转向电机、驱动电机等致动器,以及控制平台、计算平台、天机板级系统等处理平台等。自行车的任务是执行实时物体检测、跟踪、语音命令识别、骑行减速等功能,还可实现避障过障、平衡控制和自主决策。这些任务中,部分运用了模拟大脑的模型,而其他则采用了机器学习算法模型。
这一成果被两院院士选为2019年中国十大科技进展、科技部中国十大科学进展。《Nature》总编斯基珀博士在2019年接受新华社专访时指出“清华天机芯片的论文将人工智能中的计算机科学研究与神经科学研究结合起来,是人工智能领域的重要里程碑”。目前,中心正在开发第三代天机芯以及新型类脑计算机。而基于现有天机芯片的天机类脑计算机已被2020年第一期人工智能杂志进行了报道——其解决了兼容传统计算架构的异构融合类脑计算系统集成技术等一系列问题,是一款能够满足类脑智能应用需求的普适类脑计算系统,主要包括系统架构、类脑处理器单元、软件工具链、输入输出子系统、类脑计算机加载测试环境等,一代样机可以对36路异步视频输入进行1000 帧/秒的实时数据处理。
第二代天机芯,是我们本次研究依托的代表性类脑计算主要平台之一。从目前数据来看,我们研究的理论成果、系统架构和相关工具链的实现方法能够支持第三代天机芯以及新型类脑计算机的研发。
同时,学校重视类脑计算产业化,类脑计算中心还孵化出了北京灵汐科技公司,是北京市认定的颠覆性创新企业和国家高新企业,已完成多款类脑芯片、异构编译平台和类脑融合算法的研发。面对即将到来的计算机架构发展黄金十年,类脑计算被认为是最有希望的方案之一。清华大学团队所提出的类脑计算系统设计思路,是在现有计算机架构基础上,加入类脑计算芯片、从而引入空间复杂性和时空复杂性。这样既可以保持原有计算机处理结构化信息的的优势,又可以利用类脑计算芯片提升处理非结构化信息的能力。团队将坚持计算机科学和神经科学融合的技术路线并充分利用新型非易失性存储器件(包括忆阻器)的特殊性质,发展适合这些器件的新的计算模型和算法,构建完全新型的智能计算体系。
https://www.nature.com/articles/s41586-020-2782-y
图灵机是英国数学家阿兰·图灵在1936年的文章《On Computable Numbers, with an Application to the Entscheidungsproblem》中提出的抽象计算模型。图灵机的基本思想源自人们用纸笔进行数学运算的核心操作:记录/修改符号和注意力在符号之间转移。
逻辑结构上图灵机由一条无限长的存储带和一个读写头组成,存储带被分割为一个个连续的格子,格子内可以存储一个字符(通常是是‘0’,‘1’或空白),而读写头则可以从一个格子移动到另一个格子,并修改格子中的内容。控制读写头移动的“程序”,则通常被描述为一个有限状态机。