南开大学电子信息与光学工程学院教授徐文涛（右一）团队开展神经形态与柔性电子研究。南开大学供图

    生物是如何知道自己在运动的呢？科学研究表明，运动的感知是多种感官综合作用的结果。大脑多感官整合是将不同模态感官信息进行结合的过程，这对于许多生物完成决策、记忆和学习等任务至关重要。人类感官的形成首先由负责感受的外周神经将接收到的刺激编码为各种信号，进而传导至大脑皮层的中枢神经。但是，如果一个人的外周神经受损，该如何感知运动呢？没有神经系统的机器人又该如何感知运动呢？

    近日，南开大学电子信息与光学工程学院教授徐文涛和他的神经形态与柔性电子实验室研发出一种人造神经系统，可以实现运动感知。该系统主要由柔性人工突触器件构成，可完成大脑对多种感官的整合，从而获得卓越的运动感知性能。3月11日，国际著名学术期刊《自然·通讯》刊登了这一研究成果。南开大学电子信息与光学工程学院蒋程鹏博士为第一作者，徐文涛教授为唯一通讯作者。该成果对于类脑器件、仿生电子的开发具有重要的指导意义，可潜在应用于移动机器人、智能可穿戴设备、人机交互等领域。

    解码运动感知原理，运动识别准确率超94%

    要想构建出人造神经的运动感知系统，首先要弄明白运动感知是如何通过神经形成的。

    此次开发的人造运动感知神经设计灵感，来源于猕猴多感官整合与空间感知机制。“上蹿下跳的猕猴是运动能手，它对高度和空间位置的感知异常灵敏。我们可以从猕猴入手来破解其背后的生物学原理，为系统的研发提供理论支持。”徐文涛解释道。

    猕猴的自主运动会在内耳前庭和视网膜中激发惯性信号与光流信号等运动信息，大脑皮层的特定区域对编码为尖峰脉冲的运动信息进行处理识别后，最终通过整合不同感官的信息实现空间感知。在人造神经运动感知系统中，团队运用加速度计和陀螺仪分别获取加速度与角速度信号，同时将这两种运动信号编码为两个脉冲序列，随后传输至高性能的可以模拟大脑处理和存储功能的突触晶体管进行处理。突触晶体管通过对脉冲平均发放率和突触器件输出电流进行判定，实现运动信号的分类识别。

    “除了运动信号外，其他感官的存在可以帮助运动感知更为精确。”徐文涛作了一个通俗的类比：“就像我们享用美食，不仅要尝到味道，还要看见它的外观、闻到香味，多种感官协同合作才能使这件事完成得更好。”

    利用光流传感器、振动触觉传感器、惯性传感器构建传感单元，该人造神经可检测视觉、触觉、加速度等多个模态的传感信息。对来自不同类型传感器的信息进行有效整合，可显著提升运动识别的准确率（高于94%），并且实验结果符合大脑的感知增强效应。

    构建人造传入神经，创造电突触功耗世界纪录

    运动的感知是多种感官综合的结果，这个过程被称作多感官整合机制，它依赖高度并行且异步触发的神经元和突触网络。为了实现神经元和突触的基本功能，近年来神经形态器件受到了该领域专家的广泛关注。

    然而，与大脑多感官整合机制相关的高级功能，如认知、学习、记忆等，仍需在神经形态器件和系统中得到进一步的开发与验证。此外，如何通过硬件层面的神经形态器件使机器人具有与人类类似的智能行为，如认知智能与类脑智能，也是亟待解决的难题。

    2018年，由徐文涛和美国两院院士、中科院外籍院士、斯坦福大学教授鲍哲南及韩国首尔国立大学学者共同提出的“人造传入神经”概念，开创了这一领域的先河。不同于以往人造神经大多只能完成单一功能，如压力传感，或者是稍微复杂一点儿的视觉、味觉传入，徐文涛团队研发的人造神经运动感知系统则实现了多种感官的整合，完成了更为综合的信息传导。

    近年来，徐文涛团队以材料、物理、电子、生命科学、医学工程等多领域的学科交叉为基础，扎根神经形态与柔性电子领域的研究，不断取得新成果。在人造传入（感知）与传出（运动）神经设计开发方面，团队研制出了可对人造肌肉不同运动方向切换控制的人造传出神经，结合生物神经信息反射处理机制，搭建了人工瞳孔反射弧，并制备出视觉和触觉并行传入、动作指令协同传出的人造反射弧等。

    在神经形态材料与器件制备方面，团队研制的基于钙钛矿材料的两端突触器件创造了电突触功耗的世界纪录。神经细胞间的信息传递依托细胞释放的神经递质，某一细胞释放的神经递质与下一个神经细胞上的受体结合。不同神经递质间还存在竞争机制。团队制备了可以传输电流的双极性突触晶体管，神经突触多种神经递质选择性释放、竞争与协同机制，实现对人工肌肉运动方向的可切换控制。

    实现类脑水平运动感知，拓宽多领域智能应用

    随着人工智能技术的发展，对智能机器人的要求也相应提高。《科学》杂志在创刊125周年时提出的125个全世界最前沿的科学问题，就包括“通过计算机进行学习的极限是什么”。人们期待机器人能有更先进的功能，其中也包含拥有和生物类似的感官，可以感受人对机器施加的影响，从而促进人机交互。人造神经运动感知系统将在该领域作出更多贡献，应用于脑机接口、类脑芯片等。

    “从本质上讲，该人造神经模拟了哺乳动物大脑中感官线索整合的过程，并结合传感信号的脉冲编码方法、突触器件的脉冲整合特性、突触电流信号的时空识别方法，实现了类脑水平的运动感知功能。”徐文涛说，该工作将神经形态认知智能与大脑多模态感知机制相结合，对于类脑器件、仿生电子的开发具有重要的指导意义，可潜在应用于移动机器人、智能可穿戴设备、人机交互方向以及医学、人工智能、军事等诸多领域。

    “今后，我们将进一步深耕多感官整合人造神经的研究，争取能实现更复杂的感官整合和功能。未来，人们也许可以期待通过人造神经实现长时记忆和短时记忆的传入、传出与存储。”徐文涛说。