类脑计算模型登Nature子刊：受大脑启发的人工树突网络，实现高能效AI
导语
近日，清华大学类脑计算研究中心研究团队推出一种新的神经形态计算架构——类脑神经计算模型 「Dendristor」。「Dendristor」旨在复制突触的组织（即神经元之间的连接）和树突的树状结构（即从神经元体延伸出来的突起）。这种创新的树突网络模拟了树突状结构及其固有的时空处理特性，为未来人工智能提供了高能效的视觉感知能力。
研究领域：类脑计算，神经形态计算，树突网络，人工神经网络，人工智能
KX | 编辑
ScienceAI | 来源
5 月 30 日，清华大学类脑计算研究中心施路平团队，研发出全球首款类脑互补视觉芯片「天眸芯」，研究成果登上 Nature 封面。近日，该团队推出一种新的神经形态计算架构，即类脑神经计算模型 「Dendristor」。「Dendristor」旨在复制突触的组织（即神经元之间的连接）和树突的树状结构（即从神经元体延伸出来的突起）。这种创新的树突网络模拟了树突状结构及其固有的时空处理特性，为未来人工智能提供了高能效的视觉感知能力。
类脑形态树突网络计算模型的开发由清华大学跨学科团队清华大学脑与智能实验室（THBI）的 Eunhye Baek 博士、宋森教授、Carlo Vittorio Cannistraci 教授，以及清华大学精密仪器系的赵蓉教授和施路平教授共同完成。
相关研究以《Neuromorphic dendritic network computation with silent synapses for visual motion perception》为题，于 6 月 6 日发布在_Nature Electronics_上。
受大脑启发
随着 AI 工具的快速发展，世界各地的工程师们都在研究新的架构和硬件组件，来复制人脑的组织和功能。
迄今为止，大多数受大脑启发的技术都是从脑细胞（即神经元）的放电中汲取灵感，而不是反映神经元素的整体结构，以及它们如何促进信息处理。
「当我还是意大利米兰理工大学的人工智能和大脑生物工程专业硕士生时，我就想到了模仿大脑连接的稀疏性和形态，比如神经元的树突，来设计高效的人工智能。」通讯作者之一、 清华大学脑与智能实验室（THBI）教授 Carlo Vittorio Cannistraci 表示。
「有一天，Carlo 让我研究『树突计算』，因为我们之前合作研究的『神经晶体管』有可能模仿树突特性，」论文一作、共同通讯作者、 THBI 的 Eunhye Baek 博士说。
「施路平教授和我一直在寻找开发神经形态视觉传感器系统的方法，我们认识到这种方法的潜力。我的研究兴趣是构建更像大脑/神经元的动态信息处理系统。树突计算让我非常兴奋，因为它涵盖了广泛的动态和复杂特性，这些特性在神经形态工程中尚未得到广泛研究。」
图示：模拟树突形态的 Dendristor。（来源：论文）
迄今为止进行的大多数神经形态计算研究都集中在，重现与学习相关的突触过程和人工复制神经元尖峰的产生。这些研究通常将树突建模为简单的传输线，从而忽略了与其独特形态相关的功能。
「树突利用其树状形态来映射空间分布的信号，表现出分支特定的可塑性，并整合各种突触。」Baek 解释说。
「每个树突分支对具有特定方向性的信号特别敏感，使它们专门用于处理时空信号。我们的研究重点是这些复杂的树突功能。」
===
一种新的神经形态计算架构
研究人员合作设计并开发了一种新设备，可以反映生物树突的形态和功能。这种被称为「树突」（Dendristor）晶体管的设备利用了涂有离子掺杂溶胶-凝胶膜的多栅极晶体管的物理特性，模拟了树突执行的计算。
**Dendristor 的突出之处在于它处理信息的方式与神经元及其网络的生物形态非常相似，而不是目前人工神经网络典型的批处理方式。**Dendristor 模型实现了树突分支间和神经元间的特定塑性，从而提高稀疏神经网络中的学习效率。
这种方法允许 Dendristor 在其树突分支内对传入信号的序列和方向进行编码，从而提高其识别运动的能力。特别是模型中包含的「沉默突触」，即由树突分支电位激活的突触，增强了其对信号方向的敏感性，优化了其视觉感知过程。
图示：（a）生物树突，（b）Dendristor 与正常突触，（c）Dendristor 与沉默突触的方向选择性比较。（来源：论文）
Baek 表示：「这种薄膜通过允许掺杂离子以类似于神经元树突中的离子的方式移动来模拟树突分支，从而调节晶体管的电流以反映树突膜电位的变化。我们的研究表明，树突晶体管表现出非线性树突整合和方向选择性。」
除了树突晶体管设备外，该研究小组还介绍了一种人工静默突触。在这个系统中，溶胶-凝胶膜中树突晶体管分支的电压确保突触输入仅在薄膜达到特定阈值时激活，从而提高了系统辨别移动视觉刺激方向的能力。
Baek 表示：「我们还创建了一个神经形态树突神经回路，它可以计算移动信号的方向，这种设计灵感来自视网膜和视觉皮层的神经回路。该电路能够检测二维和深度移动的信号，并将它们整合起来，重建三维空间中物体的运动方向。」
通过紧密镜像树突神经元的稀疏连接，该新型神经形态计算方法可实现显著的能源效率。事实上，与现有的人工神经网络（ANN）相比，该系统展示了利用更少的神经元检测运动的潜力。
图示：树突网络神经回路的 3D 视觉运动感知。（来源：论文）
这种新架构的关键优势在于，它超越了复制生物神经元的功能方面。与其他现有的神经形态计算平台相比，它还重现了神经元的结构和稀疏连接，包括树突的形态和静默突触的基础。
「尽管神经形态研究中有各种方法来实现智能，但我们的研究独特地展示了神经元及其突触连接形态在动态信号处理中的重要性。」Baek 说。
「我们通过模仿生物神经元形成功能性神经回路的方式，对突触输入进行空间稀疏映射，从而实现了这一目标，突出了这种形态对于有效的神经形态信息处理的重要性。」
值得注意的是，该研究团队首次证明抑制和静默突触的空间位置也可以控制神经形态系统中神经元对信号的处理。这一见解可以指导设计其他重现静默突触的计算模型和架构。
「稀疏性和形态学一直被人们所忽视，也未得到广泛应用，无法构建下一代人工智能，」Cannistraci 说道。「我们的研究首次展示了如何利用真实大脑网络的这两个特征来设计下一代神经形态神经网络，以实现高效的人工智能。」
下一步研究
该研究可能很快会为基于半导体器件的神经形态系统工程开辟新的令人兴奋的途径。具体来说，他们提出的受大脑启发的设计可能有助于开发能耗更低的新设备和人工智能工具，从而为更可持续的计算铺平道路。
Baek 博士表示：「与基于 GPU 的运动检测系统不同，基于类脑树突神经电路（NDNCs）的系统由于网络中使用了更少数量的神经元，因此系统功耗更低。」
Carlo Vittorio Cannistraci 教授补充道：「我们的类脑树突网络模拟了包括树突形态在内的大脑稀疏神经网络，从而实现了高能效信息处理。」这种创新的树突计算利用了独特的方法，在人工智能、神经计算和脑启发式计算领域开辟了新的可能性。
在接下来的研究中，研究人员计划进一步扩展他们的人工神经回路，使用先进的抑制连接，进一步促进动态视觉信号的分类。为此，他们将尝试密切模仿大脑在早期发育阶段观察到的神经连接。
「我们计划开发新的神经形态树突网络架构，进行深度学习，并能解决视觉感知以外的其他人工智能任务，例如时间序列分析和听觉任务。」Cannistraci 补充道。
「此外，我们希望开发多模态电路，能够处理和关联不同类型的感官输入，如视觉和听觉。最后，我们希望将这种稀疏和形态计算范式扩展到在数字硬件上实现的经典类型的人工神经网络。」
参考内容：https://techxplore.com/news/2024-07-brain-artificial-dendritic-neural-circuit.html
计算神经科学读书会
人类大脑是一个由数以百亿计的神经元相互连接所构成的复杂系统，被认为是「已知宇宙中最复杂的物体」。本着促进来自神经科学、系统科学、信息科学、物理学、数学以及计算机科学等不同领域，对脑科学、类脑智能与计算、人工智能感兴趣的学术工作者的交流与合作，集智俱乐部联合国内外多所知名高校的专家学者发起神经、认知、智能系列读书会第三季——「计算神经科学」读书会，涵盖复杂神经动力学、神经元建模与计算、跨尺度神经动力学、计算神经科学与AI的融合四大模块，并希望探讨计算神经科学对类脑智能和人工智能的启发。读书会从2024年2月22日开始，每周四19:00-21:00进行，持续时间预计10-15周，欢迎感兴趣的朋友报名参与，深入梳理相关文献、激发跨学科的学术火花！
详情请见：计算神经科学读书会启动：从复杂神经动力学到类脑人工智能
AI By Complexity读书会招募中
大模型、多模态、多智能体层出不穷，各种各样的神经网络变体在AI大舞台各显身手。复杂系统领域对于涌现、层级、鲁棒性、非线性、演化等问题的探索也在持续推进。而优秀的AI系统、创新性的神经网络，往往在一定程度上具备优秀复杂系统的特征。因此，发展中的复杂系统理论方法如何指导未来AI的设计，正在成为备受关注的问题。
集智俱乐部联合加利福尼亚大学圣迭戈分校助理教授尤亦庄、北京师范大学副教授刘宇、北京师范大学系统科学学院在读博士张章、牟牧云和在读硕士杨明哲、清华大学在读博士田洋共同发起「AI By Complexity」读书会，探究如何度量复杂系统的“好坏”？如何理解复杂系统的机制？这些理解是否可以启发我们设计更好的AI模型？在本质上帮助我们设计更好的AI系统。读书会于6月10日开始，每周一晚上20:00-22:00举办。欢迎从事相关领域研究、对AI+Complexity感兴趣的朋友们报名读书会交流！
详情请见：
AI by Complexity 读书会启动：复杂性怎样量化和驱动下一代AI系统
推荐阅读
1. 从复杂神经动力学到智能涌现：基于神经复杂性的类脑人工智能
4. 张江：第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程
5. 集智VIP集合啦！云南线下研修营，与集智创始人一起攀登“复杂性阶梯”
6. 加入集智，一起复杂！
点击“阅读原文”，报名读书会
