基于眼动信号解码的视觉重建丨周日直播·脑机接口读书会

导语

脑控的运动输出可以包括肢体运动、语言、以及眼动。应用前两类信号开发脑机接口系统的工作很多，但应用眼动信号的工作相对较少，但眼球运动是灵长类动物与世界互动的主要方式。因此，了解大脑如何控制眼睛对改善人类健康和设计视觉康复设备至关重要。眼动控制的核⼼思想是通过脑信号解码眼动过程，因为眼动信号的控制是⽐较清晰的⼀个脑信号输出的过程，这个领域的研究能够为其脑机接口运动控制的信号输⼊输出机制的研究提供启示。

为了进一步梳理脑机接口相关理论与技术前沿，集智俱乐部联合清华大学高小榕、中科院自动化所刘冰、中科院深圳先进院李骁健、清华大学眭亚楠四位老师，发起「脑机接口」读书会。读书会从2024年5月19日开始，每周六19:00-21:00线上举办，持续时间10周左右，欢迎大家加入！

分享简介

机器学习算法可以从高分辨率神经元数据中实现眼动控制的视觉重建。J Patrick Mayo课题组通过研究发现，仅使用几十个皮层神经元的发放数据，就可以高精度连续“解码”实现视觉追踪。同时，也发现数据数量(如神经元数量)和格式(如bin宽度)能够影响预测能力和计算效率。

在这次分享中，讲者首先回顾大脑眼动控制的生理基础和神经元数据的收集方法。然后展示眼球运动持续解码用于目标追踪的初步研究结果，并总结在一定输入和输出参数范围内各种模型架构的解码能力。最后，与大家介绍实验室正在进行的工作和未来的研究方向。

大纲

一、眼动控制的生理基础与数据收集

二、眼球运动持续解码

三、基于眼球运动持续解码的视觉目标追踪

四、总结与展望

主讲人

J Patrick Mayo，匹兹堡大学助理教授，实验室研究眼球运动对大脑皮层视觉神经元活动的影响。希望弥合严格控制的实验室实验与动态、自然的灵长类动物视觉之间的差距。通过记录大脑关键节点中的大量神经元，以直接观察来自视网膜的视觉信息如何转化为移动眼睛的自适应命令。希望了解视觉-运动相互作用的神经机制，以便：1）促进临床上可行的视觉障碍治疗方法的开发；2）为理解大脑如何无缝连接感知和运动提供广泛的基础。

主持人

刘冰，中国科学院自动化研究所副研究员。

研究方向：植入式脑机接口和计算神经科学。脑机接口方面，研究神经系统在与外界交互中的适应和学习，开发下一代的“脑-机双学习”系统，并探索其在临床中的应用。计算神经科学方面，应用非人灵长类的植入技术研究视觉／运动信息的神经编解码模型及机制。

参与方式

时间：

2024年7月14日（本周日）晚上20:00-22:00

参与方式：

扫码报名脑机接口读书会，加入群聊，获取系列读书会回看权限，成为脑机接口社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动脑机社区的发展。

参考文献

脑控的运动输出可以包括肢体运动、语言、以及眼动。应用前两类信号开发脑机接口系统的工作很多，但应用眼动信号的工作相对较少，但其依然有重要的意义。眼动控制的核⼼思想是通过脑信号解码眼动过程，因为眼动信号的控制是⽐较清晰的⼀个脑信号输出的过程，这个领域的研究能够为其脑机接口运动控制的信号输⼊输出机制的研究提供启示。

1. Johnston, Renée, et al. "Decoding saccade intention from primate prefrontal cortical local field potentials using spectral, spatial, and temporal dimensionality reduction." International Journal of Neural Systems 31.06 (2021): 2150023.

2. Graf, Arnulf BA, and Richard A. Andersen. "Brain–machine interface for eye movements." Proceedings of the National Academy of Sciences 111.49 (2014): 17630-17635.

3. Angjelichinoski, Marko, et al. "Cross-subject decoding of eye movement goals from local field potentials." Journal of neural engineering 17.1 (2020): 016067.

4. Glaser, Joshua I., et al. "Machine learning for neural decoding." Eneuro 7.4 (2020).

5. Ahmadi, Nur, Timothy G. Constandinou, and Christos-Savvas Bouganis. "Robust and accurate decoding of hand kinematics from entire spiking activity using deep learning." Journal of Neural Engineering 18.2 (2021): 026011.

报名成为主讲人：

读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。具体见系列读书会详情：从科幻到现实，从发现到应用：脑机接口读书会启动

脑机接口读书会招募中

脑机接口是通过读取大脑神经信号来实现人脑与外部设备交流与控制的前沿技术。作为一个前沿交叉领域，脑机接口技术是跨学科研究的典型代表，融合了控制科学、神经科学、计算机科学、工程学等多个学科领域。针对相关领域，集智已经举办了多个系列读书会与课程，追踪计算神经科学、NeuroAI、神经动力学模型、控制科学等进展。

为了进一步梳理脑机接口相关理论与技术前沿，集智俱乐部联合清华大学高小榕、中科院自动化所刘冰、中科院深圳先进院李骁健、清华大学眭亚楠四位老师，发起「脑机接口」读书会。读书会从2024年5月18日开始，每周六19:00-21:00，持续时间预计8-10 周，欢迎从事相关研究、对脑机接口感兴趣的朋友报名参与交流。

详情请见：

从科幻到现实，从发现到应用：脑机接口读书会启动

点击“阅读原文”，报名读书会