AI如何理解高阶结构？拓扑深度学习基础 | 周四直播·几何深度学习读书会第一期
导语
AI如何理解数据中的高阶相互作用？传统的图神经网络模型关注网络中节点的一阶邻居，难以捕捉数据的高阶拓扑特征，而这些特征在实际数据中普遍存在。如何帮助机器学习到更深层的数据特征、构建更真实的世界模型，从而完成更复杂的任务，如轨迹预测、分子设计等，是一个愈发受到关注的问题。拓扑深度学习为AI带来了真正理解几何数据的曙光。
「几何深度学习」读书会第一期将由发起人之一南洋理工大学夏克林副教授，带领大家讨论拓扑深度学习的主要思想和模型。夏老师将先介绍多种拓扑数据高阶表示模型，并介绍这些模型的邻居结构及其信息传递机制以及嵌入方法，以探索模型如何捕捉到数据的本质特征，最后，将简要介绍这些模型的一些具体构造以及实际应用。读书会将于周四晚（7月11日）19:00-21:00进行，欢迎感兴趣的朋友参与讨论交流！
分享内容简介
本次分享将会讨论拓扑深度学习的主要思想和模型。首先，我们将介绍多种拓扑数据高阶表示模型，如基于具有高维结构的拓扑对象——单纯复形、胞腔复形，以及基于超图的数据表示模型。相比于传统的图表示模型，这些模型具有更复杂的结构，更能揭示数据间的高阶关系。
接着，我们将介绍这些模型的邻居结构，以及基于这种邻居结构的信息传递机制，这是将这些数据表示模型应用于深度学习的核心部分。我们还将讨论这些模型中的特征嵌入问题。相比于图模型，这些高阶表示模型需要更加复杂的特征嵌入方法，以更好地捕捉数据的本质特性。除此之外，我们还会介绍霍奇拉普拉斯矩阵，它是对拉普拉斯矩阵的扩展，用于描述单纯复形、胞腔复形中的拓扑结构。
最后，我们将简要介绍基于这些高阶数据表示的拓扑深度学习模型的一些具体构造，以及它们在实际应用中的表现。
分享内容大纲
-
拓扑高阶数据表示
-
邻居结构和信息传递
-
特征嵌入方法
-
具体构造实例
主要涉及到的知识概念
-
单纯复形 Simplicial complex
-
胞腔复形 Cellular complex
-
超图 Hypergraph
-
组合复形 Combinatorial complex
-
信息传递 Message passing
-
特征嵌入 Feature embedding
-
霍奇拉普拉斯矩阵 Hodge-Laplacian matrix
-
拓扑深度学习 Topological deep learning
主要涉及到的参考文献
Papamarkou, Theodore, et al. "Position Paper: Challenges and Opportunities in Topological Deep Learning." arXiv preprint arXiv:2402.08871 (2024).
推荐语：拓扑深度学习（Topological Deep Learning: TDL）是关系学习领域的前沿方向，文章总结了目前主流的拓扑机器学习的框架和相关成果，并提出了一系列该领域的重要问题。
Hajij, Mustafa, et al. "Topological deep learning: Going beyond graph data." arXiv preprint arXiv:2206.00606 (2022).
推荐语：文章介绍了组合复形及相关理论，并且介绍了一些基于组合复形的拓扑深度学习模型。
Papillon, Mathilde, et al. "Architectures of topological deep learning: A survey on topological neural networks." Arxiv. Submitted to Transactions on Pattern Analysis and Machine Intelligence (2023).
推荐语：文章总结了基于组合复形的拓扑深度学习模型的框架细节。
Papillon, Mathilde, et al. "Icml 2023 topological deep learning challenge: Design and results." Topological, Algebraic and Geometric Learning Workshops 2023. PMLR, 2023.
推荐语：文章描述了ICML 2023 工作坊“机器学习中的拓扑与几何”中举办的拓扑深度学习计算挑战赛的设计并总结了其主要发现。
讲者简介
夏克林：南洋理工大学副教授。2013年1月获得中国科学院博士学位，于2009年12月至2012年12月在美国密歇根州立大学数学系作为访问学者。从2013年1月至2016年5月，在密歇根州立大学担任访问助理教授。2016年6月，加入南洋理工大学，并于2023年3月晋升为副教授。夏克林的研究专注于分子科学的数学人工智能，在《SIAM Review》、《Science Advances》、《npj Computational Materials》、《ACS nano》等期刊上发表了70多篇论文。
研究方向：分子科学的数学人工智能。
与读书会之间的关系
本次主讲内容是拓扑深度学习前沿工作的一些简要介绍。近年来，几何和拓扑在深度学习中得到了广泛应用。尤其是拓扑深度学习模型对于数据高阶关系的挖掘有着重要的作用。拓扑深度学习有着良好的前景，有潜力成为Math for AI的一个重要方面。作为本季读书会的第一期，我们将讨论如何高效地表征拓扑数据高阶关系及其对应的算法和构造，从而初窥几何深度学习领域的思想与模型如何帮助AI理解系统的内在结构、完成复杂任务。
相较主讲人在AI+Math读书会中的分享偏重于拓扑数据分析及分子结构表征，本次分享将聚焦于拓扑深度学习中的拓扑数据高阶表示模型，介绍其思想、算法及其具体构造。
与复杂系统之间的关系
本次主题是围绕数据的拓扑结构和表征。传统的图模型在复杂系统中有着广泛的应用，然而拓扑模型则很少用于复杂体系。近年来，越来越多的研究者开始关注复杂体系中的高阶信息（higher-order information）以及高阶信息结构并将其运用于深度学习模型之中。单纯复形、胞腔复形等拓扑对象在高阶信息的表征以及描述高阶结构的联系中具有天然优势，其作用越来越得到重视。
参与方式
直播信息
**时间：**2024年7月11日（本周四）晚19:00-21:00
报名参与读书会：
斑图链接：
https://pattern.swarma.org/study\_group\_issue/710?from=wechat
扫码参与几何深度学习读书会，加入群聊，获取系列读书会回看权限，加入图神经网络与几何深度学习社区，与社区的一线科研工作者沟通交流，共同推动几何深度学习这一前沿领域的发展。
报名成为主讲人
读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。详情请见：几何深度学习读书会启动：破解自然法则，启发科学智能
几何深度学习读书会招募中
拓扑编织着复杂世界，机器学习孕育着技术奇点。一个维度，其中拓扑理论与深度学习模型交织共鸣；一个领域，它跨越了数学的严谨与本质以及人工智能的无限可能，开辟着通往科学新纪元的航道。让我们携手在几何深度学习的起点出发，一路探索如何走向AI for Science的无限未来。
集智俱乐部联合中国人民大学黄文炳副教授、上海交通大学王宇光副教授和南洋理工大学夏克林副教授发起「几何深度学习」读书会。从2024年7月11日开始，每周四19:00-21:00进行，持续时间预计 8-10 周，社区成员将一起系统性地学习几何深度学习相关知识、模型、算法，深入梳理相关文献、激发跨学科的学术火花、共同打造国内首个几何深度学习社区！欢迎加入社区与发起人老师一起探索！
详情请见：
图神经网络与组合优化读书会
现实世界中大量问题的解决依赖于算法的设计与求解。传统算法由人类专家设计，而随着人工智能技术不断发展，算法自动学习算法的案例日益增多，如以神经网络为代表的的人工智能算法，这是算法神经化求解的缘由。在算法神经化求解方向上，图神经网络是一个强有力的工具，能够充分利用图结构的特性，实现对高复杂度算法的高效近似求解。基于图神经网络的复杂系统优化与控制将会是大模型热潮之后新的未来方向。
为了探讨图神经网络在算法神经化求解的发展与现实应用，集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院副教授黄文炳，共同发起「图神经网络与组合优化」读书会。读书会将聚焦于图神经网络与算法神经化求解的相关领域，包括神经算法推理、组合优化问题求解、几何图神经网络，以及算法神经化求解在 AI for Science 中的应用等方面。读书会已完结，现在报名可加入社群并解锁回放视频权限。
详情请见：
加速经典算法效率，突破现实技术瓶颈：图神经网络与组合优化读书会启动
人工智能与数学读书会
数十年来，人工智能的理论发展和技术实践一直与科学探索相伴而生，尤其在以大模型为代表的人工智能技术应用集中爆发的当下，人工智能正在加速物理、化学、生物等基础科学的革新，而这些学科也在反过来启发人工智能技术创新。在此过程中，数学作为兼具理论属性与工具属性的重要基础学科，与人工智能关系甚密，相辅相成。一方面，人工智能在解决数学领域的诸多工程问题、理论问题乃至圣杯难题上屡创记录。另一方面，数学持续为人工智能构筑理论基石并拓展其未来空间。这两个关键领域的交叉融合，正在揭开下个时代的科学之幕。
为了探索数学与人工智能深度融合的可能性，集智俱乐部联合同济大学特聘研究员陈小杨、清华大学交叉信息学院助理教授袁洋、南洋理工大学副教授夏克林三位老师，共同发起“人工智能与数学”读书会，希望从 AI for Math，Math for AI 两个方面深入探讨人工智能与数学的密切联系。读书会已完结，现在报名可加入社群并解锁回放视频权限。
详情请见：
人工智能与数学读书会启动：AI for Math，Math for AI
推荐阅读文章：
点击“阅读原文”，报名读书会
