从高阶相互作用到神经算子模型：启发更好的AI | 周一直播·AI by Complexity读书会

导语

复杂性怎样量化和驱动下一代AI系统是我们「AI by Complexity」读书会尝试去回答的问题。在本期读书会中，我们邀请了清华心理与认知科学系博士生程奥华做“高阶相互作用的路径积分和重整化群”主题分享，来回答如何将传统重整化群延拓到不可分解相互作用，来探究复杂网络的相变及相关性质，有助于启发对AI系统临界性和相变现象的研究；清华大学地球系统科学系博士生熊巍做“Koopman神经算子求解偏微分方程”主题分享，将重点分享为解决PDE求解问题而提出的Koopman神经算子模型，其理论基础和设计逻辑。

直播将于北京时间7月15日晚20:00-22:00线上公开进行，欢迎感兴趣的朋友参与讨论交流！

主题一：高阶相互作用的路径积分和重整化群

内容简介

**现代相变和标度不变性理论的基础是路径积分和重整化群。**尽管这些方法适用于仅具有成对相互作用的简单系统，但它们对具有不可分解的高阶相互作用的复杂系统（即任意组单元之间的相互作用）无法进行有效的分析。为了精确刻画高阶相互作用系统的普适性，我们提出了对任意阶异质相互作用适用的单纯形路径积分和单纯形重整化群（SRG），作为对经典方法的推广。首先，我们形式化了由高阶相互作用约束的节点轨迹，以定义相应单纯形基于高阶传播子的路径积分公式。然后，我们开发了一种重整化流来整合动量空间中的短程高阶相互作用，并配套着在实空间相应单纯形上的粗粒化程序。为了处理由于高阶相互作用的稀疏分布出现的遍历性缺失，SRG采用了分治框架，并可以根据系统q阶相互作用的性质对p阶相互作用(p ≤ q)进行重整化。相应地，我们给出标度关系及其推论，来支持区分不同阶的标度不变（scale-invariant）、弱标度不变（weakly scale-invariant）和标度依赖（scale-dependent）的系统。此外，我们也在多阶标度不变性验证、拓扑不变量发现、组织结构识别和信息瓶颈分析等方面对该理论进行了验证。这些实验显示了我们的理论在识别高阶相互作用系统中统计和拓扑性质的能力，未来这一理论可以直接应用于研究神经系统和人工神经网络中的高阶相互作用，为我们对高阶相互作用主导的临界性和相变现象提供更深入的认识。

**关键词：**重整化群、路径积分、尺度不变性、高阶相互作用

内容大纲

1. 背景知识：

2. 唯象重整化群和拉普拉斯重整化群

3. 不可分解高阶相互作用

4. 单纯形路径积分

5. 单纯形重整化群

6. 单纯形重整化群分析应用

参考文献

1. Cheng, A., Xu, Y., Sun, P., & Tian, Y. (2024). Simplex path integral and simplex renormalization group for high-order interactions. arXiv preprint arXiv:2305.01895. Accepted by Reports on Progress in Physics

2. Lucas M, Cencetti G, Battiston F. Multiorder Laplacian for synchronization in higher-order networks[J]. Physical Review Research, 2020, 2(3): 033410.

3. Villegas P, Gili T, Caldarelli G, et al. Laplacian renormalization group for heterogeneous networks[J]. Nature Physics, 2023, 19(3): 445-450.

4. Bradde S, Bialek W. Pca meets rg[J]. Journal of statistical physics, 2017, 167: 462-475.

5. Meshulam L, Gauthier J L, Brody C D, et al. Coarse–graining and hints of scaling in a population of 1000+ neurons. arXiv 2018[J]. arXiv preprint arXiv:1812.11904.

主讲人

---

主题二：Koopman神经算子求解偏微分方程

内容简介

偏微分方程与科学和工程总是形影不离，不论是控制流体运动的Navier-Stokes方程，还是描述电磁场相互关系的Maxwell's方程等等，均是偏微分方程。然而，高度非线性使得这些方程组难以获得解析解。为了研究和求解偏微分方程，有限差分方法、有限体积方法和有限元方法等数值方法被提出。尽管经过近百年的发展，数值偏微分方程理论已逐渐走向成熟，支撑起各个行业的业务化应用，但仍有一个难以克服的问题，**即计算精度和计算成本往往无法兼得。**不论是通过提高网格分辨率来捕捉更小尺度的运动，还是用更高阶、更稳定或守恒的数值格式，往往都需要使用计算成本换取计算精度。**我们提出了一种名为Koopman神经算子（KNO）的模型，来试图解决PDE求解问题。**与其它模型通过构建目标PDE的解算子的无限维度Banach空间映射的目标相同，我们的模型通过逼近无限维Koopman算子，以作用于动力系统的流映射，来实现对目标PDE求解。本次读书会将重点分享Koopman神经算子的理论基础和设计逻辑。

**关键词：**偏微分方程、算子学习、人工智能、计算物理

分享大纲

1. AI for PDE和算子学习概述

2. Koopman理论入门

3. Koopman神经算子

参考文献

1. Xiong, W., Huang, X., Zhang, Z., Deng, R., Sun, P., & Tian, Y. (2024). Koopman neural operator as a mesh-free solver of non-linear partial differential equations. Journal of Computational Physics, 113194.

2. Xiong, W., Ma, M., Huang, X., Zhang, Z., Sun, P., & Tian, Y. (2023). Koopmanlab: machine learning for solving complex physics equations. APL Machine Learning, 1(3).

3. Kovachki, N., Li, Z., Liu, B., Azizzadenesheli, K., Bhattacharya, K., Stuart, A., & Anandkumar, A. (2023). Neural operator: Learning maps between function spaces with applications to pdes. Journal of Machine Learning Research, 24(89), 1-97.

4. Li, Z., Kovachki, N., Azizzadenesheli, K., Liu, B., Bhattacharya, K., Stuart, A., & Anandkumar, A. (2020). Fourier neural operator for parametric partial differential equations. arXiv preprint arXiv:2010.08895.

5. Lu, L., Jin, P., Pang, G., Zhang, Z., & Karniadakis, G. E. (2021). Learning nonlinear operators via DeepONet based on the universal approximation theorem of operators. Nature machine intelligence, 3(3), 218-229.

6. Brunton, S. L., Budišić, M., Kaiser, E., & Kutz, J. N. (2021). Modern Koopman theory for dynamical systems. arXiv preprint arXiv:2102.12086.

相关读书会分享推荐：

1. 加州理工学院李宗宜在AI+Science读书会的分享「数据驱动的物理仿真模拟：神经算子」：https://pattern.swarma.org/study\_group\_issue/478

主讲人

---

直播信息

**时间：**2024年7月15日（周一）晚20:00-22:00

报名参与读书会，可腾讯会议线上讨论：

斑图链接：https://pattern.swarma.org/study\_group/45?from=wechat

扫码参与AI by Complexity 读书会加入群聊，获取系列读书会回看权限，加入AI by Complexity社区，与社区的一线科研工作者沟通交流，共同探索复杂科学与AI交叉的前沿领域的发展。

报名成为主讲人

读书会成员均可以在读书会期间申请成为主讲人。主讲人作为读书会成员，均遵循内容共创共享机制，可以获得报名费退款，并共享本读书会产生的所有内容资源。详情请见：AI by Complexity 读书会启动：复杂性怎样量化和驱动下一代AI系统

AI By Complexity读书会招募中

大模型、多模态、多智能体层出不穷，各种各样的神经网络变体在AI大舞台各显身手。复杂系统领域对于涌现、层级、鲁棒性、非线性、演化等问题的探索也在持续推进。而优秀的AI系统、创新性的神经网络，往往在一定程度上具备优秀复杂系统的特征。因此，发展中的复杂系统理论方法如何指导未来AI的设计，正在成为备受关注的问题。

集智俱乐部联合加利福尼亚大学圣迭戈分校助理教授尤亦庄、北京师范大学副教授刘宇、北京师范大学系统科学学院在读博士张章、牟牧云和在读硕士杨明哲、清华大学在读博士田洋共同发起「AI By Complexity」读书会，探究如何度量复杂系统的“好坏”？如何理解复杂系统的机制？这些理解是否可以启发我们设计更好的AI模型？在本质上帮助我们设计更好的AI系统。读书会于6月10日开始，每周一晚上20:00-22:00举办。欢迎从事相关领域研究、对AI+Complexity感兴趣的朋友们报名读书会交流！

详情请见：

AI by Complexity 读书会启动：复杂性怎样量化和驱动下一代AI系统

点击“阅读原文”，报名读书会