微软首席研究员一作解读因果大模型早期重要工作 | 周日直播·因果科学与大语言模型读书会

Dan Page for Quanta Magazine

导语

本次是因果科学与大语言模型读书会的第二期。我们有幸邀请到微软研究院（印度）的资深研究员Amit Sharma。他是因果推断重要开源框架和Python工具包"DoWhy"的主要开发者。Amit将分享他们在因果科学与大语言模型结合方向的开创性工作——"Causal Reasoning and Large Language Models: Opening a New Frontier for Causality"。这是该领域最早期也是目前最受关注的研究工作之一。

集智俱乐部联合北京大学大数据科学研究中心博士研究生李昊轩、伦敦大学学院计算机博士研究生杨梦月，卡耐基梅隆大学和穆罕默德·本·扎耶德人工智能大学博士后研究员陈广义共同发起「因果科学+大模型」读书会。这是我们因果科学系列读书会的第五季，旨在探讨在大模型之后为何仍需“因果科学”？大模型如何推动因果科学的研究进展？因果科学能否在推理能力、可解释性和可信性等方面启发更优大模型的设计？以及因果科学的最新进展如何在实际领域中应用和落地？希望汇聚相关领域的学者，共同探讨因果科学的发展和挑战，推动学科发展。

===

内容简介 

大模型的因果推理能力是一个备受争议的问题，对医学、科学和法律等具有社会影响力的领域将大模型落地应用有着至关重要的影响。考虑到不同类型的因果推理任务之间的区别，有必要进一步探究大模型的因果能力。最近由微软研究院和芝加哥大学进行的一项研究“Causal Reasoning and Large Language Models: Opening a New Frontier for Causality”表明大模型在多个因果任务上都展示出了卓越的性能。该研究的实验结果表明基于 GPT-3.5 和 GPT-4 的模型在成对因果关系发现任务上达到了 97% 的准确率，反事实推理任务上达到了 92% 的准确率，以及在确定必要原因和充分原因的任务上达到 86% 的准确率，且大模型在这些任务上的表现均优于现有算法。重要的是，大模型在执行这些因果任务时，所依赖的知识来源和方法与不基于大模型的方法既有区别又有互补。该研究最后总结了大模型在因果领域的机遇和挑战，推动因果分析方法在各个领域的广泛应用。

内容大纲

• 大模型和因果背景介绍

• 什么是因果

• 不同种类的因果任务

• 大模型和因果

• 多种评估大模型性能的方法

• 大模型和因果发现

• 成对的因果发现：推断两个变量之间的因果关系

• 大模型推断完整的因果图

• 探究大模型记忆能力和因果发现能力

• 大模型和因果推理

• 探究大模型的反事实归因能力

• 大模型理解文本中的充分因和必要因

• 评估大模型理解常识的能力

• 大模型与因果：机遇与挑战

• 大模型对因果从业人员的影响

• 大模型如何更好的结合因果：新研究问题和方向

主讲人介绍

Amit Sharma 是微软研究院（印度）的首席研究员，专注于因果推理、机器学习和人机交互领域。本科毕业于印度理工学院（IIT），博士毕业于康奈尔大学，导师为 Dan Cosley教授。在2015年至2017年，他在微软研究院纽约与合作导师Jake Hofman 和 Duncan Watts进行博后研究。他的研究旨在开发可靠的人工智能系统，探索因果推理在推荐系统、公平性和解释性 AI 中的应用。在因果推理方面，Amit Sharma 与 Emre Kiciman 共同撰写了“Causal Reasoning: Fundamentals and Machine Learning Applications”一书，并主导开发了因果推断的重要开源框架和Python工具包“ DoWhy”。

他的个人主页: http://www.amitsharma.in/#about。

主持人介绍

李昊轩， 北京大学大数据科学研究中心，数据科学（统计学）博士，CCF会员、IEEE会员、ACM会员。研究兴趣为因果机器学习理论、反事实公平性、推荐系统去偏、分布外泛化、多源数据融合、生物信息学和大语言模型等。已在ICML、NeurIPS、ICLR、KDD、WWW、AAAI、IJCAI等多个CCF-A顶尖会议以第一作者发表多篇论文，其中5篇论文被评选为Spotlight或Oral，现为ICML、NeurIPS、ICLR、KDD、WWW、AAAI、IJCAI等多个顶会PC member或Area Chair，以及TKDE、TOIS、TKDD、The Innovation、《中国科学：信息科学》等多个顶级期刊审稿人，14项发明专利。连续两年获得北京大学博士最高研究奖“校长奖学金”，获国家奖学金，九坤（人工智能方向）奖学金，北京大学三好学生，两项成果获北京大学“挑战杯”五四青年科学奖特等奖，并获得首批国家自然科学基金青年学生基础研究项目（博士研究生）30万资助。

直播信息

直播时间：

7月14日10:00-12:00（周日），直播报名入口见后文。

参与方式：

集智俱乐部 B站和视频号免费直播，扫码可预约：

扫码预约本次直播

若需要观看视频回放，文末扫码付费参加可加入腾讯会议，可提问交流、加入群聊、获取视频回放及更多学习资料，成为因果科学社区种子用户，与一线科研工作者沟通交流，共同推动因果科学社区的发展。

参考文献

[1] Kıcıman, Emre, Robert Ness, Amit Sharma, and Chenhao Tan. "Causal reasoning and large language models: Opening a new frontier for causality." arXiv preprint arXiv:2305.00050 (2023).

因果科学社区

“因果”并不是一个新概念，而是一个已经在多个学科中使用了数十年的分析技术。集智俱乐部在过去4年期间围绕研究人员的不同角度的需求，举办了4季相关主题的读书会，形成了数千人规模的社区。

【第一季：因果科学与Causal AI】基于《Elements of Causal Inference》，探讨因果科学在机器学习方面的应用，如强化学习和迁移学习等，并分享工业应用。

【第二季：因果科学与基础实战】聚焦实操和基础，深入学习《Causal inference in statistics: A primer》和《Elements of causal inference: foundations and learning algorithms》。 

【第三季：因果科学与Causal +X】回顾社会学、经济学、医学，计算机等领域的因果模型和范式，尝试用现代模型提供新思路。 

【第四季：因果表征学习】探讨因果表征学习的理论、技术和最新应用，涉及因果生成模型、可解释性、公平性及工业落地。

第五季读书会主要围绕因果科学的最新进展，包括因果科学与大模型的结合等方面进行深度的探讨和梳理，希望给在这个领域的研究者提供一个全面的研究图景。共同探讨因果科学的未来发展以及面临的挑战。

详情请见：速来！因果与大模型的双向赋能丨因果科学第五季强势回归

点击“阅读原文”，报名读书会