科研动态

工程科学学院刘扬团队提出复杂时空动力系统数据驱动建模新方法

  • 中国科学院大学工程科学学院长聘教轨副教授刘扬老师作为通讯作者,近期在Nature子刊《自然-机器智能》(Nature Machine Intelligence)上发表论文,题目为“Encoding physics to learn reaction-diffusion process”。《自然-机器智能》期刊出版高质量的原创研究和评论,涉及机器学习、机器人和人工智能的广泛主题,探索和讨论这些领域对其他科学学科以及社会和工业的许多方面产生的重大影响。该工作与中国人民大学研究团队合作完成。

    该论文提出了一种新的物理知识嵌入深度学习架构,即PeRCNN,用于偏微分方程(PDE)正反问题求解、非线性时空动力系统建模和控制方程发现,旨在改善复杂时空动力系统基于稀疏和噪声数据建模的准确性和可解释性。该论文建立了一个强制编码物理结构的循环卷积神经网络框架,有效解决了网络对训练数据的依赖性,突破了神经网络模型不可解释的瓶颈,同时提升了模型的外推和泛化性,在各类反应扩散系统(RD)问题场景实现成功验证。

    图片1.png

    图1 PeRCNN模型图

    一般而言,由于先验知识有限,且系统变量的非线性过程难以用明确的偏微分方程(PDE)公式描述,复杂时空动力系统建模和仿真一直是一项具有挑战性的任务。常见的机器学习方法则需要依赖大量训练数据,还存在可解释性差、泛化性弱、误差不可控等基础科学问题。将先验物理知识(例如控制方程)作为约束加入深度学习,在一定程度上增强模型的可解释性、缓解数据依赖性。但是,现有的基于物理信息的深度学习方法,通常需要通过软约束来施加物理定律,模型表现很大程度上取决于超参数的恰当设置。因此,发展新的知识嵌入学习模型,从数据中捕捉潜在的时空动态演化机制,是亟需的。

    图片2.png图2 实验结果(PDE正问题)

    为此,该文章提出了一种新的学习模型,即物理编码递归卷积神经网络(PeRCNN),如图1所示。PeRCNN的一个主要优点是可以将先验物理知识结构编码到网络中,采用了时空学习范式,旨在建立一个通用且鲁棒学习模型,能够保证所得到的网络严格服从给定的先验物理知识(例如PDE结构、初始和边界条件),使得网络具有可解释性。模型通过循环卷积神经网络对给定的物理结构进行编码,从而提高在稀疏和噪声数据情况下学习复杂时空动力学的能力。

    图片3.png

    图3 实验结果(PDE反问题)

    通过大量数值实验,结果展示了PeRCNN对反应扩散型偏微分方程的正向(图2)和反向(图3)问题分析的有效性。与几个基线模型的比较表明,所提出的物理编码学习范式具有独特的外推能力、对数据噪声或稀疏数据的泛化能力和鲁棒性。在数据驱动仿真实验中,PeRCNN取得了SOTA结果;PeRCNN的平坦误差传播曲线(图4),也证明了PeRCNN显著的外推和泛化能力,这意味着该方法不仅能够准确地预测复杂时空动力系统的演变,还能够捕捉模型背后的物理机制,并且在应对新的工况时能够展现出一定的通用性。

    图片4.png

    图4 实验结果(数据驱动建模,误差传播和外推图示)

    此外,该工作还成功地将 PeRCNN 与稀疏回归算法相结合,解决潜在PDE 发现问题(图5),可进一步从学习模型中提取控制底层物理机制的解析表达式。耦合方案使得模型能够迭代优化网络参数,并对发现的PDE结构和系数进行微调,获得最终PDE的简约表达形式,从稀疏带噪声噪声的测量数据中准确可靠地发现潜在的物理定律。

    图片5.png

    图5 控制偏微分方程发现流程图

    虽然本文证明了PeRCNN在各种反应扩散系统上的有效性,但该模型在理论上适用于其他类型的时空动力系统,例如,文章的补充材料中展示了带对流项的二维Burgers方程、雷诺数为1000的Kolmogorov湍流(NS方程)。

    这项研究成果为复杂时空动力系统数据驱动建模领域带来了新进展,为科学家和工程师提供了更强大的工具来理解和预测自然和工程现象。这种结合了深度学习和先验物理的方法,有望在多个学科领域应用中发挥重要作用,包括流体力学、生物化学、环境科学、工程学、材料科学等。让我们拭目以待,期待这一新方法的进一步发展和应用,它将为我们揭示更多关于复杂时空动力系统的奥秘,并为未来的科学和技术发展带来新的突破。

    主要作者介绍:

    刘扬,中国科学院大学工程科学学院“长聘教轨副教授、博导”(2022年3月至今),国家自然科学基金委优秀青年基金(海外)获得者。2015年在美国哥伦比亚大学取得计算力学博士学位,随后在麻省理工学院航空航天系从事博士后研究(2015-2017),2018年1月至2022年2月在美国东北大学机械与工业工程系以及人工智能研究所(兼)任终身序列助理教授、博导。从事人工智能融合科学计算基础理论、算法模型与前沿交叉研究,同时致力于高效率、大规模多尺度计算方法研究。研究成果在国际一流SCI期刊(包括:Nature Machine Intelligence、Nature Communications、CMAME)和计算机顶级会议(如ICLR、IJCAI)共发表/录用30余篇论文;主持国家高层次人才计划、中科院百人计划、中央军委某工程重点项目、美国陆军实验室重点项目等重要科研项目近十项;受邀到哈佛大学、圣母大学等世界名校做学术报告;荣获USNCCM’2015最佳论报告奖。

    论文信息:Chengping Rao, Pu Ren, Qi Wang, Oral Buyukozturk, Hao Sun*, Yang Liu*. Encoding physics to learn reaction-diffusion processes. Nature Machine Intelligence (2023), 5: 765-779. DOI: 10.1038/s42256-023-00685-7

    论文链接:https://www.nature.com/articles/s42256-023-00685-7

    责编 : 贺静蕾