Neural Operators / Scientific ML 学习与研究路线

1. 方向定位

Neural Operators 适合以下目标：

AI for Science
工程仿真加速
科学计算软件
数字孪生
参数扫描与逆向设计
PDE 约束优化
多物理场代理模型

传统神经网络通常学习有限维映射：

x \mapsto y

Neural Operator 希望学习函数空间之间的映射：

G : a (x) \mapsto u (x)

其中：

(a(x))：初始条件、边界条件、材料参数、外部激励或几何信息
(u(x))：PDE 的解场，例如速度场、压力场、温度场

你的短期任务合理：

复现 DeepONet 与 FNO，在 Burgers、Darcy Flow、Navier–Stokes toy dataset 上跑通。

但目标不应停留在“调用模型”。真正有竞争力的能力是：

理解 PDE 与数值方法，能自行生成数据、复现基线、诊断失败模式，并围绕真实工程约束提出改进。

2. 总体学习策略

不要先完整学完 PDE、泛函分析、数值分析，再开始工程实践。前置链条过长，容易拖延。

建议并行推进三条线。

轨道	短期目标	深度要求
PDE 与数学	理解经典 PDE、函数空间、傅里叶分析	先掌握最小必要知识
数值计算	自己写有限差分与谱方法求解器	必须动手
Neural Operator	跑通 DeepONet、FNO，建立 benchmark	尽快形成可展示项目

推荐顺序：

Burgers 数值求解器 → FNO1D → DeepONet → Darcy Flow → Navier–Stokes → PDEBench → OOD 泛化分析 → 小型研究改进

3. 数学基础

3.1 PDE

首选课程

MIT 18.303: Linear Partial Differential Equations — Analysis and Numerics

适合入门。它将 PDE、数值离散化和线性代数结合起来，覆盖：

Poisson 方程
Heat equation
Wave equation
边界条件
有限差分
有限元
稳定性
数值收敛

补充课程

MIT 18.152: Introduction to Partial Differential Equations

更偏数学基础，适合补充：

diffusion
elliptic PDE
hyperbolic PDE
weak solution
energy method

MIT 18.306: Advanced Partial Differential Equations with Applications

适合后续深入非线性 PDE、流体和工程应用。

教材

层级	教材	用法
入门	Strauss, Partial Differential Equations: An Introduction	建立直觉
标准教材	Evans, Partial Differential Equations	长期参考书
应用补充	Haberman, Applied Partial Differential Equations	物理和工程导向

Evans 很重要，但不建议从第一页线性通读。先按需求查阅。

3.2 数值 PDE

这是该方向最容易被忽略、但不能跳过的部分。

你必须能够判断：

数据生成是否可信
benchmark 是否公平
模型误差是否大于离散化误差
rollout 崩溃来自模型还是数值不稳定
加速比是否被夸大
模型是否只是在训练分布附近插值

首选课程

MIT 18.336: Numerical Methods for Partial Differential Equations

重点内容：

finite difference
Fourier analysis
Poisson equation
heat equation
transport equation
wave equation
stability
Lax equivalence theorem
spectral methods

工程补充课程

MIT 16.920J: Numerical Methods for Partial Differential Equations

覆盖：

有限差分
有限体积
有限元
边界元
迭代求解器

主教材

LeVeque, Finite Difference Methods for Ordinary and Partial Differential Equations

优先掌握：

finite difference approximation
consistency
stability
convergence
von Neumann analysis
CFL condition
elliptic equations
diffusion equations
advection equations

谱方法教材

Trefethen, Spectral Methods in MATLAB

建议把部分 MATLAB 代码改写为 NumPy 或 PyTorch。

重点理解：

Fourier basis
spectral differentiation
periodic boundary condition
frequency truncation
aliasing
spectral accuracy
高频误差

FNO 不是经典谱方法，但共享大量数学直觉。

3.3 Fourier 分析

课程

MIT 18.103: Fourier Analysis

MIT RES.18-015: Topics in Fourier Analysis

教材

Stein & Shakarchi, Fourier Analysis: An Introduction

最低要求

你至少需要掌握：

Fourier series
Fourier transform
inverse Fourier transform
convolution theorem
Parseval identity
FFT
aliasing
Gibbs phenomenon
smoothness 与频谱衰减
periodicity
spectral bias

3.4 泛函分析

短期不需要完整学习全部泛函分析。目标是理解“算子学习”的语言。

课程

MIT 18.102: Introduction to Functional Analysis

教材

Kreyszig, Introductory Functional Analysis with Applications

最低要求

优先理解：

normed space
Banach space
Hilbert space
inner product
orthogonal basis
bounded linear operator
integral operator
(L^p) space
Sobolev space
weak solution

3.5 数值线性代数

教材

Trefethen & Bau, Numerical Linear Algebra
Golub & Van Loan, Matrix Computations

最低要求

condition number
sparse matrix
eigenvalue problem
conjugate gradient
iterative solver
preconditioning
SVD
low-rank approximation
FFT complexity

4. Scientific ML 学习资源

4.1 免费课程

MIT SciML

MIT 18.S096: Applications of Scientific Machine Learning

特点：

项目导向
强调可运行代码
适合建立 SciML 全局地图

MIT 并行计算与 SciML 讲义

Parallel Computing and Scientific Machine Learning

适合补充：

scientific computing
differentiable programming
ODE / PDE solver
自动微分
并行计算

SciML 专项课程

Scientific Machine Learning Course Notes

覆盖：

PINN
Neural ODE
DeepONet
FNO
operator learning

FNO 作者博客

Zongyi Li: Fourier Neural Operator Blog

适合在精读论文前快速建立直觉。

5. 必读论文

5.1 第一层：领域地图

1. Neural Operator 统一框架

Kovachki et al., Neural Operator: Learning Maps Between Function Spaces

阅读目标：

neural operator 的定义
函数空间映射
离散化不变性
integral operator layer
graph operator
low-rank operator
Fourier operator
universal approximation

2. Operator Learning 理论综述

Kovachki, Lanthaler, Stuart, Operator Learning: Algorithms and Analysis

阅读目标：

operator learning 的理论边界
approximation theory
不同模型类别
泛化问题
尚未解决的问题

这篇适合在完成首次复现后阅读，不建议作为第一篇论文。

5.2 第二层：经典模型

3. DeepONet

Lu et al., Learning Nonlinear Operators via DeepONet

核心结构：

branch net：编码输入函数
trunk net：编码输出坐标
二者组合：得到任意位置上的函数值

官方代码：

4. Fourier Neural Operator

Li et al., Fourier Neural Operator for Parametric Partial Differential Equations

核心思想：

将积分核参数化到 Fourier 空间
只保留部分频率模态
低成本建模全局依赖
支持一定程度的 resolution transfer

原始论文实验：

1D Burgers
2D Darcy Flow
2D Navier–Stokes

代码：

工程上建议优先使用 neuraloperator。

5.3 第三层：重要扩展

5. PINO

Li et al., Physics-Informed Neural Operator

作用：

结合监督数据与 PDE residual
在高分辨率网格上加入物理约束
减少对高质量标签数据的依赖

6. Geo-FNO

Li et al., Fourier Neural Operator with Learned Deformations for PDEs on General Geometries

作用：

处理不规则几何
从 physical domain 映射到 latent regular domain
面向复杂 mesh、point cloud 和工程几何

7. CNO

Raonić et al., Convolutional Neural Operators

作用：

讨论连续性与离散化问题
使用卷积结构构造 neural operator
适合研究鲁棒性与精度

8. Poseidon

Herde et al., Poseidon: Efficient Foundation Models for PDEs

代码：

作用：

多类 PDE 预训练
PDE foundation model
跨任务迁移
流体动力学建模

短期不建议从头预训练 Poseidon。更现实的是做微调、蒸馏、迁移分析或 OOD 分析。

6. Dataset 与 Benchmark

6.1 第一阶段：轻量任务

数据集	PDE 类型	适合研究的问题
Burgers	非线性时变 PDE	rollout、频谱、高频误差
Darcy Flow	椭圆型 PDE	参数场到解场映射
Navier–Stokes	流体动力学 PDE	长时序稳定性、复杂动力学

建议顺序：

Burgers → Darcy Flow → Navier–Stokes

6.2 PDEBench

PDEBench GitHub

PDEBench Paper

用途：

统一 benchmark
多类 PDE 数据
baseline
数据生成代码
模型比较

适合在完成 toy dataset 后接入。

6.3 PDEArena

PDEArena 官网

PDEArena GitHub

用途：

PDE surrogate learning
baseline 比较
分布式训练
统一实验接口
Navier–Stokes 等任务

6.4 The Well

The Well 官网

The Well Paper

用途：

大规模物理仿真数据
多领域预训练
transfer learning
foundation model
多物理场统一建模

不适合作为第一个项目。

6.5 主动学习

AL4PDE: Active Learning for Neural PDE Solvers

适合研究：

仿真数据昂贵时如何选样本
solver-in-the-loop
active learning
uncertainty-guided data generation

这类问题很接近真实工程场景。

7. 工具链

7.1 Neural Operator 与 SciML

工具	用途	建议
NeuralOperator	FNO、GINO、GNO、SFNO 等	主力库
DeepXDE	PINN、DeepONet、PDE workflow	学习 DeepONet
PDEArena	PDE surrogate benchmark	中期研究
PhysicsNeMo	工业级 Physics-ML 框架	后期工程化

7.2 传统数值求解器

工具	方法	适合场景
FEniCSx	有限元	Darcy、Poisson、复杂几何
Dedalus	谱方法	周期域、流体、Navier–Stokes
Firedrake	有限元	变分形式与复杂 PDE
NumPy / SciPy	有限差分、FFT	教学与 sanity check
PyTorch	神经网络与 FFT	Neural Operator 实现

8. 前沿论文跟踪网站

8.1 每周浏览

arXiv

建议设置关键词：

text

"neural operator"
"operator learning"
"PDE surrogate"
"scientific machine learning"
"physics-informed"
"PDE foundation model"
"resolution invariant"
"mesh invariant"
"long rollout"
"out-of-distribution PDE"

Hugging Face Papers

适合快速发现近期讨论度较高的论文。

OpenReview

OpenReview 的价值在于：

可以看评审意见
可以看 rebuttal
可以看争议点
可以快速判断论文是否真的扎实

8.2 重要会议与期刊

机器学习

ICLR
ICML
NeurIPS
AISTATS
TMLR
JMLR

科学计算与应用数学

SIAM Journal on Scientific Computing
SIAM Journal on Numerical Analysis
Journal of Computational Physics
Computer Methods in Applied Mechanics and Engineering
Communications in Computational Physics

8.3 重要组织与作者

9. 值得关注的前沿问题

9.1 分布外泛化

关注：

Reynolds number 改变
边界条件改变
几何变化
resolution shift
参数超出训练区间
合成数据到真实数据迁移

这是工程部署中最关键的问题之一。

9.2 长时序 rollout 稳定性

自回归 PDE surrogate 会不断把自己的预测重新输入模型。

主要问题：

误差逐步累积
高频误差放大
系统能量漂移
conservation violation
长时间预测崩溃

9.3 不规则几何与网格

现实工程场景通常不是规则矩形网格。

典型任务：

翼型
流道
复杂材料结构
多孔介质
非均匀 mesh
point cloud

9.4 物理约束与混合求解器

有价值的方向：

conservation law
PDE residual
differentiable solver
learned closure model
operator splitting
hybrid numerical-ML solver
physics-informed correction
hard constraint

9.5 PDE Foundation Model

10. 作品集设计

建议建立一个统一仓库，而不是多个零散 notebook。

仓库结构

text

neural-operator-lab/
├── solvers/
│   ├── burgers_fd.py
│   ├── darcy_fem.py
│   └── navier_stokes_spectral.py
├── models/
│   ├── deeponet.py
│   ├── fno1d.py
│   ├── fno2d.py
│   └── baselines.py
├── datasets/
│   ├── download.py
│   └── generate.py
├── experiments/
│   ├── burgers/
│   ├── darcy/
│   ├── navier_stokes/
│   └── ood_resolution/
├── configs/
├── reports/
│   ├── 01_burgers.md
│   ├── 02_darcy.md
│   └── 03_ood_analysis.md
├── tests/
├── environment.yml
└── README.md

第一层：教学型复现

完成：

自己实现 Burgers solver
自己实现 SpectralConv1d
自己实现 FNO1D
可视化真实解与预测解
比较不同 Fourier modes
分析高频误差
写一篇英文文章

文章题目可以是：

From Spectral Methods to Fourier Neural Operators: A Reproducible Burgers Equation Study

第二层：标准 benchmark

比较：

DeepONet
FNO
U-Net
CNN baseline
简单 MLP baseline

记录：

relative (L^2) error
参数量
训练时间
推理时间
GPU 显存
resolution shift
随机种子
inference throughput

第三层：研究型扩展

建议首个研究问题：

在固定训练分辨率下，FNO、DeepONet 和卷积模型对 resolution shift、parameter shift 和噪声扰动的鲁棒性有何差异？

然后加入一个轻量改进，例如：

multi-resolution training
spectral loss
conservation regularization
frequency curriculum
adaptive mode selection
uncertainty-guided sampling
physics-informed correction

11. 论文选题建议

不建议一开始做“再提出一个复杂 FNO 变体”。

更现实的首篇论文方向是：

Neural Operator 在 resolution shift 和 parameter shift 下的系统泛化诊断，以及一个轻量物理约束或多分辨率训练改进。

原因：

可以在 toy dataset 与 PDEBench 上完成
算力要求适中
能体现 PDE 与 ML 的结合
可以形成完整作品集
适合做可复现实验
容易写出清晰结论

最低论文标准：

找到真实失败模式
有充分基线
有多随机种子实验
区分训练内与分布外测试
报告误差、速度、显存、稳定性
分析频谱与长期 rollout
给出可复现代码
明确方法边界

12. 12 周执行计划

第 1–2 周：数值 PDE 入门

完成：

heat equation
Burgers equation
finite difference
CFL condition
数值可视化

产出：

burgers_fd.py
一篇简短笔记
不同网格尺寸与时间步长对比

第 3–4 周：Fourier 与谱方法

完成：

FFT
Fourier series
spectral differentiation
periodic PDE
frequency truncation

产出：

spectral_derivative.py
高频误差可视化
谱方法与有限差分对比

第 5–6 周：FNO 从零实现

完成：

精读 FNO
写 SpectralConv1d
写 FNO1D
跑通 Burgers

产出：

fno1d.py
modes / width / resolution ablation
英文技术文章

第 7–8 周：DeepONet 与 Darcy Flow

完成：

精读 DeepONet
理解 branch net 与 trunk net
跑通 Darcy Flow
比较 DeepONet 与 FNO

产出：

deeponet.py
fno2d.py
Darcy Flow benchmark 表格

第 9–10 周：标准 benchmark

完成：

接入 NeuralOperator
接入 PDEBench 或 PDEArena
增加 U-Net 与 CNN baseline
统一配置、日志、随机种子

产出：

可复现训练脚本
benchmark 报告
README
实验表格

第 11–12 周：研究探索

至少完成：

resolution shift
parameter shift
noisy observation
sparse observation
long rollout

产出：

一份 8–12 页 research memo
一组 failure case 图
一个轻量改进
一个可投稿问题定义

13. 最小资源清单

先使用以下资源，不要继续无限扩展资料库。

数学

核心论文

工具

14. 推荐立即执行的第一步

你当前已经在使用 neuraloperator 跑 FNO。下一步不要继续泛读资料，直接完成以下闭环：

跑通 Burgers 数据集
跑通 Darcy Flow
读懂 FNO.forward()
读懂 spectral convolution
自己实现最小版 SpectralConv1d
比较训练分辨率与测试分辨率
写一篇英文复现报告

最小研究闭环是：

数值求解器 → 数据 → FNO → 误差分析 → OOD 测试 → 技术文章 → 研究问题

这比只看课程或只跑官方仓库更有价值。

Log

Neural Operators / Scientific ML 学习与研究路线 ​

1. 方向定位 ​

2. 总体学习策略 ​

3. 数学基础 ​

3.1 PDE ​

首选课程 ​

补充课程 ​

教材 ​

3.2 数值 PDE ​

首选课程 ​

工程补充课程 ​

主教材 ​

谱方法教材 ​

3.3 Fourier 分析 ​

课程 ​

教材 ​

最低要求 ​

3.4 泛函分析 ​

课程 ​

教材 ​

最低要求 ​

3.5 数值线性代数 ​

教材 ​

最低要求 ​

4. Scientific ML 学习资源 ​

4.1 免费课程 ​

MIT SciML ​

MIT 并行计算与 SciML 讲义 ​

SciML 专项课程 ​

FNO 作者博客 ​

5. 必读论文 ​

5.1 第一层：领域地图 ​

1. Neural Operator 统一框架 ​

2. Operator Learning 理论综述 ​

5.2 第二层：经典模型 ​

3. DeepONet ​

4. Fourier Neural Operator ​

5.3 第三层：重要扩展 ​

5. PINO ​

6. Geo-FNO ​

7. CNO ​

8. Poseidon ​

6. Dataset 与 Benchmark ​

6.1 第一阶段：轻量任务 ​

6.2 PDEBench ​

6.3 PDEArena ​

6.4 The Well ​

6.5 主动学习 ​

7. 工具链 ​

7.1 Neural Operator 与 SciML ​

7.2 传统数值求解器 ​

8. 前沿论文跟踪网站 ​

8.1 每周浏览 ​

arXiv ​

Hugging Face Papers ​

OpenReview ​

8.2 重要会议与期刊 ​

机器学习 ​

科学计算与应用数学 ​

8.3 重要组织与作者 ​

9. 值得关注的前沿问题 ​

9.1 分布外泛化 ​

9.2 长时序 rollout 稳定性 ​

9.3 不规则几何与网格 ​

9.4 物理约束与混合求解器 ​

9.5 PDE Foundation Model ​

10. 作品集设计 ​

仓库结构 ​

第一层：教学型复现 ​

第二层：标准 benchmark ​

第三层：研究型扩展 ​

11. 论文选题建议 ​

12. 12 周执行计划 ​

第 1–2 周：数值 PDE 入门 ​

第 3–4 周：Fourier 与谱方法 ​

第 5–6 周：FNO 从零实现 ​

第 7–8 周：DeepONet 与 Darcy Flow ​

第 9–10 周：标准 benchmark ​

第 11–12 周：研究探索 ​

Neural Operators / Scientific ML 学习与研究路线

1. 方向定位

2. 总体学习策略

3. 数学基础

3.1 PDE

首选课程

补充课程

教材

3.2 数值 PDE

首选课程

工程补充课程

主教材

谱方法教材

3.3 Fourier 分析

课程

教材

最低要求

3.4 泛函分析

课程

教材

最低要求

3.5 数值线性代数

教材

最低要求

4. Scientific ML 学习资源

4.1 免费课程

MIT SciML

MIT 并行计算与 SciML 讲义

SciML 专项课程

FNO 作者博客

5. 必读论文

5.1 第一层：领域地图

1. Neural Operator 统一框架

2. Operator Learning 理论综述

5.2 第二层：经典模型

3. DeepONet

4. Fourier Neural Operator

5.3 第三层：重要扩展

5. PINO

6. Geo-FNO

7. CNO

8. Poseidon

6. Dataset 与 Benchmark

6.1 第一阶段：轻量任务

6.2 PDEBench

6.3 PDEArena

6.4 The Well

6.5 主动学习

7. 工具链

7.1 Neural Operator 与 SciML

7.2 传统数值求解器

8. 前沿论文跟踪网站

8.1 每周浏览

arXiv

Hugging Face Papers

OpenReview

8.2 重要会议与期刊

机器学习

科学计算与应用数学

8.3 重要组织与作者

9. 值得关注的前沿问题

9.1 分布外泛化

9.2 长时序 rollout 稳定性

9.3 不规则几何与网格

9.4 物理约束与混合求解器

9.5 PDE Foundation Model

10. 作品集设计

仓库结构

第一层：教学型复现

第二层：标准 benchmark

第三层：研究型扩展

11. 论文选题建议

12. 12 周执行计划

第 1–2 周：数值 PDE 入门

第 3–4 周：Fourier 与谱方法

第 5–6 周：FNO 从零实现

第 7–8 周：DeepONet 与 Darcy Flow

第 9–10 周：标准 benchmark

第 11–12 周：研究探索

13. 最小资源清单