DL-FWI 的三项主要任务: 网络构建, 数据生成, 训练控制
摘要: 本贴描述DL-FWI 的三项主要任务: 网络构建, 数据生成, 训练控制.
1. 网络构建
有些人天生容易建立数学思维, 有些人天生有文学细胞.
相应地, 有些网络结构适应图像处理, 有些适应文本处理.
到 2025 年, 人们已经针对 DL-FWI, 设计了非常多的网络. 这些网络的设计过程中考虑了如下的因素.
- 不同的骨干网络
如 Encoder-decoder 结构, UNet, 双解码器, Transformer. - 不同的网络组件
如可变形卷积.
可解释模块. - 不同的损失函数.
如 L2, contour loss.
这个方向虽然可以一直做, 但如果计算资源的限制导致了网络参数量不够大, 恐怕较难有长足进步.
2. 数据生成
如果平时做的题与考题很相似, 考试就容易得高分.
对于机器学习领域, 训练集很大且与测试集的数据独立同分步 (iid) 的话, 所训练的模型就容易有很好的泛化性.
- 为了获得足够的训练集, 有些公司会请人来为样本打标签. 如果样本只是图片的话, 相应代价可以接受. 但样本是医疗数据等, 需要专家 (医生) 来打标签的话, 标签量就很难得到保证.
- 为了保障测试数据与训练数据独立同分布, 应尽量找实际数据 (如自然界拍摄的图片) 来打标签。
不幸的是, 在地震勘探领域, 多数的地震数据是保密的, 数据的标签 (如速度模型) 更是不会直接提供. 真正可能提供的可靠标签是测井数据, 但量非常少, 只适合验证反演方法的有效性, 不适合构建训练集.
但另一方面, 正演模拟给我们提供了构造人造数据集的可能性. 这里涉及两方面的工作:
- 速度模型的生成. 速度模型应具有代表性, 与真实的地质结构越接近越好 (iid).
- 正演模拟方法. 这本身就是传统 FWI 的研究核心. 如果正演模拟方法不够好, ground-truth 速度模型正演模拟的数据与观测数据差距很大, 就尴尬了.
这里有两个注意事项:
- 虽然我们经常在模拟数据 (如 OpenFWI) 上测试反演的效果, 但这个效果只是一个简单的参考. 模拟数据上效果好, 只是真实数据上效果好的必要条件, 而不是充分条件. 切不可把对付模拟数据的一些小技巧 (如判断数据属于 OpenFWI 哪个子集) 用于真实数据.
- 甲方希望直接把网络用于现场, 而不需要他们提供额外的支持 (如目标工区少量的带标签数据).
3. 训练控制
同样的教材和习题, 同样的学生, 不同老师教了之后成绩就是不同.
采用不同的训练方法, 特别是把训练数据进行合理的组织 (如由浅入深, 不同题刷的次数不同), 都会对深度网络最终的质量产生重要的影响. 自步学习、课程学习提供了相应的思路. 在这个方面还是有不少工作可以做.
4. 小结
这三个任务是我最近才想通的, 希望对读者有用.