自己制作遥感深度学习数据集进行遥感深度学习地物分类-试读
前言
本手记是我研究生期间工作的一个总结，适合地信遥感专业或者计算机专业同学想利用Python在本地利用深度学习进行遥感影像地物分类的同学，尤其是刚刚开始深度学习遥感地物分类的同学。因为本手记中既有遥感和深度学习的基础理论知识，也有编程实践，这样既能让计算机专业的同学了解到遥感的基本知识，也能让遥感地信专业的同学了解到深度学习的基础理论与编程实现。
当然本手记的理论知识都是一些浅显的介绍，让大家对遥感与深度学习的理论有一个大体的了解，如遥感数据的预处理流程，深度学习的基本流程等，了解传统计算机视觉与深度学习遥感地物分类的联系，并不能通过本手记对深度学习与遥感有较为深入的学习，如定量遥感、辐射校正、几何校正等不会进行深入的算法介绍。
本手记中的相关描述与表达方式，可能不是很学术、很官方，而是像教程、对话和总结，由于个人水平限制，既不想大家在理论上，被我对深度学习和遥感管中窥豹的认识带偏，也不想在技术上被我这一条技术路线所限制，仅供大家参考，希望可以对科研入门或者为了毕业论文抓耳挠腮的同学有所帮助。
主要内容
本手记分为理论篇和实践篇两章，主要内容如下：
理论篇
1.在遥感基础上，介绍什么是遥感，遥感数据的分类，遥感数据的数据结构，遥感数据预处理方法等
2.深度学习基础上，介绍什么是深度学习，深度学习应用的分类，几类常见的深度学习模型，深度学习的一般流程等
3.遥感与深度学习交叉上，深度学习与遥感的交叉融合创新分类，什么是深度学习遥感地物分类，深度学习遥感地物分类基本流程
实践篇
1.python基础与遥感深度学习境配置
2.使用公开数据集进行深度学习遥感地物分类
3.使用自己的数据进行深度学习遥感地物分类
亮点内容
1.既有深度学习基础知识，又有遥感基础知识，计算机或者遥感专业同学各取所需
2.制作自己的数据集，利用遥感数据在没有标签的情况下，构建自己专用任务的深度学习数据集（打标签，切片分块）-（实践篇3.使用自己的数据进行深度学习遥感地物分类中有该内容）
3.利用自己的数据训练模型，创建适用于遥感数据的dataloader，模型构建，标签没有完全标完，如何将其用于模型训练，模型效果验证 -（实践篇2.使用公开数据集进行深度学习遥感地物分类与实践篇3.使用自己的数据进行深度学习遥感地物分类中有该内容）
4.将模型应用于大图进行预测，此处有创新，把数据切片，通过在内存中操作，直接预测大图，较少繁琐裁剪拼接，提高预测效率 -（实践篇3.使用自己的数据进行深度学习遥感地物分类中有该内容）
第一篇 理论篇
1 遥感基础知识
1.1 什么是遥感
遥感（Remote Sensing）是一种远离目标，在不与目标对象直接接触的情况下，通过某种平台上装载的传感器获取其特征信息，然后对所获取的信息进行提取、判定、加工处理及应用分析的综合性技术。
遥感的主要信息载体是影像，其中包含了地物的形状、位置以及光谱方面的信息。
遥感技术的特点包括探测范围广、采集数据快、能动态反映地面事物的变化以及获取的数据具有综合性。遥感技术被广泛应用于资源调查、地表环境监测、人类活动监测等多个领域。
1.2 遥感的分类
分类标准 | 分类类别 | 描述 |
按传感器类型分类 | 光学遥感 | 使用光学传感器，包括多光谱遥感和高光谱遥感。 |
微波遥感 | 使用微波传感器，包括被动微波遥感和主动微波遥感（如SAR）。 | |
激光雷达（LiDAR） | 使用激光脉冲测量地物的三维形态信息。 | |
热红外遥感 | 利用地物发射的热辐射进行成像。 | |
按数据获取方式分类 | 航空遥感 | 通过飞机、无人机等低空平台获取数据，分辨率通常较高。 |
卫星遥感 | 通过卫星获取数据，覆盖范围广，适用于大尺度观测。 | |
按应用领域分类 | 农业遥感 | 监测作物生长、估算产量、病虫害检测等。 |
森林遥感 | 森林资源调查、森林火灾监测、林业管理等。 | |
水文遥感 | 水资源管理、洪水监测、水质分析等。 | |
气象遥感 | 天气预报、气候变化研究、大气监测等。 | |
海洋遥感 | 海洋环境监测、海冰监测、渔业资源管理等。 | |
城市遥感 | 城市规划、土地利用监测、建筑物检测等。 | |
灾害监测 | 地震、火山、滑坡、洪水等自然灾害的监测和评估。 | |
按信息处理方法分类 | 定性分析 | 通过目视解译、专家系统等方法进行定性分析，如图像解译。 |
定量分析 | 通过光谱分析、辐射传输理论等方法进行定量分析，如LAI反演、大气校正。 | |
按数据处理技术分类 | 像元级处理 | 基于单个像元的光谱信息进行处理和分析。 |
面向对象处理 | 基于图像分割和对象提取的方法进行处理和分析，考虑空间、光谱和纹理等多方面信息。 |
在我的认知中，认为按传感器类型分类体系在深度学习遥感应用中比较常用，其中的光学遥感是大家比较常用的遥感数据之一，光学遥感狭义上来讲就是可见光遥感，数据可视化后的结果与人眼看到的比较接近，获取也最为容易，现有数据也最多。
1.3 遥感数据的数据结构
栅格数据是遥感数据最常见的形式之一，它以网格（像素）的形式表示地理空间信息，每个像素包含一个或多个波段的值。栅格数据通常由遥感影像构成，主要特点包括：
属性 | 描述 |
图像大小 | 行数H x 列数W |
波段数（计算机视觉中的通道数） | 包含的波段数量（如3个波段的RGB图像，多光谱影像N个波段） |
空间分辨率 | 每个像素对应的地理面积（如30米 x 30米） |
像素值类型 | 像素值的数值类型（如整数、浮点数） |
1.4遥感数据的关键属性
1.4.1空间分辨率
空间分辨率：是指遥感图像中可以分辨的最小空间细节的能力，通常以图像中一个像素所代表的地面实际尺寸来表示。
1.4.2时间分辨率
时间分辨率：是指遥感数据采集的时间间隔或重复观测的频率，决定了在一段时间内可以获取多少次同一地区的遥感数据。
1.4.3波谱分辨率
波谱分辨率：是指遥感系统能够区分和记录的不同波长或频率范围的细节程度，决定了遥感设备能够捕获的光谱带的数量和细度。
1.4.4辐射分辨率
辐射分辨率：是指遥感系统能够测量的辐射能量的最小变化，通常以比特（bit）为单位表示，表示系统能够分辨的最小辐射强度差异。
遥感数据的各种属性决定了各类数据可以应用的方向。对于绝大多数研究来说，空间分辨率和时间分辨率是两个较为重要的属性，如空间分辨率高的可以做一些建筑房屋，道路的提取，分辨率低的可以做一些尺度较大的区域性研究；时间分辨率高的数据可以做一些时序性研究，如气候，水量变化等等。也有一些高光谱遥感反演的研究对波谱分辨率和辐射分辨率要求较高，如基于高光谱数据进行植被某元素含量发分析、矿物岩性识别等等，用到的高光谱数据往往有几百个波段。
1.5 遥感数据预处理与等级
1.5.1各种预处理方似
预处理方式 | 描述 |
辐射定标（Radiometric Calibration） | 将原始数字量值（DN）转换为辐射亮度或地表反射率，使用传感器特定的校准系数。 |
大气校正（Atmospheric Correction） | 去除大气散射和吸收的影响，恢复地表的真实反射特性。常用方法包括暗像元法、辐射传输模型（如FLAASH）。 |
几何校正（Geometric Correction） | 校正图像的几何畸变，确保图像与实际地理位置匹配。需要使用地面控制点（GCPs）和数学模型进行校正。 |
正射校正（Orthorectification） | 考虑地形起伏影响，利用数字高程模型（DEM）进行校正，生成无几何畸变的正射影像。 |
噪声去除（Noise Removal） | 去除图像中的噪声，如条纹噪声、随机噪声等。常用方法有中值滤波、小波变换等。 |
图像增强（Image Enhancement） | 提高图像的可视化效果，如对比度拉伸、直方图均衡化等，目的是突出图像中的特征和细节。 |
云和阴影检测与掩膜（Cloud and Shadow Detection and Masking） | 识别和去除图像中的云和阴影区域，避免其对后续分析的影响。 |
图像融合（Image Fusion） | 将不同分辨率的图像进行融合，生成具有高空间和高光谱分辨率的图像。常见方法包括主成分分析（PCA）、波段比率等。 |
投影变换（Projection Transformation） | 将图像转换到统一的坐标参考系，以便于多源数据的融合和分析。 |
剪切（Cropping）和重采样（Resampling） | 根据研究区域对图像进行裁剪，重新采样以匹配所需的空间分辨率。 |
一般遥感影像预处理流程：
1.5.2遥感数据的等级
遥感数据的等级与遥感预处理的程度对应，包括：
- 0级原始数据（L0）：未经过任何校正的原始图像数据。
- 1级基础产品（L1）：经过了初步辐射校正的图像数据，包括Level-1A、Level-1B等。
- 2级基础产品（L2）：经过了系统级的几何校正，利用卫星的轨道和姿态等参数对原始数据进行几何校正。
- 3级产品（L3）：经过了几何精校正，利用地面控制点对图像进行了校正，具有更精确的地理坐标信息
在各个等级中，我们下载到的数据多为L1与L2级数据，一般不需要额外的预处理过程就可以用来进行深度学习遥感应用研究。
1.6 遥感深度学习与传统计算机视觉的不同
- 数据方面：遥感深度学习数据集相较于计算机视觉来说较少，往往需要自己构建数据集；
- 波段数（通道数）方面：相较于计算机视觉，遥感图像波段多不止RGB等波段，可能还有非可见光，有些高光谱遥感数据有几百个波段；
- 复杂度方面：相较于计算机视觉，遥感影像场景复杂，一幅影像中涵盖很多信息，而且遥感影像还可能会有云遮挡；
- 对模型迁移方面：在计算机视觉中，经过预训练的模型自己用于下游任务往往效果还可以，但是在遥感中可能一塌糊涂，因为遥感影像差异巨大，例如由于研究区的不同，各地差异较大，A区训练的模型在B区可能就不适用，再比如卫星A的波段与B卫星可能根本不一样，一个是可见光一个可能是微波数据，还有遥感影像会随时间的变化而变化，就比如植被春夏秋冬的变化；
遥感影像与计算机视觉中自然影像的不同，也是深度学习应用与遥感的难点，但同样也是大家在模型方面可以出创新点的地方，当然遥感方面还是以应用创新为多，看大家能力进行选择。
2 深度学习基础知识
2.1 什么是深度学习
深度学习是人工智能和机器学习领域的一个重要分支，它可以通过构建和训练深层神经网络模型来从大量数据中学习和提取特征，以实现复杂任务的自动化处理和决策。
定义：深度学习是一种使计算机能够从经验中学习并以概念层次结构的方式理解世界的机器学习形式。
原理：深度学习通过多层神经网络模型来工作，这些模型由多层神经元组成。通过不断地调整网络中的参数（如权重和偏置），深度学习能够从数据中学习到合适的特征表示，并在输出层进行预测或决策。
2.2 深度学习的应用领域
2.2.1计算机视觉
计算机视觉（Computer vision， CV）是人工智能(AI) 的一个重要应用领域，是指让计算机和系统能够从图像、视频和其他视觉输入中获取有意义的信息，并根据该信息采取行动或提供建议。
近年来，计算机视觉及其相关领域发展十分迅速，相关技术已经被应用到人类生产和生活的各个领域。我们耳熟能详的任务有人脸识别、步态识别、虹膜识别、车辆检测以及医学图像处理等。 实际上，计算机视觉本身包含众多的研究方向，本文仅仅介绍下面几个互相关联的任务：
（1） 图像分类：Image Classification
图像分类任务目的是判断图像中包含物体的类别，如果期望判别多种物体则称为多目标分类。需要注意的是，基本的图像分类任务并不要求给出物体所在位置，也不需要判断含有物体的数量。
（2） 语义分割：Semantic Segmentation
语义分割任务需要对图像中所有像素点进行分类，将相同类别的像素归为相同的标签（常常采用相同的像素点表示）。需要特别注意的是，语义分割是在像素级别进行的。
（3） 目标检测：Object Detection
如果项目的需求是精确的定位出图像中某一物体类别信息和所在位置，则应该选择目标检测算法。基于深度学习的目标检测算法主要分为单阶段（one-stage）和两阶段（two-stage）两种，单阶段算法的速度较快，两阶段算法的精度较高（总体上）。
（4） 实例分割：Instance Segmentation
相比于语义分割，实例分割不仅需要将图像中所有像素进行分类，还需要区分相同类别中不同个体。比如，语义分割只需要将下图中的所有猫的像素进行归类，而实例分割需要将猫这一类中单独的个体进行像素分类。
下图展示了图像分类、语义分割、目标检测、实例分割四种任务（图片来源于网络）：
上图展示了四种任务的研究目标，具体如下：
- 图像分类：判别图中物体是什么，比如是猫还是狗；
- 语义分割：对图像进行像素级分类，预测每个像素属于的类别，不区分个体；
- 目标检测：寻找图像中的物体并进行定位；
- 实例分割：定位图中每个物体，并进行像素级标注，区分不同个体；
2.2.2自然语言处理
自然语言处理（Natural Language Processing， NLP）是人工智能和语言学领域的分支学科，是指让计算机和系统能够从文本和语音信号输入中获取有意义的信息，理解人类语言，并作出决策。目前主要有以下几大基础任务。
（1）文本分类
如情感分类：尝试分析作者对于某种产品或者一些其他事情的情感，经常用于评论领域，例如：影评、购物点评、产品测评等。
如主题分类：关于试图理解给定文档的主题是什么，例如：我们可能想知道一篇给定的文章是关于体育的还是国际新闻的。
（2）序列标注
如命名实体识别（NER）：NER主要涉及如何从文本中提取有意义的词语并将其分类至事先划定好的类别，如在招聘信息中提取具体招聘公司、岗位和工作地点的类别。
如词性标注：词性标注 (pos tagging) 是指为分词结果中的每个单词标注一个正确的词性，也即确定每个词是名词、动词、形容词或其他词性的过程。
（2）生成式任务
生成式任务就是根据一段文本，生成另一段文本。
如机器翻译：百度、谷歌机器翻译。
如文本摘要：自动为论文、文章、新闻稿生成摘要。
如对话系统：输入的是一句话，输出是对这句话的回答。
如问答系统：针对用户提出的问题，系统给出相应的准确答案。
2.2.3其它分支
推荐系统、强化学习、语音识别等
（1）推荐系统
推荐系统对于我们来说并不陌生，已经渗透到我们生活的方方面面，比如网易云的音乐推荐、淘宝的商品推荐、美团的餐厅推荐、抖音的短视频推荐等等。之所以推荐系统无处不在，是因为它可以提高用户的驻留时间、增加网站主的效益，以此实现互利共赢。而深度学习可以应用到推荐系统中，更能精确的把握人的兴趣爱好，给出更准确的推荐内容。
（2）强化学习
2016 年，DeepMind 公司开发的基于强化学习的 AlphaGo 4:1 大胜韩国著名棋手李世石，成为第一个战胜围棋世界冠军的人工智能机器人，一时风头无两。AlphaGo 的巨大成功开启了“人工智能元年”，也让强化学习渐为大众熟悉。强化学习也是深度学习的一个重要分支。
（3）语音识别
语音识别最简单的就是语音变成文字，如微信语音自动转文字功能，视频网站自动翻译文本功能，商业上的同声传译功能，苹果的siri助手等，都有广泛的落地应用。
深度学习遥感地物分类如果按以上的应用分类领域来说，应该是属于计算机视觉中的语义分割任务，该方向可以着重学习。
2.3 几类常见深度学习模型
根据应用场景和设计目的的不同，深度学习模型可以分为多种类型，每种类型都有其独特的结构特点与适用范围。以下是几类常见的深度学习模型：
2.3.1全连接神经网络（Fully Connected Neural Network，FCNN）
全连接神经网络是一种基础的神经网络结构，在这种网络中，每个神经元都与前一层的所有神经元相连。这意味着，如果第一层有N个神经元，第二层有M个神经元，则从第一层到第二层将存在N*M条连接。这样的设计使得信息能够从前一层完全传递到下一层，没有任何遗漏。每一条连接都有其对应的权重值，这些权重是通过训练过程自动调整的，以使模型能够更好地学习数据中的模式。
全连接神经网络通常由输入层、隐藏层以及输出层组成。输入层接收外部的数据输入；隐藏层位于输入层和输出层之间，可以有一层或多层，用于提取输入数据的重要特征；而输出层则根据任务需求生成最终结果，比如分类问题中的类别概率分布或回归问题中的连续数值预测等。
2.3.2卷积神经网络（Convolutional Neural Network, CNN）
这类模型特别适用于处理图像、视频等具有空间层次结构的数据。CNN利用卷积层自动地从原始输入中提取特征，并通过池化层减少参数数量以降低计算成本。由于它在图像识别、物体检测等领域表现出色，因此被广泛应用于计算机视觉任务。
2.3.3循环神经网络（Recurrent Neural Network, RNN）
RNN专为处理序列数据而设计，如自然语言文本或时间序列分析。与传统的前馈神经网络不同，RNN内部存在反馈连接，允许信息在网络内循环流动，从而捕捉到数据间的时序依赖关系。然而，标准的RNN容易遇到梯度消失或者爆炸问题，为此人们发展出了长短时记忆网络（LSTM）和门控循环单元（GRU）等改进版本。
2.3.4生成对抗网络（Generative Adversarial Network, GAN）
GAN是一种无监督学习方法，由两个相互博弈的部分组成——生成器和判别器。生成器试图创建看起来真实的假样本，而判别器则努力区分真实数据与生成器产生的虚假数据。经过多轮训练后，生成器可以学会生成高度逼真的新数据实例，这使得GAN在图像合成、风格迁移等方面有着广泛应用。
2.3.5自编码器（Autoencoders, AE）
这是一种用于无监督学习的神经网络架构，主要用于数据降维及特征学习。自编码器包含编码器和解码器两部分，其中编码器将高维输入压缩成低维表示，然后解码器再尝试从该低维表示重建原始输入。通过这种方式，自编码器能够学习到输入数据的有效表征形式，在异常检测、去噪等方面表现良好。
2.3.6Transformer
近年来兴起的一种新型架构，主要针对长距离依赖性问题进行了优化。与传统的RNN相比，变换器使用自注意力机制代替了递归结构，使得模型能够并行处理整个序列，大大提高了效率。这一创新极大地推动了自然语言处理领域的进步，特别是在机器翻译、问答系统等领域取得了突破性的成果。
这些只是众多深度学习模型中的一部分例子，随着研究的深入和技术的发展，未来还会有更多高效且强大的模型出现。
2.4 深度学习的一般流程
深度学习的一般流程可以分为几个主要阶段：
- 问题定义与数据收集：首先需要明确要解决的问题是什么，比如是图像识别、自然语言处理还是时间序列预测等。接着根据问题性质收集相关的数据集。数据的质量和数量对于模型训练至关重要。
- 数据预处理：原始数据往往含有噪声或缺失值等问题，因此在送入模型之前需要进行清洗、格式化以及标准化等预处理工作。
- 选择合适的模型架构：基于问题类型（分类、回归等）和个人偏好等因素选择一个合适的深度学习模型架构。常见的有卷积神经网络(CNN)用于图像处理，循环神经网络(RNN)及其变体如长短期记忆网络(LSTM)适用于序列数据分析等。
- 模型配置与训练：
- 超参数设置：包括学习率、批量大小、迭代次数等。
- 损失函数的选择：根据具体任务挑选适合的损失函数，例如交叉熵损失常用于分类任务。
- 优化器的选择：常用的优化算法有SGD(随机梯度下降)、Adam等。
- 训练过程：将预处理后的数据输入到模型中开始训练，并通过反向传播算法调整权重以最小化损失函数值。
- 模型评估与调优：
- 使用验证集对训练好的模型进行性能评估，常用指标包括准确率、召回率、F1分数等。
- 如果效果不佳，则需要回到前面步骤尝试改变某些参数或者改进模型结构。
- 测试与部署：当模型经过充分训练并达到满意的性能后，就可以使用独立的测试集对其进行最终检验。之后可根据实际应用场景将模型部署上线，提供服务。
3 遥感与深度学习交叉认识
3.1 深度学习与遥感的交叉融合创新分类
深度学习与遥感的交叉融合中，主要创新分为两种。
3.1.1算法创新
一种是算法创新，这种需要对深度学习理论有较深的理解，如创造一个新的模块、一种新的训练方法、甚至是开发一种新的网络结构、新的损失函数，这种研究一般是使用公开的数据集，这样设计的方法才方便与其他公开的模型进行对比，当然也有比较厉害的研究者实用自己的数据，进行方法创新。
3.1.2应用创新
一种是应用创新，既将一种已有的模型，或者稍微调整后应用到自己的研究领域，这种读深度学习理论的要求不是很高，占遥感与深度学习交叉应用的大头，但对数据处理的要求较高，需要构建自己的专用数据集。
2.1.3创新选择
如果大家是遥感或者地信专业的，对深度学习理论的研究往往不如计算机和人工智能专业同学对理论的研究深，搞算法创新一般搞不过他们，所以扬长避短，我们在我们地理系信息科学的领域，用深度学习进行深耕。
如果大家是计算机或者人工智能专业的，对地信和遥感领域上的理解一般不如地信和遥感专业的同学，可以先试用公开数据集做一做算法的创新。
当然计算机、人工智能、地信、遥感虽然有着一定的专业壁垒，但是现在网上也有很多公开课，哔站上也有很多视频，可以试着打通壁垒，这样可以做出更好的研究，推动深度学习与地信遥感的融合发展。
3.2 深度学习遥感地物分类
深度学习遥感地物分类：是指利用深度学习技术对遥感图像中的不同地物进行自动识别和分类的过程。这一技术结合了遥感科学与深度学习算法的优势，能够从大量的遥感数据中提取出复杂的特征信息，并基于这些信息来区分不同的地面物体或覆盖类型（如森林、耕地、城市区域、水体等）。
尽管深度学习为遥感数据分析带来了革命性的进步，但仍然存在一些挑战，比如高质量标注数据的获取成本高昂、模型解释性差等问题。此外，如何有效地将大规模计算需求与现有硬件资源相匹配也是一个重要考虑因素。
3.3 深度学习遥感地物分类基本流程
- 问题定义与数据收集：遥感地物分类属于图像分割任务，需要准备高质量（这里的质量考虑影像的分辨率，云量，影像位置在研究区内是否分布合理等）的遥感数据作为输入，同时也需要准备与影像行列数一致、空间范围一致的标签数据。
- 数据预处理：遥感数据的原始数据往往比较大，可能有几千行、几千列，几个G,甚至十几个G，由于内存与显存的限制，需要进行分块处理，分成大小一致的分块，俗称小图，更方便GPU并行计算。然后将数据按照一定的比例划分为训练集（用来训练模型）、验证集（用来调节超参数）和测试集（用来验证模型的效果）。
- 选择合适的模型架构：根据任务的分类选择合适的模型，或者自己构建合适的模型，如UNet，DeepLab，HRNet等系列的模型。
- 模型配置与训练：
- 超参数设置：包括学习率、批量大小、迭代次数等。
- 损失函数的选择：根据具体任务挑选适合的损失函数，例如交叉熵损失。
- 优化器的选择：常用的优化算法有SGD(随机梯度下降)、Adam等。
- 训练过程：将预处理后的数据输入到模型中开始训练，并通过反向传播算法调整权重以最小化损失函数值。
- 模型评估与调优：
- 使用验证集对训练好的模型进行性能评估，常用指标包括准确率、召回率、F1分数等。
- 如果效果不佳，则需要回到前面步骤尝试改变某些参数或者改进模型结构。
- 测试与部署：当模型经过充分训练并达到满意的性能后，就可以使用独立的测试集对其进行最终检验。在应用创新中，还需要将模型应用到未被裁剪的遥感影像上，未被裁剪成一块块的遥感影像俗称大图。
如果是算法创新研究，在整个过程中，最为关键的一点是模型的构建或者损失函数的创新，因为已经有许多开源的数据集供大家使用；如果是应用创新，最为关键的是数据的准备，因为标签和数据集的制作是一个非常耗时的工作。
请见xy 用户：geedownload
或者xy 搜索 深度学习遥感地物分类-以建筑分割和多地物分割为例