基于双路注意力融合神经网络的多源遥感图像分类方法

1.一种基于双路注意力融合神经网络的多源遥感图像分类方法，包括如下：
(1)输入已配准的一幅高光谱图像和一幅激光雷达LiDAR图像，构建训练样本集和测试样本集：
(1a)输入高光谱遥感图像，该图像中包含M个有标记像素点和N个无标记像素点，图像的每一个像素点为一个样本，M个有标记样本构成高光谱训练样本集H，N个无标记样本构成高光谱测试样本集He；
(1b)输入激光雷达LiDAR图像，其中，有标记像素点的个数为M，且坐标与高光谱图像中有标记像素点的坐标相同，无标记像素点的个数为N，且坐标与高光谱图像中无标记像素点的坐标相同，图像的每一个像素点为一个样本，M个有标记样本构成LiDAR训练样本集R，N个无标记样本构成LiDAR测试样本集Re；
(2)基于注意力机制方法，设计注意力特征融合层，用于对高光谱样本特征和LiDAR样本特征进行选择性的加权学习筛选和融合；
(3)构建双路互连接卷积神经网络：
(3a)采用双输入方法，设计双路互连接卷积神经网络的两个输入分别为高光谱样本和LiDAR样本；
(3b)分别设计两路针对高光谱样本集和LiDAR样本集的分支卷积神经网络，通过两路分支神经网络中的交互连接层进行特征的流通融合，其中，高光谱分支网络由三个卷积层和三个池化层组成，LiDAR分支网络由三个卷积层、三个池化层和两个交互连接层组成；
(3c)在每个分支卷积神经网络之后依次连接一个注意力融合层，两个全连接层和一个输出层，完成双路互连接卷积神经网络的构建，该双路互连接卷积神经网络的输出为每个样本的所属类别；
(4)采用自适应矩估计优化算法，通过多类别交叉熵损失函数和训练样本的真实p(H,R)，训练步骤(3)中设计的双路互连接卷积神经网络：
(4a)将高光谱训练样本集H和LiDAR训练样本集R分别输入到双路互连接卷积神经网络中，经过两路分支网络之后，得到高光谱样本特征X1和LiDAR样本特征X2，将这两种特征进行维度变换后输入至注意力融合层进行筛选和融合，得到融合特征X，
(4b)将融合特征X依次输入至全连接层和输出层，得到每个训练样本的所属的预测类别；
(4c)重复(4a)‑(4b)步骤，直到双路互连接卷积神经网络达到收敛，得到包含训练好的双路互连接卷积神经网络模型；
(5)对测试样本进行分类预测：
将高光谱测试样本集He和LiDAR测试样本集Re输入到训练好的双路卷积神经网络模型中，得到每个测试样本的所属类别。
2.根据权利要求1所述的方法，其特征在于，(2)中基于注意力机制方法，设计注意力特征融合层，其实现如下：
(2a)将高光谱训练样本经过分支网络得到的特征和激光雷达LiDAR训练样本经过分支网络得到的特征进行连接，表达式如下：
xi＝concat(x1i,x2i)
其中，x1i表示第i个高光谱训练样本经过分支卷积网络后得到的特征，x2i表示第i个LiDAR训练样本经过分支卷积网络后得到的特征，xi表示第i个高光谱训练样本特征和第i个LiDAR训练样本特征进行连接后的特征向量，i＝1,2...,M，M为训练样本总数；
(2b)初始化一个权值矩阵和一个偏置向量，将权值矩阵与连接后的特征向量相乘，再与偏置向量相加并进行正切函数计算，得到经过正切函数运算的正切向量ei：
ei＝tanh(xiw+b)，
其中，w和b分别表示注意力融合层的权值矩阵和偏置向量；
(2c)对(2b)得到的正切向量ei进行归一化指数函数计算，得到归一化向量ai：
ai＝softmax(ei)
其中，softmax表示归一化指数函数；
(2d)将(2a)中经过连接的特征xi与(2c)中得到的归一化向量ai的转置相乘，得到第i个T
样本的融合特征fi＝aixi，其中，T表示转置；
(2e)对M个训练样本分别重复(2a)‑(2d)步骤，得到所有样本的融合特征，构成完整的注意力融合层。
3.根据权利要求1所述方法，其特征在于，步骤(3b)中设计两路分别针对高光谱样本和LiDAR样本的分支卷积神经网络，其实现如下：
(3b1)设计针对高光谱样本集的分支卷积神经网络，该网络共六层，依次为第一卷积层‑第一池化层‑第二卷积层‑第二池化层‑第三卷积层‑第三池化层，其中，每个卷积层均对高光谱样本进行特征提取，每个池化层对它上一个卷积层提取到的特征进行维度变换后，得到高光谱特征S；
(3b2)设计针对LiDAR样本集的分支卷积神经网络，该网络共八层，依次为第1卷积层‑第1池化层‑第1交互连接层‑第2卷积层‑第2池化层‑第2交互连接层‑第3卷积层‑第3池化层，其中，每个卷积层均对LiDAR样本进行特征提取，每个池化层对它上一个卷积层提取的LiDAR特征进行维度变换后，得到LiDAR特征L，交互连接层将高光谱特征S和LiDAR特征L进行连接，得到LiDAR连接特征F。
4.根据权利要求1所述方法，其特征在于，步骤(4)中的多类别交叉熵损失函数，其表达式如下：
Y(p,q)＝‑∑p(H,R)log(q(H,R))，
其中，H和R分别表示高光谱训练样本和LiDAR训练样本，p(H,R)表示训练样本的真实类别，q(H,R)表示训练样本的预测类别，Y(p,q)表示训练样本的真实类别与预测类别之间的距离。

基于双路注意力融合神经网络的多源遥感图像分类方法\n技术领域\n[0001] 本发明属于图像处理技术领域，特别涉及一种遥感图像分类方法，可用于对两幅不同传感器得到的遥感图像进行融合分类。\n背景技术\n[0002] 近年来，遥感传感器数量增长十分迅速，人们可以同时获得同一场景的多源数据集，这使得集成不同传感器捕获的不同信息成为可能。比如多光谱图像MSI或高光谱图像HSI通常由同一场景的多个光谱通道组成，包含详细的光谱和空间信息，提供了准确区分感兴趣材料的能力。另一方面，激光雷达LiDAR数据可以对场景的高程和目标高度信息进行表示，有助于区分由相似材料构成却高度不同的物体。因此，这两种传感器信息的集成可以提供详细的光谱‑空间‑高程信息，从而进一步的提高分类性能。\n[0003] 遥感图像的分类通常是复杂和具有挑战性的，为了充分利用高光谱图像和LiDAR数据，目前的融合分类方法大概有以下几种。一种方法是将激光雷达数据作为一个通道堆叠到高光谱图像中，并对堆叠后的图像进行分类，这种方法由于激光雷达的鉴别特性，能够提高分类性能，然而，一个简单的原始特性的连接可能不足以分离感兴趣类别。第二种方法是首先分别对高光谱图像和LiDAR图像进行传统的特征提取，如形态学特征、小波特征、纹理特征等，然后使用支持向量机SVM，随机森林RF等传统分类器对提取出的两种图像的特征进行分类。\n[0004] 以上两种传统的分类方法在特征学习和分类中的性能有限，首先，传统特征可能会导致对空间信息的利用不足，此外，不同传感器提取的特征数量越多，虽然可以更详细的对两种图像的信息进行表征，但同时会造成严重的维数灾难。近些年来，深度学习的方法被提出以分层的方式提取特征，为基于深度特征的多源遥感图像融合提供了方向。卷积神经网络CNN模拟了人类视觉系统中的“局部视野”概念，将全连接转换为局部连接，利用局部连接处理空间依赖关系，显著减少了需要训练的参数数量，降低了计算成本，此外，卷积神经网络具有学习丰富的层次表示和自主学习的能力，可以根据不同的数据源自适应的提取出合适的特征，因此适合用来进行高光谱图像和LiDAR图像的融合分类。\n[0005] 目前的基于卷积神经网络的融合分类方法，一般是步骤是：首先，分别对高光谱数据和LiDAR数据构建两个结构相似的卷积神经网络进行深度特征提取，然后将两个网络提取的两种图像的特征进行维度变化，级联成为一组特征，最后再利用全连接层进行图像的分类。这类方法能够利用卷积神经网络的优点，对高光谱图像和LiDAR图像提取有效的特征，并将这些特征应用于分类问题，但是，这种模型在进行融合分类时，仍然存在一定的不足之处：首先高光谱图像网络和LiDAR数据网络相互分离，不能很好的进行特征信息的流通和融合；其次，卷积神经网络提取的两种图像的特征仅仅是进行简单的特征级联之后输入到全连接层进行分类，并没有进行特征的筛选和融合，这会导致特征的维度过高以及特征冗余现象的产生。\n发明内容\n[0006] 本发明的目的在于针对上述现有技术的不足，提出一种基于双路注意力融合神经网络的多源遥感图像融合分类方法，以减少特征信息的冗余程度，加强数据之间流通性，提高多源遥感图像的分类精度。\n[0007] 本发明的技术思路是：通过建立一个双路的交互连接卷积神经网络，分别对高光谱数据和LiDAR数据进行特征提取；通过设计一个基于注意力机制的融合层，对经过卷积神经网络后的高光谱数据和LiDAR数据的特征进行学习筛选和融合，并将得到的融合特征连接至全连接层进行分类输出，其实现方案包括如下：\n[0008] (1)输入已配准的一幅高光谱图像和一幅激光雷达LiDAR图像，构建训练样本集和测试样本集：\n[0009] (1a)输入高光谱遥感图像，该图像中包含M个有标记像素点和N个无标记像素点，图像的每一个像素点为一个样本，M个有标记样本构成高光谱训练样本集H，N个无标记样本构成高光谱测试样本集He；\n[0010] (1b)输入激光雷达LiDAR图像，其中，有标记像素点的个数为M，且坐标与高光谱图像中有标记像素点的坐标相同，无标记像素点的个数为N，且坐标与高光谱图像中无标记像素点的坐标相同，图像的每一个像素点为一个样本，M个有标记样本构成LiDAR训练样本集R，N个无标记样本构成LiDAR测试样本集Re。\n[0011] (2)基于注意力机制方法，设计注意力特征融合层，用于对高光谱样本特征和LiDAR样本特征进行选择性的加权学习筛选和融合；\n[0012] (3)构建双路互连接卷积神经网络：\n[0013] (3a)采用双输入方法，设计双路互连接卷积神经网络的两个输入分别为大小为W×W×D的高光谱样本和大小为W×W的LiDAR样本；\n[0014] (3b)分别设计两路针对高光谱样本集和LiDAR样本集的分支卷积神经网络，通过两路分支神经网络中的交互连接层进行特征的流通融合，其中，高光谱分支网络由三个卷积层和三个池化层组成，LiDAR分支网络由三个卷积层、三个池化层和两个交互连接层组成；\n[0015] (3c)在每个分支卷积神经网络之后依次连接一个注意力融合层，两个全连接层和一个输出层，完成双路互连接卷积神经网络的构建，该双路互连接卷积神经网络的输出为每个样本的所属类别；\n[0016] (4)采用自适应矩估计优化算法，通过多类别交叉熵损失函数和训练样本的真实类别p(H,R)，训练步骤(3)中设计的双路互连接卷积神经网络：\n[0017] (4a)将高光谱训练样本集H和LiDAR训练样本集R分别输入到双路互连接卷积神经网络中，经过两路分支网络之后，得到高光谱样本特征X1和LiDAR样本特征X2，将这两种特征进行维度变换后输入至注意力融合层进行筛选和融合，得到融合特征X，\n[0018] (4b)将融合特征X依次输入至全连接层和输出层，得到每个训练样本的所属的预测类别；\n[0019] (4c)重复(4a)‑(4b)步骤，直到双路互连接卷积神经网络达到收敛，得到包含训练好的双路互连接卷积神经网络模型；\n[0020] (5)对测试样本进行分类预测：\n[0021] 将高光谱测试样本集He和LiDAR测试样本集Re输入到训练好的双路卷积神经网络模型中，得到每个测试样本的所属类别。\n[0022] 本发明与现有技术相比，具有以下优点：\n[0023] 第一，本发明在进行高光谱数据和LiDAR数据特征提取时，设计了含有交互连接的双路分支卷积神经网络，将高光谱数据的特征流通至LiDAR数据的特征中，这使得LiDAR特征中不单纯的只包含场景的高程信息，信息更加丰富，改善了现有方法中两种遥感数据相互分离的问题，使得多源遥感图像的融合分类结果更加精确。\n[0024] 第二，本发明在对高光谱分支神经网络网络和LiDAR分支神经网络提取的特征进行融合时，设计了基于注意力机制的特征融合层，利用注意力方法对两种图像的特征进行加权筛选和融合，融合层的权重由交互连接卷积神经网络通过训练得到，有效的对两种图像的特征进行了筛选，过滤掉不重要的特征，赋予重要的特征较大的权重比例，降低了特征的冗余性和维度，提高了遥感图像融合分类的精度。\n附图说明\n[0025] 图1为本发明的实现总流程图；\n[0026] 图2为本发明仿真所使用的遥感场景图像以及真实标签；\n[0027] 图3为用本发明对图2中图像进行分类的仿真结果图和结果放大图；\n[0028] 图4对用现有技术对图2中图像进行分类的仿真结果图和结果放大图。\n具体实施方式\n[0029] 以下结合附图对本发明的具体实例和效果作进一步详细说明。\n[0030] 参照图1，本实例的实现步骤如下：\n[0031] 步骤1，输入已配准的一幅高光谱图像和一幅激光雷达LiDAR图像，构建训练样本集和测试样本集。\n[0032] 1a)输入高光谱遥感图像，该图像中包含M个有标记像素点和N个无标记像素点，图像的每一个像素点为一个样本，M个有标记样本构成高光谱训练样本集H，N个无标记样本构成高光谱测试样本集He，在本实例中，有标记样本个数M为66485，无标记样本个数N为\n598360；\n[0033] 1b)输入激光雷达LiDAR图像，其中，有标记像素点的个数为M，且坐标与高光谱图像中有标记像素点的坐标相同，无标记像素点的个数为N，且坐标与高光谱图像中无标记像素点的坐标相同，图像的每一个像素点为一个样本，M个有标记样本构成LiDAR训练样本集R，N个无标记样本构成LiDAR测试样本集Re，在本实例中，有标记样本个数M为66485，无标记样本个数N为598360；\n[0034] 步骤2，构建双路互连接卷积神经网络。\n[0035] 2a)采用双输入方法，设计双路互连接卷积神经网络的两个输入分别为大小为W×W×D的高光谱样本和大小为W×W的LiDAR样本，在本实例中，双路互连接卷积神经网络的两种输入样本大小分别为41×41×3和41×41；\n[0036] 2b)分别设计两路针对高光谱样本集和LiDAR样本集的分支卷积神经网络：\n[0037] 2b1)设计针对高光谱样本集的分支卷积神经网络，该网络共六层，依次为第一卷积层‑第一池化层‑第二卷积层‑第二池化层‑第三卷积层‑第三池化层，其中，每个卷积层均对高光谱样本进行特征提取，每个池化层对上一个卷积层提取到的特征进行维度变换后，得到高光谱特征S；\n[0038] 2b2)设计针对LiDAR样本集的分支卷积神经网络，该网络共八层，依次为第1卷积层‑第1池化层‑第1交互连接层‑第2卷积层‑第2池化层‑第2交互连接层‑第3卷积层‑第3池化层，其中，每个卷积层均对LiDAR样本进行特征提取，每个池化层对上一个卷积层提取的LiDAR特征进行维度变换后，得到LiDAR特征L，交互连接层将高光谱特征S和LiDAR特征L进行连接，得到LiDAR连接特征F；\n[0039] 通过上述两路分支神经网络中的交互连接层进行特征的流通融合。\n[0040] 2c)基于注意力机制方法，设计注意力特征融合层：\n[0041] 2c1)将高光谱训练样本经过分支网络得到的特征和LiDAR训练样本经过分支网络得到的特征进行连接，表达式如下：\n[0042] xi＝concat(x1i,x2i)\n[0043] 其中，i＝1,2...,M，M为训练样本总数，x1i表示第i个高光谱训练样本经过分支卷积网络后得到的特征，x2i表示第i个LiDAR训练样本经过分支卷积网络后得到的特征，xi表示第i个高光谱训练样本特征和第i个LiDAR训练样本特征进行连接后的特征向量；\n[0044] 2c2)初始化一个权值矩阵和一个偏置向量，将权值矩阵与连接后的特征向量xi相乘，再与偏置向量相加并进行正切函数计算，得到经过正切函数运算的正切向量ei：\n[0045] ei＝tanh(xiw+b)，\n[0046] 其中，w和b分别表示注意力融合层的权值矩阵和偏置向量；\n[0047] 2c3)对正切向量ei进行归一化指数函数计算，得到归一化向量ai：\n[0048] ai＝softmax(ei)\n[0049] 其中，softmax表示归一化指数函数；\n[0050] 2c4)将经过连接的特征向量xi与归一化向量ai的转置相乘，得到第i个样本的融合T\n特征fi＝aixi，其中，T表示转置；\n[0051] 2c5)对M个训练样本分别重复步骤2c1‑2c4，得到所有样本的融合特征，构成完整的注意力融合层；\n[0052] 2d)在注意力融合层后依次连接两个全连接层和一个输出层，完成双路互连接卷积神经网络的构建，该双路互连接卷积神经网络的输出为每个样本的所属类别，在本实例中，样本所属的类别总数为15。\n[0053] 步骤3，采用自适应矩估计优化算法，通过多类别交叉熵损失函数和训练样本的真实类别p(H,R)，训练双路互连接卷积神经网络。\n[0054] 3a)将高光谱训练样本集H和LiDAR训练样本集R分别输入到双路互连接卷积神经网络中，经过两路分支网络之后，得到高光谱样本特征X1和LiDAR样本特征X2，将这两种特征进行维度变换后输入至注意力融合层进行筛选和融合，得到融合特征X；\n[0055] 3b)将融合特征X依次输入至全连接层和输出层，得到每个训练样本的预测类别q(H,R)，采用多类别交叉熵损失函数Y(p,q)＝‑∑p(H,R)log(q(H,R))对训练样本的真实类别p(H,R)和预测类别q(H,R)进行计算，得到预测类别和真实类别之间的距离Y(p,q)，通过该距离对互连接卷积神经网络进行反向传播；\n[0056] 3c)重复步骤3a)‑步骤3b)，直到双路互连接卷积神经网络达到收敛，得到训练好的的双路互连接卷积神经网络模型，在本实例中，将步骤3a)‑步骤3b)重复200次。\n[0057] 步骤4，对测试样本进行分类预测。\n[0058] 将高光谱测试样本集和LiDAR测试样本集输入到训练好的双路卷积神经网络模型中，得到每个测试样本的所属类别。\n[0059] 以下结合仿真实验，对本发明的技术效果作进一步说明：\n[0060] 1.仿真条件\n[0061] 在本仿真实验中，所使用的数据为休斯顿大学校园及其周边城市的高光谱遥感数据和LiDAR数据，如图2所示，其中，图2(a)是仿真使用的遥感图像，图2(b)是该遥感图像的真实类别，该数据大小为349×1905，高光谱数据包括144个光谱段，共有15种不同的地物类别；\n[0062] 仿真平台为：主频为3.20GHz的Intel Core i5‑6500 CPU，8GB的内存，windows10操作系统，Keras与TensorFlow深度学习平台，Python语言。\n[0063] 2.仿真内容与结果分析\n[0064] 仿真1，利用本发明对遥感图像进行仿真，结果如图3所示，其中图3(a)是用本发明对遥感图像的仿真结果图，图3(b)‑图3(d))是对图3(a)的放大细节图；\n[0065] 仿真2，利用现有技术对遥感图像进行仿真，结果如图4所示，其中图4(a)是用现有技术对遥感图像的仿真结果图，图4(b)‑图4(d)是图4(a)的放大细节图；\n[0066] 从图2(b)和图3(a)的对比可以看出，本发明的仿真结果图与真实标签已基本达成一致。\n[0067] 从图3和图4的对比可以看出，本发明在分类细节方面更加精确，而现有技术存在错分的样本，本发明相较于现有方法，仿真结果的平均分类精度由92％提升到98.5％；\n[0068] 上述仿真结果表明，本发明利用交互连接的双路卷积神经网络和基于注意力机制的特征融合策略，将高光谱图像和LiDAR图像的信息进行流通，对其特征进行学习筛选和融合，最终用于遥感地物分类，融合分类结果更加的精确完整，平均分类精度更高。