人类依靠双眼获取外界场景信息，然后通过视觉系统和神经系统处理为下一步决策提供依据，人类获取的信息总量中有高达80％依靠视觉系统。计算机相关领域的快速发展使人们开始依靠计算机强大的计算力对人类视觉系统进行模拟进而感知世界，计算机视觉由此而生。计算机视觉作为一门交叉学科，综合了数学、计算机、生物学和心理学等学科，其主要任务是通过摄像机等成像设备采集图像并将其转化为数字信号，通过计算机对图像进行感知、理解和识别。随着计算机视觉的不断发展，其在科学研究领域的大量成果己经成功应用于工程领域，影响着每个人生活的方方面面。 立体匹配是计算机视觉的一个重要分支，它可以从两幅不同视角的平面图像中恢复深度信息，其研究的目的是通过模拟人类双眼观察物体形成视觉的过程，使计算机具有在二维图像中感知真实世界三维信息的能力。立体匹配系统实现简单、成本低廉，可实现非接触测距，仅需要将两台数字摄像机在同一水平线上安装并经过立体矫正就可投入使用。立体匹配技术具有十分广泛的应用，在三维重建方面视差图是基础，通过视差得到距离，依靠图像中的像素位置关系进行空间重建。在自动驾驶中通过双目相机依靠立体匹配技术完成测距任务，相比激光雷达的测距方案可以大大降低成本。在手机拍照特效中可以利用视差完成场景虚化，景深等特效。 近年来随着深度学习理论的不断发展和计算机计算能力的显著提高，深度学习在计算机视觉领域如目标检测、语义分割和图像分类等任务上取得了重大突破，准确率上远远超过了人工设计特征的传统算法，图像分类任务上的准确率甚至超过了人类，证明了深度卷积神经网络具有非常好的学习和特征抽象能力，同时其在提取和处理图像特征时的高鲁棒性能够有效克服图像场景中旋转、尺度不一致等因素带来的不利影响。在立体匹配领域，基于深度学习的立体匹配算法也展示了其强大的能力，在各大数据集上的准确度和泛化能力完全超过了传统的立体匹配算法。尽管如此，基于深度学习的立体匹配算法在面对一些复杂情况如纹理缺失、遮挡和重复模式等区域仍然存在匹配精度低的问题，而这些复杂区域在现实生活中又随处可见无法避免，这给立体匹配系统的部署带来了很大的困难。因此，如何提高立体匹配算法在这些复杂区域的匹配精度和泛化能力是当前立体匹配领域的。 本项目创新点如下： （1）提出了一种基于多尺度注意力网络的立体匹配方法，该方法首先提出一种用以计算匹配成本的深度网络即成本网络，再利用十字成本累积法，半全局方法计算初始视差图，然后通过视差求精网络计算视差残差图，最后预测视差图等于初始视差图加上残差视差图。该方法的主要贡献在于：提出一种成本网络模型用于计算匹配成本；提出一种基于多尺度注意力机制的视差求精网络用以优化预测视差图。研究热点和重点。 （2）针对目前深度学习立体匹配方法无法在弱纹理区域获得较高的立体匹配精度，并分析了在弱纹理区域产生较多错误匹配的原因，提出了一种基于DenseASPP的立体匹配方法，该方法将立体匹配过程分为特征抽取阶段、成本空间正则化阶段和视差回归阶段。特征抽取模块将深度残差网络和DenseASPP模块相结合扩大感受野以融合更多的背景信息提高特征提取模块的特征表达能力，使其在弱纹理区域具有较强的区分能力，进而达到提高立体匹配精度的目的。成本空间正则化阶段使用了有3维卷积构成的沙漏网络对成本空间进行正则化处理增强匹配成本的鲁棒性，在视差回归阶段使用匹配成本生成亚像素级预测视差图。 （3）深度学习的关键点是提高深度模型的特征表达能力，特征表达能力强弱直接影响模型精度，在立体匹配和图像分类领域尤其显著。为提高特征表达能力，增强深度网络分类能力，降低参数冗余，提高训练效率，提出了一种基于注意力机制的DenseNet 模型。该深度模型能够通过注意力机制增加网络的特征表达能力，提高网络整体性能。所提方法在复杂树种叶片公开数据集 Leafsnap和公共数据集 SVHN 上分别取得了 91.25% 和 98.27% 的分类精确率。实验结果表明，基于注意力机制的 DenseNet 模型具有较好的特征表达能力，为在立体匹配领域应用注意力机制奠定了基础。 （4）提出一种基于空间感知网络的立体匹配方法，该方法将网络分为三部分：基本层、尺度层和决策层。这种划分有利于在空间感知网络中整合残差网络和稠密网络。提出一种垂直划分方法计算匹配成本以解决GPU内存限制问题。同时，提出一种混合损失函数来加强网络性能。在所提方法中，利用空间感知网络计算匹配成本，然后利用基于十字的成本累积方法和半全局匹配方法累积匹配成本，再使用胜者全取方法计算视差图。最后利用亚像素插值、中值滤波和双边滤波优化视差图。 本项目研究了深度学习技术在立体匹配领域的应用，提出了基于空间感知网络的立体匹配方法、基于多尺度注意力网络的立体匹配方法及基于DenseASPP的立体匹配方法，这些基于深度学习的立体匹配方法都获得了较好的立体匹配效果。

东北林业大学

该项目为储备库项目资源，暂无效益分析内容。