基于LSTM与孪生网络的序列图像视觉定位技术

军事领域离不开导航技术,而定位是导航的基础。尽管目前以卷积神经网络为代表的机器学习技术,已经在有关单张图像的六自由度位姿回归方面取得显著进展,其精度达到甚至超过基于手工特征提取的传统方式。然而,单张图像的位姿回归问题只参考了场景的结构化信息,缺乏序列图像间的时序关系,导致其位姿回归的损失函数不包含时空约束,最终限制了算法定位精度。针对单张图像六自由度位姿回归缺乏时空约束的问题,依靠长短期记忆网络(LSTM)对时序关系的捕捉优势,提出一类基于LSTM与孪生网络的视觉定位技术,其综合孪生网络与LSTM各自优势,将图像间运动视差信息与位姿时序信息同时作用于位姿预测,构建从序列图像到图像各自对应六自由度位姿信息的端对端深度神经网络,并通过开源数据库和仿真数据验证了算法的准确性和精度,为军事领域的视觉定位和协同跟踪奠定了基础。     

固连双相机多视图重建测量方法设计

大范围场景光学非接触式测量在工程中具有广泛的应用需求,常规基于单相机的多视图重建测量方法需要在场景中加入尺度基准,图像采集过程复杂、对图像重合度要求高。为此提出一种利用固连双目相机进行多视图重建的方法,既继承多视图重建中测量范围大的优势,同时又无须尺度基准,图像采集过程更简单易实现,数据优化过程中还额外增加了双相机固连约束条件。具体实现过程中,首先标定获取安装在固定杆上的两相机的内参数及固连关系,然后使用双相机对待测量区域采集图像并双目交会获取每一时刻的空间点云。计算相邻时刻点云所在坐标系的转换关系,通过传递将所有时刻图像对应相机位姿以及交会点云统一在指定坐标系下,由光束法平差优化相机位姿及点云坐标,由重建点云坐标即可计算待测尺寸参数及形变信息。经实验验证,在5 m范围内,其测量误差最大3 mm,均值1 mm。该方法可以满足大尺寸物体、大范围场景的测量需求且稳定可靠。     

使用等效偏移角稀疏测量的面阵相机序贯图像几何校正

天基光学相机实际在轨对地观测成像的畸变需通过几何校正抑制。目前主流面阵相机对地观测获得的小尺寸、高帧频序贯图像很难满足传统几何校正方法逐帧解算对单帧图像控制点数量与空域分布的要求且计算量巨大。针对这一问题,提出一种使用等效偏移角稀疏测量的面阵相机序贯观测图像几何校正方法,将逐帧校正参数解算问题转化为时域稀疏测量条件下等效偏移角信号恢复问题,利用等效偏移角信号时频信息可有效降低对单帧图像控制点数量和空域分布要求。通过高分四号卫星面阵相机在轨实测图像数据验证了所提方法的可行性且其能大大降低序贯图像几何校正处理的计算量。     

基于点云配准的室内移动机器人6自由度位姿估计

针对移动机器人在室内环境下难以获取GPS定位信息,仅靠自身惯导不能得到精确位姿的问题,提出了一种基于RGB-D传感器获取三维环境点云,对连续点云提取特征并进行配准的移动机器人6自由度位姿估计方法.首先通过RGB-D传感器获取环境深度图像,根据特征提取算法提取点云特征;然后以特征点为配准点,运用随机一致性采样(RANdom SAmple Consensus,RANSAC)算法对点云进行初配准,剔除部分错误匹配点,获得初始变换矩阵;最后采用改进的迭代最近点(Iterative Closet Point,ICP)算法进行精配准,获得点云间的最终变换矩阵,实现位姿估计.实验结果表明:该方法有效地提高了大规模点云配准效率,得到了较精确的位姿估计信息.     

一种基于不变特征的视频拼接方法

视频拼接是空中监视的一个关键部分,它有助于人们从全局的角度理解监控场景.视频拼接包括图像的配准和融合两部分.提出了一种基于不变特征的视频拼接方法,它通过相邻两帧的拼接来实现全景图的拼接.该算法配准部分首先采用梯度方向直方图确定相邻两帧的旋转角度;其次检测两幅图像的角点,特征描述采用SIFT,并结合旋转角度对特征点进行粗匹配;然后对粗匹配的结果采用RANSAc算法剔除错误匹配点.融合部分采用灰度加权的方法.实验结果表明,该算法能够有效地进行视频拼接,甚至存在运动目标的干扰下也能够完成拼接,具有鲁棒性好和速度较快的特点.     

一种基于正交迭代的无人直升机着舰相对位姿估计方法

针对基于视觉的舰载无人直升机自主着舰过程中的相对位姿估计问题,选取着舰标志图像的角点特征进行求解,提出了一种基于正交迭代的位姿估计算法。该算法为满足位姿估计结果精确、鲁棒和高效的要求,采用目标空间误差作为误差函数,并基于透视投影模型给出迭代初值,相对于随机给定初始值而言,使得迭代次数减少,收敛速度提升;在迭代过程中,通过绝对定向方式来求解空间共线性误差最优值问题。仿真结果表明:该方法实时性好、精度较高,具有全局收敛性。     

面向无人战车的视觉定位系统

随着军事装备无人化、智能化水平的不断提高,基于视觉的无人战车将被广泛应用于现代军事战争的诸多领域.设计了一种面向无人战车的单目视觉定位系统,该系统基于相机模型建立了目标物体与无人战车火力打击系统坐标系之间的三维空间变换关系,实现了对空间目标物体的位姿测量.实验结果表明,该方法可以基于低质量的图像信息实现对目标的位姿测量,为无人战车进行火力打击提供引导依据.     

光电侦察动态视频图像拼接中的图像配准算法

侦察视频图像在现代战争中具有重要意义,利用图像处理技术对序列侦察视频图像进行拼接生成的全场景图能提供更加全面的战场信息。在视频图像拼接过程中,图像配准是核心和关键,图像配准的好坏直接影响图像拼接的效果。在研究当前典型图像配准算法的基础上,对SAD块匹配法进行了改进,使之成为适用于光电侦察系统的有效的图像配准算法。     

机器视觉的火箭连接器自动对接检测技术研究

针对运载火箭加注时连接器与加注活门自动对接随动过程进行研究,提出了基于动态方位检测对准技术的偏差测量系统。本方案首先测得连接器与加注活门的位置偏差值,将其定义为系统初值,采用光学摄像机获取合作靶标的图像,通过识别图像中靶标图像的方向及标志物的大小,快速提取靶标在相机平面的二维位姿,同时辅以激光测距传感器精确获取靶标与相机的距离信息。通过本测量方案即可实时获得当前时刻连接器与加注活门的偏差值。将其应用到自动对接系统中,结果表明,本方法满足火箭自动对接位移精度1 mm的技术要求。     

基于多约束条件的车载序列图像拼接方法

提出了一种适用于环境测量的车载序列图像拼接方法:首先,对消除畸变后的序列图像相邻帧提取特征点,并采用一种基于多约束条件的匹配算法得到3个正确匹配点对;然后,运用最小二乘法求解图像刚体变换模型参数;最后,通过一种全局配准策略实现序列图像的拼接.试验结果表明:基于多约束条件的配准算法与基于随机抽样一致性(RANdom SAmple Consensus,RANSAC)的配准算法相比,计算效率明显提高,且所得序列图像拼接图具有较高的环境测量精度.     

Bidirectional parallel multi-branch convolution feature pyramid network for target detection in aerial images of swarm UAVs

In this paper, based on a bidirectional parallel multi-branch feature pyramid network (BPMFPN), a novel one-stage object detector called BPMFPN Det is proposed for real-time detection of ground multi-scale targets by swarm unmanned aerial vehicles (UAVs). First, the bidirectional parallel multi-branch convolution modules are used to construct the feature pyramid to enhance the feature expression abilities of different scale feature layers. Next, the feature pyramid is integrated into the single-stage object detection framework to ensure real-time performance. In order to validate the effectiveness of the proposed algorithm, experiments are conducted on four datasets. For the PASCAL VOC dataset, the proposed algorithm achieves the mean average precision (mAP) of 85.4 on the VOC 2007 test set. With regard to the detection in optical remote sensing (DIOR) dataset, the proposed algorithm achieves 73.9 mAP. For vehicle detection in aerial imagery (VEDAI) dataset, the detection accuracy of small land vehicle (slv) targets reaches 97.4 mAP. For unmanned aerial vehicle detection and tracking (UAVDT) dataset, the proposed BPMFPN Det achieves the mAP of 48.75. Compared with the previous state-of-the-art methods, the results obtained by the proposed algorithm are more competitive. The experimental results demonstrate that the proposed algorithm can effectively solve the problem of real-time detection of ground multi-scale targets in aerial images of swarm UAVs.     

基于区域分割的光学显微结核杆菌图像分割算法*

为了提高结核杆菌目标的分割精度,本文提出了一种基于区域级的光学显微结核杆菌图像分割算法。首先,通过顶帽-底帽变换增强彩色图像对比度,然后融合图像局部特征和全局信息计算图像梯度,在此基础上利用分水岭算法实现对图像的初始分割;对分割区域采用相邻区域最大相似度准则进行合并,从而得到完整的目标区域;最后根据结核杆菌图像的特点,通过分析结核杆菌目标区域的颜色特性,采用多阈值分割的方法滤除区域中的杂质,实现对结核杆菌目标的分割。实验结果表明,本算法可以分割出目标对比度低以及饱和度过低的结核杆菌目标,并且对不同染色背景的图像均能取得较好的分割结果。     

面向监督学习的稀疏平滑岭回归方法

岭回归是监督学习中的一个重要方法,被广泛用于多目标分类和识别。岭回归中一个重要的步骤是定义一个特殊的多变量标签矩阵,以实现对多类别样本的编码。通过将岭回归看作是一种基于图的监督学习方法,拓展了标签矩阵的构造方法。在岭回归的基础之上,进一步考虑投影中维度的平滑性和投影矩阵的稀疏性,提出稀疏平滑岭回归方法。对比一系列经典的监督线性分类算法,发现稀疏平滑岭回归在多个数据集上有着更好的表现。另外,实验表明新的标签矩阵构造方法不会降低原始岭回归方法的表现,同时还可以进一步提升稀疏平滑岭回归方法的性能。     

基于地基多传感器融合的无人机自主着陆引导方法

针对无人机自主着陆过程中卫星导航系统易被干扰的问题，提出了一种基于地基多传感器融合的无人机自主着陆引导方法。首先采用主动式激光照射的方式，获取机载反射棱镜的近红外成像，在红外图像中对无人机目标进行识别；然后通过坐标转换将识别结果映射到可见光图像中，在可见光图像中选择的感兴趣区域进行可见光目标识别，从而在降低计算量的基础上获得更加精确的无人机相对角度信息；最后利用距离测量信息和引导系统角度信息可以获得精确的无人机相对位置。无人机着陆引导试验结果表明，该方法能够提供精确的无人机位置信息，能有效适应于复杂背景下的无人机自主着陆引导。     

基于小波域字典学习方法的图像双重稀疏表示

提出了一种有效地结构化字典生成算法以及图像双重稀疏表示方法.在Rubinstein等提出的图像双重稀疏表示模型的基础上,引入小波零树结构,将同一空间位置对应的同方向跨尺度小波基函数的线性组合作为新的基函数,并通过K-SVD学习算法得到线性组合系数,由此得到了一种更加切合图像方向特征的结构化字典学习算法.在此基础上提出了相应的图像分解与重构算法.遥感图像M项逼近实验以及压缩仿真实验表明,本文提出的结构化字典比已有的字典具有更好的图像稀疏表示效果.     

基于对偶四元数的单目视觉/惯性组合导航算法

提出一种适用于结构化道路的单目视觉/惯性组合导航定位算法.针对点特征匹配和连续多帧追踪受车速和相机视野制约的不足,提取道路上车道线的直线特征,引入对偶四元数描述直线特征.在基于对偶四元数的相对位姿估计算法的基础上,推导了图像特征增量与相机位姿增量的表达式.通过配准和时间同步,用惯导系统和相机分别解算的载体速度之差作为组合导航的观测量,建立kalman滤波修正组合导航系统的误差,包括相机测速标度因数误差.车载实验结果表明在结构化道路上算法是有效的.     

应用局部约束二维稀疏表示识别SAR图像目标

在分析典型稀疏表示分类方法和局限性的基础上,提出了一种基于局部约束的二维稀疏表示方法,以有效解决SAR图像目标识别问题。该方法对SAR图像进行图像预处理,在兼顾图像相邻列(行)对应稀疏表示系数邻近性和样本间局部性的基础上,构建了局部约束目标函数,并通过解闭式解,实现稀疏表示系数的更新求解。利用美国实测MSTAR数据对算法进行了仿真验证,实验结果表明所提出的方法可实现SAR图像目标的有效识别,并对训练样本数目具有一定的鲁棒性。     

面向Bayer真彩色航空影像特征匹配的彩色描述符适用性分析

针对Bayer真彩色遥感影像进行特征匹配时,彩色描述符的效果与适用性问题一直研究较少。结合Bayer真彩色遥感影像成像变化规律和彩色描述符算法特点,从理论上分析彩色描述符的不变性。提出模拟数据评价、不同类别影像评价、任务总体适用性评价等三种实验方法对彩色描述符适用性进行实验验证和分析。通过理论分析和实验评估,总体上彩色描述符中RGBSIFT算法效果最优,对Bayer真彩色航空影像特征匹配有较好的适用性,并且不同地物属性影像在特征匹配时有不同的最优彩色描述符。     

Modeling of unsupervised knowledge graph of events based on mutual information among neighbor domains and sparse representation

Text event mining, as an indispensable method of text mining processing, has attracted the extensive attention of researchers. A modeling method for knowledge graph of events based on mutual information among neighbor domains and sparse representation is proposed in this paper, i.e. UKGE-MS. Specifically, UKGE-MS can improve the existing text mining technology's ability of understanding and discovering high-dimensional unmarked information, and solves the problems of traditional unsupervised feature selection methods, which only focus on selecting features from a global perspective and ignoring the impact of local connection of samples. Firstly, considering the influence of local information of samples in feature correlation evaluation, a feature clustering algorithm based on average neighborhood mutual information is proposed, and the feature clusters with certain event correlation are obtained; Secondly, an unsupervised feature selection method based on the high-order correlation of multi-dimensional statistical data is designed by combining the dimension reduction advantage of local linear embedding algorithm and the feature selection ability of sparse representation, so as to enhance the generalization ability of the selected feature items. Finally, the events knowledge graph is constructed by means of sparse representation and l₁ norm. Extensive experiments are carried out on five real datasets and synthetic datasets, and the UKGE-MS are compared with five corresponding algorithms. The experimental results show that UKGE-MS is better than the traditional method in event clustering and feature selection, and has some advantages over other methods in text event recognition and discovery.