利用多时间尺度卷积的视频行为识别网络

基于2D的行为识别网络通常融合多张视频帧的分类结果识别不同的行为,但其在卷积过程中缺少对时空特征提取。针对该问题,基于时间位移模块(temporal shift module,TSM)的思想设计了一组多时间尺度卷积,包含不同设计的卷积核以提取融合不同时间尺度的时空信息。通过控制多时间尺度卷积嵌入ResNet50网络的位置及其模块的参数设置,寻找最优的基于多时间尺度卷积的行为识别网络。使用PyTorch深度学习框架训练模型,在大型开源数据集Something-Somethingv2上进行了实验研究。结果表明,基于多时间尺度卷积的行为识别网络对行为识别准确率达到了59.47%,优于TSM等网络。     

基于卷积神经网络的无人机图像模糊类型识别

为了提高无人机图像模糊类型识别的准确率,提出一种基于卷积神经网络(Convolutional Neural Network,CNN)的无人机图像模糊类型识别方法。通过样本预处理策略对无人机模糊图像样本进行处理,提高了方法的识别效率,同时降低了错误率。提出一种适用于模糊图像灰度频谱图的卷积神经网络结构,并利用训练样本对网络进行训练,增强了网络结构的针对性,提高了训练模型的识别准确率。利用测试样本对训练的网络模型进行测试,验证方法的鲁棒性。实验结果表明,将卷积神经网络应用于图像模糊类型识别,取得了良好的效果,针对实验环境下的无人机运动、离焦和大气散射3种模糊图像类型的识别准确率较高,所提方法的鲁棒性强、实用价值大。     

联合生成对抗网络和检测网络的SAR图像目标检测

针对合成孔径雷达图像目标检测中存在的样本获取困难且数量有限问题,提出了联合生成对抗网络和检测网络的学习模型。利用原始训练集对特别设计的超快区域卷积神经网络进行预训练;再通过基于注意力机制的深度学习生成对抗网络生成高质量合成样本,并输入检测网络进行预测;依据预测信息和概率等价类属标签分配策略为新生样本提供注释信息,并以一定占比对原始训练集进行扩充;利用扩充数据集对检测网络进行再训练。多组仿真实验证明,所提框架能够有效提升网络检测效率和性能。     

基于单应轨迹的视频实时稳像算法

针对视频稳像中实时任务的需求特点,提出一种基于单应轨迹的视频稳像算法。估计序列图像帧间的单应变换,并将该变换作用于图像窗口的4个角点,从而对每帧图像产生4个短的单应轨迹以代表视频短时间内的运动。利用关联卡尔曼滤波器以一种连续方式对不同帧的单应轨迹进行平滑。对图像合成采用包括性和相似约束以提高结果视频的可观性质量。该算法以在线方式工作,消除了缓存输入图像帧导致的延迟,具备不依赖于复杂的3D重建和长距离特征跟踪的优点,并有效避免了单应模型表达视频运动模型的误差积累问题。实验表明该算法能够有效对包含2D和较复杂3D场景的视频进行稳像,并且能够达到实时处理速度。     

基于CNN的视频火焰识别及模型剪枝

针对目前火焰识别仅用单帧图像判断是否起火准确率低的缺点,引入视频识别的方法,通过提取火焰的运动信息提升卷积神经网络(CNN)识别微小火焰的准确率。首先,在CNN Resnet18的最后一层添加3D卷积层,突出火焰的运动特性,抑制其他形式的运动;然后,对该模型进行剪枝处理,压缩网络参数。实验结果表明:在剪去90%卷积核的情况下,该模型准确率仍然保持在86.4%的较高水平,最小可以识别大小为20×30像素的火焰。     

基于迁移学习和特征融合的航空器图像分类算法

航空器目标的分类是空战中作战方案制定的重要环节,目前在航空器图像分类方面的研究很少,数据库也少之甚少。在自然图像分类领域存在的特征表达方法主要是对图像的颜色、纹理、梯度等特征进行编码,但这些浅层特征不能体现出图像的深层语义信息,而卷积神经网络(CNN)有着强大的特征表达能力,但小规模数据库直接训练网络会造成模型过拟合。针对这些问题,组建一个具有8 000张图片、10类的航空器图像数库并提出了一种基于迁移学习和特征融合的航空器图像分类算法,算法用卷积神经网络来提取图像的特征,提出用迁移学习的思想来训练网络,从而减轻了模型过拟合,在此基础上提出特征融合算法,融合深度特征和浅层特征,弥补了单一特征对图像信息表达的不足。在实验中,用航空器图像数据库来验证算法的有效性,结果表明,算法能够有效地进行航空器图像的分类。     

基于提升框架检测的空中强机动视频目标跟踪

空中强机动性目标在视频中表现出运动形变剧烈、运动规律难预测且背景特征不明显不稳定等特点,传统的检测跟踪算法不能有效地对其实施检测跟踪.为解决上述问题,提出一种不依赖于帧间运动特性的基于提升框架检测的空中强机动视频目标跟踪算法.首先,利用提升框架实现图像的小波变换,得到目标的高频分量信息.然后,对高频分量进行融合,并提出了目标特征增强的方法,完成单帧图像的目标检测.最后,实现视频序列的实时跟踪.实验结果表明,该算法能够实时、准确地对空中背景下的强机动性目标进行检测跟踪,有效地解决了目标运动形变剧烈、某些帧中存在遮挡而造成后续帧失跟等跟踪困难.     

基于深度卷积神经网络的蛇形机动航迹图像识别

为提高防空武器系统对空袭目标的拦截防御能力,针对现有蛇形机动识别算法鲁棒性较差的问题,提出了将航迹坐标数据转化为图像,利用深度神经卷积神经网络进行航迹模式分类的方法。针对航迹数据直接转化为图像时存在机动幅度不明显或过大的问题,提出了有效解决方案。基于CAFFE平台进行了大量仿真实验,确定了适宜于航迹模式分类的深度卷积网络结构和网络参数。实验结果表明,该方法能有效提高蛇形机动航迹识别的鲁棒性。     

基于卷积神经网络的无人机侦察图像去雨算法

提出了一种改进的无人机侦察图像去雨算法,该算法采用双边滤波和引导滤波相结合的方法提取有雨侦察图像的高频子图。根据无人机侦察图像中一般存在天空、地面等纹理相对平滑区域的特点,提取侦察图像中的纯雨区域。最后,将提取的纯雨区域作为训练样本,输入卷积神经网络中进行训练,提取图像特征信息,得到卷积神经网络的最优参数,完成神经网络训练,得到去雨侦察图像。通过仿真实验表明,该算法能够有效去除雨线对无人机侦察图像的干扰,提升侦察图像质量,具有一定的军事应用价值。     

基于深度卷积神经网络的异常行为快速识别

针对异常行为快速识别问题,提出了一种基于深度卷积神经网络的视频检测和定位方法。该方法利用全卷积神经网络和时间数据,将一个预先经过训练和监督的全卷积神经网络转移到一个无监督的全卷积神经网络,确保能够检测全局场景中的异常,提出利用级联检测的方式来降低算法的计算复杂度,从而使其在速度和精度方面获得较高的性能。提出的基于全卷积神经网络的异常行为检测架构解决了两个主要任务,即特征表示和级联离群值检测。实验结果表明,所提方法在检测和定位精度上优于现有算法,且运行速度更快,从而表明所提算法的有效性和可行性。     

基于双向映射的非网格型全向图展开插值方法

原始的全向图存在严重的同心圆环状变形,通常需展开为更适合人眼观察的柱面全景图像。结合折反射全向成像特点,提出一种基于双向映射的全向图展开为柱面全景图像的插值方法,通过光路跟踪得到图像间的坐标映射关系,将所要生成的柱面全景图中每一点正向映射到原始的全向图中,确定插值邻域点;将这些邻域点逆向投影到柱面全景图中,针对邻域点在柱面全景图中呈非网格型分布的特点,采用非均匀二维插值算法进行图像插值运算。该方法既准确地定位插值邻域点,又避免了全向图的非线性畸变对邻域点权重计算的不利影响。实验证明该方法能有效提高插值精度和展开后图像的质量。     

结合YdUaVa颜色模型和改进MobileNetV3的视频烟雾检测方法

为降低视频烟雾检测中的虚警率和提升检测效率,提出Y^dU^aV^a颜色模型,该模型可以表征烟雾的空间域分布特性和时间域变化特性。利用该颜色模型快速筛选出疑似烟雾图像块,降低虚警率和提升运算效率。提出改进的MobileNetV3网络结构,用于提取图像深度特征并对疑似烟雾图像块进行分类识别,检测视频中是否存在烟雾。视频烟雾检测仿真结果表明:该方法准确率和检测帧率高,虚警率低。     

使用等效偏移角稀疏测量的面阵相机序贯图像几何校正

天基光学相机实际在轨对地观测成像的畸变需通过几何校正抑制。目前主流面阵相机对地观测获得的小尺寸、高帧频序贯图像很难满足传统几何校正方法逐帧解算对单帧图像控制点数量与空域分布的要求且计算量巨大。针对这一问题,提出一种使用等效偏移角稀疏测量的面阵相机序贯观测图像几何校正方法,将逐帧校正参数解算问题转化为时域稀疏测量条件下等效偏移角信号恢复问题,利用等效偏移角信号时频信息可有效降低对单帧图像控制点数量和空域分布要求。通过高分四号卫星面阵相机在轨实测图像数据验证了所提方法的可行性且其能大大降低序贯图像几何校正处理的计算量。     

上下文感知的深度弱监督图像哈希表示学习方法

针对现有深度监督图像哈希表示学习方法依赖于图像的类别信息,难以在现实中被广泛应用问题,利用与图像相关的标签信息作为监督信息,提出上下文感知的深度弱监督图像哈希表示学习方法。该方法一方面通过自适应捕获图像区域特征的相关上下文来增强它们的表示能力,另一方面通过引入判别损失来提高学习到的哈希码表示的判别性。在现有两个公开数据集上的大量实验结果证明了该方法的有效性。     

单硬件限制下的电磁环境加速绘制

单硬件实现的高效电磁环境绘制适用范围更广;但是,并行光线投射绘制电磁环境时,其效率受硬件性能制约。在研究硬件限制并行光线投射效率的基础上,提出一种面向硬件制约的像素插值方法。当硬件限制并行光线投射绘制不能实时完成时,减少并行投射的光线数量,即部分图像像素由光线投射生成,其余像素插值生成。像素插值以图像质量换取执行效率,当图像更新停顿时重新使用光线投射生成插值获得的像素,以恢复图像内容。实验结果表明,低硬件配置条件下,像素插值能够大幅度提高绘制图像的生成效率。同时,对比多个体数据的绘制效果和误差统计得出:电磁环境数据场最适合使用像素插值方法。     

结合全局与局部信息的主动轮廓分割模型

针对传统的基于区域的主动轮廓模型在分割灰度不均匀图像和噪声图像存在效果不佳的问题,提出结合全局项与局部项的主动轮廓分割模型。全局项由CV(Chan-Vese)模型的保真项构成,局部项的构建考虑局部区域信息的同时引入反映图像灰度特性的局部熵信息。依据图像灰度的特点,选择合理的全局项和局部项参数,并加入正则项保证曲线在演化过程中保持平滑,保障分割结果的可靠性。通过变分水平集方法最小化能量泛函,依据梯度下降流迭代更新水平集,完成曲线演化。采用模拟图像和实际图像进行实验分析,结果表明,所提出的结合全局项和局部项的主动轮廓模型可以高效地分割噪声严重以及灰度分布不均匀的图像。     

Gabor二进制编码异源图像匹配方法

异源图像匹配是图像处理领域尚未解决的问题。其中,合成孔径雷达图像与光学图像差异较大,用现有方法匹配通常难以得到满意结果。针对这个问题,提出一种基于Gabor编码的异源图像匹配方法:选取一组Gabor滤波器,分别对大图和小图进行Gabor卷积;采用池化方法对卷积结果进行压缩表示;对池化结果二值化并转换为二进制表示得到Gabor二进制编码特征;采用二进制位操作计算实时图与基准图对应窗口特征的相似性,相似性最大值对应图像匹配结果。本方法采用二进制对图像进行描述,减少了计算量,同时也更好地描述了异源图像间的共性特征。实验结果表明,本方法具有较高的匹配概率,计算时间少于现有方法。     

基于实际飞行数据插值的INS/GNSS组合导航仿真轨迹发生器

针对INS/GNSS组合导航仿真中,捷联惯导系统陀螺、加速度计信号高精度模拟问题,提出了基于实际飞行数据插值的动态轨迹解析生成仿真算法。对转换到地心惯性坐标系中的载体姿态、位置和重力场数据进行关于时间的样条函数插值,得到载体坐标系下陀螺角速率、角增量以及加速度计比力积分增量的高精度分段解析表达式。使生成的陀螺、加速度计信号符合载体运动学和动力学特性,反映杆臂效应影响,同时与经事后处理的实测GNSS伪距、伪距率等数据特征保持一致。提出了四元数约束插值算法,可满足四元数解析插值时范数为1的约束限制条件。基于某实际无人机飞行数据,验证了所提出算法的有效性,完全满足组合导航动态仿真精度要求。该算法也适用于其他高精度高动态导航系统和刚体运动控制仿真中的角运动、线运动传感器信号模拟。     

基于ADV212的探空火箭图像采集与压缩系统

针对探空火箭遥测带宽低、图像监控通路多、系统小型化等设计难点,本文提出了一种基于ADV212的图像采集与压缩系统设计方案。采用可以同时支持无损和高压缩比有损压缩的JPEG2000图像压缩标准,提出适用于箭上图像采集特点的通道切换和中断处理策略,并以“乒乓”操作的流水线作业方式实现多路图像通道数据吞吐,通过两个实时发送通道和一个缓存发送通道向火箭遥测链路发送图像数据。提出了一种具有动态帧频和压缩比的图像压缩方案,解决了探空火箭遥测带宽有限这一问题。本设计以Virtex-4系列FPGA作为系统控制核心,采用ADV7182和ADV212分别完成图像的采集和压缩,分别采用SRAM和SDRAM实现图像的实时传输和缓存传输。通过比较图像间的PSNR值,试验并分析了适用于CCD图像的压缩滤波器和小波变换级数,得到了较为满意的图像质量。设计较好地满足了本次空间环境垂直探测探空火箭的图像采集任务。     

基于差分和神经网络的同步辐射光源图像压缩方法

针对常见的图像无损压缩方法效果不佳问题,提出了一种基于图像差分和神经网络的同步辐射光源图像无损压缩方法。通过图像差分以减少图像序列内部的线性相关性,训练神经网络模型以学习图像序列内部的非线性相关性,得到预测概率分布,结合算术编码压缩。为加速预测和编码过程,将像素值按位分裂为两部分进行并行处理。基于上海同步辐射光源图像的测试表明,相较于便携式网络图形、JPEG2000和自由无损图像格式等,该方法可将压缩率提升20%以上,像素位分裂可以缩短30%的模型预测和编码时间。