大数据技术专题讲座(二) 第3讲 面向大数据处理的MapReduce优化技术

随着大数据时代的到来,大规模数据的处理技术研究层出不穷。MapReduce计算框架的出现,暂时缓解了大数据的处理难题。虽然MapReduce能够实现大规模数据(通常为PB级甚至EB级)的高效并行处理,但在企业应用环境中,MapReduce底层架构和处理模式上的缺陷逐渐暴露出来,造成了处理效率、执行性能上的一些瓶颈。针对这些不足,结合企业实际处理需求,产生了针对MapReduce的各个方面的优化研究。文中首先阐述了MapReduce的编程模型和实现机制,然后总结了对MapReduce作业调度、实时处理、架构和服务等方面的优化研究,最后对MapReduce各种优化技术进行了总结和展望。     

新陈代谢GM(1,1)模型在吸毒数据中的分析与预测

借助新陈代谢的灰色预测GM(1,1)模型,对2009~2013年某地区吸毒数据和因吸毒犯罪数据进行预测,并结合预测结果,给出合理化禁毒建议。     

多约束强化学习最优智能滑翔制导方法

为提升复杂飞行任务下滑翔制导的自主性,提出一种基于最优制导与强化学习的多约束智能滑翔制导策略。引入三维最优制导以满足终端经纬度、高度以及速度倾角约束。提出基于侧向正弦机动的速度控制策略,研究考虑机动飞行的终端速度解析预测方法。针对速度控制中机动幅值无法离线确定的问题,研究基于强化学习的智能调参方法。该方法基于终端速度设计状态空间,以机动幅值设计动作空间,设计综合终端速度误差与滑翔制导任务的回报函数,采用Q-Learning实现机动幅值的智能调整。仿真结果表明,智能滑翔制导方法能够高精度满足终端多种约束,并能有效提升复杂任务下的自主决策能力。     

基于ASP．NET技术的动态网页实现

ASP .NET为Web应用系统开发提供了一种全新的灵活的基础结构,是迄今为止最先进的Web应用服务系统开发平台.动态网页是Web应用服务系统的核心.提出了采用ASP .NET技术实现动态网页的方法,在数字化油库与油库信息可视化项目研究中得到很好的应用.     

高空长航时无人机编队协同侦察任务规划

针对高空长航时无人机侦察任务规划特点,分析了高空长航时无人机执行侦察任务过程中的飞行航线约束和通信条件约束,以最小化无人机总飞行航程和最终编队飞行时间为优化目标,建立无人机编队协同侦察任务规划问题模型。同以往的通用侦察任务模型相比,该模型突出考虑了高空长航时无人机执行侦察任务过程的特点。以基本粒子群算法为基础,通过粒子群离散化和结合遗传算法进行改进,使其适用于求解复杂组合优化问题。仿真结果验证了算法求解复杂任务规划问题的有效性。     

基于AKF的AUV对接回收组合导航研究

针对自主水下机器人(Autonomous Underwater Vehicle,AUV)在回收过程中的组合导航精度问题,提出了一种改进的高斯距离迭代法及改进的自适应卡尔曼滤波算法(Adaptive Kalman Filter,AKF).基于AUV回收对接系统,研究并建立了针对惯导SINS、超短基线USBL、多普勒计程仪DVL和深度计的基于斜距的组合导航模型.通过对SINS/USBL/DVL/深度计组合导航量测信息误差特性分析,设计了改进的基于斜距的SINS/USBL/DVL/深度计组合导航模型;针对该模型突出的滤波发散问题,设计了基于滤波收敛性判据和强跟踪滤波思想改进的AKF滤波算法进行有机融合.仿真结果表明,此研究使实际AUV系统具有更高的滤波精度和可靠性.     

窄带环境下的远程分布式服务调用优化与验证方法

指挥控制系统是现代化作战的核心环节和重要支撑,通过对网络化的作战需求分析,针对窄带环境下实现分布式服务远程访问存在错误率高和延时长等问题,应用精简协议、压缩数据包和大小包数据的动态拆分、聚合等方法,提高分布式指挥控制系统在窄带环境下的适应性.通过搭建不同的窄带模拟环境,验证了提出的优化方法能够有效提高服务在窄带环境下的注册、被发现和被调用的能力.     

军事指挥体系态势产品分层分类体系模型

针对我军态势产品分层分类体系的需求,基于顶层设计的思想,提出了一种多级层次多视图的态势产品分层分类体系模型.该模型充分考虑了军队指挥结构中所涉及态势产品的基本元素,并能够适应军队编制体制结构和指挥体系变化.从构建态势产品的方法论出发,利用运筹学模型建立了体系构建方法.最后,以案例研究形式探讨了建立适应于我军指挥体系的态势产品分层分类体系框架.模型的提出为指导我军建立合理、灵活、可扩展的态势产品分层分类体系提供了技术支撑,也为将来军队各类态势产品的全面发展打下基础.     

利用阵列协方差矩阵稀疏性的到达角估计方法

为了解决传统基于阵列协方差矩阵稀疏性到达角估计方法计算复杂度高的问题,提出基于直接二维稀疏重构思想的高效到达角估计方法。该方法利用阵列输出数据的协方差矩阵构造二维稀疏表示模型,对协方差矩阵进行特征值分解以实现噪声功率估计,从而降低噪声对到达角估计的影响。在求解稀疏表示模型时,直接对该二维稀疏重构问题进行求解,避免了矩阵矢量化操作。仿真实验结果表明,该方法运行效率大大提高,并且在低快拍数、低信噪比和稀疏阵元等条件下估计性能优于传统方法。     

装备维修保障仿真实验的理论问题与技术框架

当开发完装备维修保障仿真系统后,如何快速发现装备维修保障系统的运行规律,指导系统的设计优化,是急需解决的重要问题。从装备维修保障仿真实验的问题引入着手,分析其所处的研究环节;明确了装备维修保障仿真实验的基本内涵,研究了装备维修保障仿真实验的原理、特点和基本过程,归纳出关键科学问题,进而提出了装备维修保障仿真实验的技术框架。