大数据技术专题讲座(二) 第3讲 面向大数据处理的MapReduce优化技术

随着大数据时代的到来,大规模数据的处理技术研究层出不穷。MapReduce计算框架的出现,暂时缓解了大数据的处理难题。虽然MapReduce能够实现大规模数据(通常为PB级甚至EB级)的高效并行处理,但在企业应用环境中,MapReduce底层架构和处理模式上的缺陷逐渐暴露出来,造成了处理效率、执行性能上的一些瓶颈。针对这些不足,结合企业实际处理需求,产生了针对MapReduce的各个方面的优化研究。文中首先阐述了MapReduce的编程模型和实现机制,然后总结了对MapReduce作业调度、实时处理、架构和服务等方面的优化研究,最后对MapReduce各种优化技术进行了总结和展望。     

CMOS负阻补偿型压控振荡器关键技术研究

采用TSMC 0.18μm CMOS工艺,设计了一个中心振荡频率为2.46GHz的负阻补偿型LC压控振荡器。该压控振荡器采取差分负阻结构,利用反型NMOS电容实现频率调谐。通过对可调电容的特性研究,振荡器实现2.08GHz~2.84GHz的宽频率覆盖范围调谐,同时通过调节负阻器件的宽长比、优化片上螺旋电感几何参数获得高品质因数等方法提高振荡器的相位噪声性能。在1.8V供电电压下对电路仿真,相位噪声小于-120dBc/Hz@1 MHz,最低可达-125dBc/Hz@1 MHz,工作平均电流为3.74mA。在1.6V供电电压时工作正常,满足单芯片跳频频率综合器的应用要求。     

基于动态模板匹配的非接触超声弹体厚度测量方法

为了实现某弹体在车削加工过程中弹体厚度的自动测量,采用喷水式的非接触超声检测方法,利用弹体和刀架的匀速旋转和移动,在工控机的控制下实现弹体的全面检测。通过动态模板匹配的超声回波处理方法计算出弹体各检测位置的厚度值。检测结果表明,该检测方法的检测精度可达到0.1 mm。     

改进蚁群算法在DSR路由协议中的应用

针对移动Ad hoc网络节点移动频繁和单路径DSR路由协议不能均衡负载、网络健壮性低以及蚁群算法存在局部查询最优的问题,提出一种改进的蚁群算法,并把改进的蚁群算法应用到单路径路由协议DSR,设计出基于蚁群算法的多路径路由协议IDSR,通过仿真实验,从影响Ad hoc网络路由协议性能优劣的3个主要指标来比较IDSR、DSR路由协议和SMR路由协议的性能,实验结果表明,虽然改进协议IDSR路由开销比DSR、SMR稍有增加,但分组的投递率和平均端到端延时性能都有明显提高。     

多约束强化学习最优智能滑翔制导方法

为提升复杂飞行任务下滑翔制导的自主性,提出一种基于最优制导与强化学习的多约束智能滑翔制导策略。引入三维最优制导以满足终端经纬度、高度以及速度倾角约束。提出基于侧向正弦机动的速度控制策略,研究考虑机动飞行的终端速度解析预测方法。针对速度控制中机动幅值无法离线确定的问题,研究基于强化学习的智能调参方法。该方法基于终端速度设计状态空间,以机动幅值设计动作空间,设计综合终端速度误差与滑翔制导任务的回报函数,采用Q-Learning实现机动幅值的智能调整。仿真结果表明,智能滑翔制导方法能够高精度满足终端多种约束,并能有效提升复杂任务下的自主决策能力。     

基于BP人工神经网络的GPS/SINS组合导航算法

基于扩展Kalman滤波的GPS/SINS组合导航算法,需要对原始的非线性连续系统模型进行线性化和离散化处理,要求系统噪声和测量噪声为零均值的高斯白噪声,且易于出现滤波器发散。BP人工神经网络无需对所求解的问题建模,能够很好地逼近系统非线性特性,获得较高精度的导航定位信息;还具有计算过程稳定,不涉及矩阵求逆,不需要迭代逼近,以及容易实现并行处理等优点。设计适用于GPS/SINS组合导航系统的BP网络模型,并在标准的BP算法基础上,采用共轭梯度法改进网络训练速度及精度。最后,通过仿真算例说明BP网络方法用于GPS/SINS组合导航计算的可行性。     

烟幕--信息战的"坚盾"

针对信息成为重要战争资源及信息对抗贯穿始终的特点,介绍了烟幕干扰激光、红外、雷达、卫星以及复合干扰、扰乱心理等作用,阐述了点目标防护、野战防空和攻势迷盲等战术应用,展望了烟幕技术的发展趋势.     

攻击机动目标的非线性H∞制导律研究

应用非线性H∞控制理论,在建立导弹与目标相对运动数学模型的基础上,研究了一种拦截机动目标的鲁棒H∞制导律.这种鲁棒H∞制导律将目标的机动加速度视为有界的外界扰动输入,导弹的加速度视为控制输入,实现了导弹制导的鲁棒性.仿真表明,这种鲁棒H∞制导律具有很好的鲁棒性和良好的拦截效果,能够有效地拦截机动目标.     

基于ASP．NET技术的动态网页实现

ASP .NET为Web应用系统开发提供了一种全新的灵活的基础结构,是迄今为止最先进的Web应用服务系统开发平台.动态网页是Web应用服务系统的核心.提出了采用ASP .NET技术实现动态网页的方法,在数字化油库与油库信息可视化项目研究中得到很好的应用.     

基于ANSYS的预应力CFRP布加固混凝土梁有限元分析

采用ANSYS有限元分析软件,对卸载或不卸载时预应力碳纤维(CFRP)布加固梁进行仿真分析,并在有限元分析中提出了施加预应力的方法(升温法),以及利用单元的生与死实现不卸载时加固的方法。通过实例对比分析表明,基于ANSYS的有限元分析结果与试验分析结果吻合较好,可在一定程度上有效替代试验分析方法,从而减少试验所需的时间和费用,对后续的CFRP布加固混凝土结构的研究工作具有一定的参考价值。