大数据技术专题讲座(二) 第3讲 面向大数据处理的MapReduce优化技术

随着大数据时代的到来,大规模数据的处理技术研究层出不穷。MapReduce计算框架的出现,暂时缓解了大数据的处理难题。虽然MapReduce能够实现大规模数据(通常为PB级甚至EB级)的高效并行处理,但在企业应用环境中,MapReduce底层架构和处理模式上的缺陷逐渐暴露出来,造成了处理效率、执行性能上的一些瓶颈。针对这些不足,结合企业实际处理需求,产生了针对MapReduce的各个方面的优化研究。文中首先阐述了MapReduce的编程模型和实现机制,然后总结了对MapReduce作业调度、实时处理、架构和服务等方面的优化研究,最后对MapReduce各种优化技术进行了总结和展望。     

银光集团前三季度6.5万余条建议创效2500余万元

<正>今年以来,甘肃银光化学工业集团有限公司引导全员树立"解决问题就是创新"的理念,深化"创新就在身边""人人皆可创新"的意识,为合理化建议活动的开展营造了浓厚氛围。前三季度共征集员工提交的合理化建议65763条,员工参与率达到97.43%,采纳率和实施率均超过85%以上,较去年同期分别增长4.76%和8.02%,累计实现节创价值2595.62万元。银光集团结合当前企业信息化建设工作,开发出合理化建议信息系统,实现合理化建议的提交、评审、     

准零刚度系统力传递率特性及实验研究

建立了准零刚度系统的一般理论模型,讨论了系统在静平衡位置达到准零刚度的条件以及静平衡位置附近力与位移的关系。分析了准零刚度系统的幅频特性、跳跃频率及力传递率的特性,讨论了力传递率随激励力幅值、系统阻尼和系统刚度的变化趋势。设计并搭建了准零刚度试验台架,通过与线性系统的对比验证了准零刚度系统对低频振动隔离影响的优越性。     

基于准循环双对角阵的LDPC码编码算法研究*

针对校验矩阵形如准循环双对角阵的结构化LDPC码,对比研究了两类高效的编码算法：矩阵分解编码算法和分项累加递归编码算法,指出了两种算法从实现角度是等效的,但分项累加递归编码算法推导更为直观,且便于硬件并行实现。基于分项累加编码算法,提出了一种适合准循环双对角LDPC码的部分并行编码结构,设计实现了IEEE 802.11n标准中的LDPC码编码器。FPGA实现结果表明,所设计的LDPC编码器硬件开销较少,信息比特吞吐率最高能达到13Gbps。     

捷联导引头视线转率估计的交互式多模型样条滤波算法

针对捷联导引头测量信息的弹目惯性视线转率估计,提出了一种基于交互式多模型算法的样条滤波方法(IMM-SF)。基于体视线和惯性视线的映射关系解算惯性视线角,将其作为虚拟观测量进行滤波,设置多个过程噪声模型,每个模型分别采用样条滤波器进行滤波,IMM-SF滤波器的估值结果为各滤波器估值的加权综合。该方法不必对目标的未知机动建模,应用更加方便,并且可在交互式多模型算法的框架下自适应地调整滤波器的噪声。Monte-Carlo仿真结果表明该方法可有效估计视线转率,并可提高估值精度。     

新装备技术资料并行化编制过程研究

研究新型军械装备技术资料的分类及模块化形式,分析装备技术资料编制相关的装备设计流程及保障性分析流程,建立集成化装备信息模型,提出一种装备技术资料并行化编制方法,为新装备及时获取技术资料、及时形成保障能力提供有力的支持.     

基于随机集的传感器网络多目标航迹跟踪研究

针对利用有限集统计理论对声学WSN下的多目标跟踪时,无法实现前后两个时刻目标状态的关联问题,利用最近邻方法和粒子标签法对WSN多目标的航迹跟踪问题进行了研究。仿真结果表明,两种算法都能够有效实现对多个目标航迹的跟踪;另外,粒子标签方法进行多目标跟踪时能够同时实现对多目标状态的估计和对多目标航迹的跟踪。     

基于AP-DE算法动态迭代步长的研究

为了促进自适应滤波器的滤波性能,建立了一种变步长的基于直接迭代误差AP-DE算法。通过使得权值均方误差下降速度最大,获得了AP-DE算法的优化迭代步长,并分析了所建立算法权值均方误差的统计特性。     

振动信号变换器的设计与实现

多传感器采编器能够实现复杂环境下对飞行体在发射过程中振动加速度、冲击加速度、压力、温度等动态参数的实时测量和记录。传感变换器电路的性能直接影响采集系统的采样精度。为了实现准确测量,对广泛应用于工程实践中的高阶集成开关电容滤波器产生的混叠效应的抑制方法进行分析及实验。实现了一种可程控放大、具有稳定通带截止频率的振动信号变换器设计。实验结果表明,该变换器电路具有体积小、集成度高、滤波衰减陡度大,频率测试精度高等特点。