大数据技术专题讲座(二) 第3讲 面向大数据处理的MapReduce优化技术

随着大数据时代的到来,大规模数据的处理技术研究层出不穷。MapReduce计算框架的出现,暂时缓解了大数据的处理难题。虽然MapReduce能够实现大规模数据(通常为PB级甚至EB级)的高效并行处理,但在企业应用环境中,MapReduce底层架构和处理模式上的缺陷逐渐暴露出来,造成了处理效率、执行性能上的一些瓶颈。针对这些不足,结合企业实际处理需求,产生了针对MapReduce的各个方面的优化研究。文中首先阐述了MapReduce的编程模型和实现机制,然后总结了对MapReduce作业调度、实时处理、架构和服务等方面的优化研究,最后对MapReduce各种优化技术进行了总结和展望。     

基于模型的舰船电子对抗系统工程研究与应用

针对舰船电子对抗系统设计与集成的难度日益加大的情况,介绍了一种应对复杂系统研发需求的基于模型的系统工程方法,并阐述了需求分析、功能分析以及体系架构设计三个阶段的设计流。最后以水面舰船电子对抗系统体系架构的设计和验证为例对该方法的应用进行了说明,为从事舰船电子对抗总体设计提供支撑。     

试验训练领域仿真体系结构及研究现状

试验训练领域仿真体系结构的研究对我国国防力量的建设有着重要的作用。对国内以及美国试验训练领域仿真体系结构的研究情况进行了阐述和分析,总结了国内和美国的仿真体系结构的研究现状和出现的问题,并总结了试验训练领域仿真体系结构的发展前景,提出了一些建立仿真体系结构的建议。目前国内有很多单位都在研究试验训练领域仿真体系结构,但是就建立一个完整的仿真体系结构而言,国内还需要更多的努力。相关技术最发达的美国也遇到了一些困难,且可能在以后主推CTIA。     

一种面向体系的信息活动过程设计方法

阐述了体系产生的背景与概念内涵,探讨了体系运作的基本原理,对复杂系统分析建模方法进行了介绍。在此基础上,提出了一种面向体系的信息活动过程设计方法,介绍了方法的设计理论及流程,并以人事管理活动设计为例进行了应用实例分析。该方法可为跨领域、跨部门的体系结构设计提供指导。     

并行生成卷积网络图像修复算法

为解决修复纹理精细、背景复杂图像中大面积不连续语义缺失时存在的边缘伪影和语义不连续的缺陷,提出一种并行生成卷积的残差连接图像修复算法。将残缺图像输入一个两列平行卷积的结构修复网络得到两个具有不同感受野大小的图像分量,通过共享解码合并两个图像分量并计算输出的L2损失优化网络。将结构修复网络的输出送入包含残差连接与注意力机制的细节修复网络,融合上下文信息,改善修复细节能力。使用全局与局部鉴别器和预训练视觉几何组网络计算损失,对修复网络进行整体判别优化,增强修复结果的整体与局部一致性。在国际公认数据库上验证提出算法的性能,实验结果表明：提出算法可以有效修复复杂背景且包含精细纹理的大面积不规则缺失区域,提升图像细节、语义和结构的真实性与完整性,其峰值信噪比和结构相似度优于经典的对比算法。     

高速并行Gardner算法设计与实现

随着空间探测任务逐步增加、空间信道频谱资源日趋紧张,传统Gardner定时同步算法已经无法满足高速数传系统高通量、高可靠性的需求。为了提高Gardner定时同步算法的吞吐率并增大可纠正误差范围,提出一种高速并行Gardner算法。为了保证插值精度同时减少乘法器消耗,设计了一种并行分段抛物线插值滤波器;为了便于并行流水线设计和最佳采样点选取,构建了计数模块和定时缓存调整模块;为了提高等价吞吐率,重构了流水线并行环路滤波器结构和并行数控振荡器结构。结果表明,该算法等价吞吐率可达1 739.13 Msps,数字信号处理器资源消耗可减少44%,可纠正2×10^-3的定时误差。     

基于UML和IDEF的装备保障C3I系统体系结构建模研究

UML和IDEF模型对复杂系统体系结构的分析具有重要价值.根据装备保障C3I系统的特点,对其体系结构进行了深入研究,通过建立系统功能模型、IDEF1X对象静态模型以及UML动态交互模型,从不同侧面较完整地描述了装备保障C3I系统体系结构框架,并提出了相应的物理实现模型,对复杂系统的建模具有一定的理论和实际意义.     

海战场信息系统和武器系统综合仿真技术研究（连载二）

(续第3期第34页文) 6 虚拟舰艇结构的设计虚拟舰艇的基本物理部件是HLA联邦成员。这些部件可以模拟不同聚合级的实体。典型的部件将代表组成战舰的系统,其中包括传感器、武器、对抗措施、导航和指挥与控制系统。其它部件可代表完整的作战实体,或代表系统的子部件。6.1 虚拟舰艇的物理设想6.1.1 组成虚拟舰艇的典型联邦成员典型的部件在图1中示出。这些部件通过HLA运行时间支撑结构(RTI)进行交互,数据交换是这种交互的主要部分。联邦成员之间交换的数据在概念上描述为对象属性更新或一次交互。对象属性更新是描述现时存在的一个实体的…     

海战场信息系统和武器系统综合仿真技术研究

本文分析了海战场信息系统仿真的特点,介绍了可以应用于海战场信息系统和武器系统综合仿真的高层体系结构(HLA)技术,描述了澳大利亚国防科学与技术组织(DSTO)基于HLA技术的虚拟舰艇概念和潜在的应用,以及虚拟舰艇结构和层次化联邦共同体概念的设计方法。     

多核环境下负载均衡的并行离散事件全局调度机制

分析了多核环境下传统的离散事件时间弯曲并行系统的性能,针对其事件调度开销小和负载均衡能力强难以兼得的问题,提出了一种基于分布式队列的全局调度机制,设计了相应的数据结构和调度算法,大大减少了锁开销.通过大量实验对多核环境下几种典型离散事件系统并行策略的性能分析表明,本文提出的全局调度策略不仅事件调度开销小,而且回滚率大大降低,有效克服了传统策略回滚量较大或难以实现动态负载平衡的情况,并具备良好的可扩展性.