大数据技术专题讲座(二) 第3讲 面向大数据处理的MapReduce优化技术

随着大数据时代的到来,大规模数据的处理技术研究层出不穷。MapReduce计算框架的出现,暂时缓解了大数据的处理难题。虽然MapReduce能够实现大规模数据(通常为PB级甚至EB级)的高效并行处理,但在企业应用环境中,MapReduce底层架构和处理模式上的缺陷逐渐暴露出来,造成了处理效率、执行性能上的一些瓶颈。针对这些不足,结合企业实际处理需求,产生了针对MapReduce的各个方面的优化研究。文中首先阐述了MapReduce的编程模型和实现机制,然后总结了对MapReduce作业调度、实时处理、架构和服务等方面的优化研究,最后对MapReduce各种优化技术进行了总结和展望。     

新常态下中国电子的转型 创新与改革

新常态绝不只是增速降了几个百分点,转入新常态也绝不只是一年两年的调整,而是结构性、长期性的调整。这对于中国经济发展如此,对于中国电子亦是如此当前,我国经济发展全面进入速度变化、结构优化、动力转化三位一体的新常态,认识新常态、适应新常态并引领新常态,是当前和今后一个时期我国经济发展的大逻辑。作为电子信息领域的央企,中国电子面对愈演愈烈的     

神经网络架构搜索研究进展与展望

神经网络架构搜索旨在针对不同任务,自动化地搜索得到性能最优的神经网络结构,是深度学习、计算机视觉技术结合当前现实需求应运而生的一大重要科学问题。对近年来神经网络架构搜索研究进行梳理、归类和评述;阐述神经网络架构搜索的定义和意义,全方位剖析当前研究所面临的难点与挑战;以此为基础,对主流的搜索策略进行阐述和归纳;探讨研究潜在的问题及未来颇具潜力的研究方向,以期推动该领域的进一步发展。     

并行生成卷积网络图像修复算法

为解决修复纹理精细、背景复杂图像中大面积不连续语义缺失时存在的边缘伪影和语义不连续的缺陷,提出一种并行生成卷积的残差连接图像修复算法。将残缺图像输入一个两列平行卷积的结构修复网络得到两个具有不同感受野大小的图像分量,通过共享解码合并两个图像分量并计算输出的L2损失优化网络。将结构修复网络的输出送入包含残差连接与注意力机制的细节修复网络,融合上下文信息,改善修复细节能力。使用全局与局部鉴别器和预训练视觉几何组网络计算损失,对修复网络进行整体判别优化,增强修复结果的整体与局部一致性。在国际公认数据库上验证提出算法的性能,实验结果表明：提出算法可以有效修复复杂背景且包含精细纹理的大面积不规则缺失区域,提升图像细节、语义和结构的真实性与完整性,其峰值信噪比和结构相似度优于经典的对比算法。     

高速并行Gardner算法设计与实现

随着空间探测任务逐步增加、空间信道频谱资源日趋紧张,传统Gardner定时同步算法已经无法满足高速数传系统高通量、高可靠性的需求。为了提高Gardner定时同步算法的吞吐率并增大可纠正误差范围,提出一种高速并行Gardner算法。为了保证插值精度同时减少乘法器消耗,设计了一种并行分段抛物线插值滤波器;为了便于并行流水线设计和最佳采样点选取,构建了计数模块和定时缓存调整模块;为了提高等价吞吐率,重构了流水线并行环路滤波器结构和并行数控振荡器结构。结果表明,该算法等价吞吐率可达1 739.13 Msps,数字信号处理器资源消耗可减少44%,可纠正2×10^-3的定时误差。     

二维周期钢管阵列带隙特性计算中的时域有限差分算法

通过选取合适的离散时间间隔,解决了大密度、弹性常数差界面上时域有限差分(FDTD)算法的不稳定现象。进而采用改进的O(2,4)精度FDTD算法,计算了由空气中二维周期钢管正方阵列组成的晶格常数为103mm的声子晶体的Г Х方向禁带,计算结果与测试结果吻合较好。     

多核环境下负载均衡的并行离散事件全局调度机制

分析了多核环境下传统的离散事件时间弯曲并行系统的性能,针对其事件调度开销小和负载均衡能力强难以兼得的问题,提出了一种基于分布式队列的全局调度机制,设计了相应的数据结构和调度算法,大大减少了锁开销.通过大量实验对多核环境下几种典型离散事件系统并行策略的性能分析表明,本文提出的全局调度策略不仅事件调度开销小,而且回滚率大大降低,有效克服了传统策略回滚量较大或难以实现动态负载平衡的情况,并具备良好的可扩展性.     

打造特色军营文化 促进部队科学发展——兰州军区某红军师“铁锤子团”军营文化建设纪实

近年来,兰州军区某红军师"铁锤子团"坚持以科学发展观为指导,认真学习贯彻十七届六中全会精神,结合部队发展和官兵实际,深入开展富有军营特色和团队品牌的政治文化、安全文化、法律文化、和谐文化建设,在用先进军事文化化人育人中,坚定官兵的政治     

基于梯度直方图的交叉点检测方法

提出基于梯度直方图的交叉点检测方法:统计像素点邻域梯度信息生成特征描述子,通过判定准则筛选候选交叉点,基于欧氏距离对候选交叉点进行聚类后,利用灰度加权法定位图像交叉点坐标.仿真实验验证了算法的正确性与可行性,结果表明:该方法适用于交叉角为65°～90°范围内的交叉点检测,定位精度优于0.6像素,检测率大于90％;该方法...     

基于特征聚合的管制语音声纹深度识别方法

针对带有噪声的管制语音声纹识别问题,提出了一种基于特征聚合的声纹识别算法,能够在音频流中识别不同的管制员和飞行员的声纹特征。在经典的X-VECTORS算法的基础上,通过设计残差语谱图特征提取模块和全局可微的NetVLAD特征聚合模块,构造了端到端的说话人识别神经网络训练框架;最后在实际管制语音数据集上对各种说话人识别方法的精度进行了对比分析。实验结果表明,相较于传统的X-VETCORS方法,提出的基于声纹聚合的说话人识别方法具有更高的识别精度。