大数据技术专题讲座(二) 第3讲 面向大数据处理的MapReduce优化技术 |
| |
引用本文: | 刘青,鲍爱华,倪桂强.大数据技术专题讲座(二) 第3讲 面向大数据处理的MapReduce优化技术[J].军事通信技术,2015(2):81-87. |
| |
作者姓名: | 刘青 鲍爱华 倪桂强 |
| |
作者单位: | 解放军理工大学指挥信息系统学院研究生2队;解放军理工大学指挥信息系统学院 |
| |
基金项目: | 国家自然科学基金资助项目(61402518) |
| |
摘 要: | 随着大数据时代的到来,大规模数据的处理技术研究层出不穷。MapReduce计算框架的出现,暂时缓解了大数据的处理难题。虽然MapReduce能够实现大规模数据(通常为PB级甚至EB级)的高效并行处理,但在企业应用环境中,MapReduce底层架构和处理模式上的缺陷逐渐暴露出来,造成了处理效率、执行性能上的一些瓶颈。针对这些不足,结合企业实际处理需求,产生了针对MapReduce的各个方面的优化研究。文中首先阐述了MapReduce的编程模型和实现机制,然后总结了对MapReduce作业调度、实时处理、架构和服务等方面的优化研究,最后对MapReduce各种优化技术进行了总结和展望。
|
关 键 词: | 大数据 并行编程范式 优化 |
本文献已被 CNKI 等数据库收录! |
|