分布式计算环境下的栅格数据存储策略 |
| |
作者姓名: | 张剑波 夏灯城 赵加奥 李谢清 崔永键 袁国斌 |
| |
作者单位: | 中国地质大学武汉 信息工程学院,中国地质大学武汉 信息工程学院,中国地质大学武汉 信息工程学院,中国地质大学武汉 信息工程学院,中国地质大学武汉 信息工程学院,中国地质大学武汉 信息工程学院 |
| |
基金项目: | 国家自然科学基金项目(41001225,41501584) |
| |
摘 要: | 针对传统的栅格数据存储策略不能满足分布式计算环境下粗粒度数据访问需求,应对海量栅格数据计算时效率低下的问题,结合分布式文件系统的存储特点,同时考虑地图代数算子在Map/Reduce阶段以栅格瓦片为单位的计算特点,提出一种基于Hadoop分布式文件系统的栅格瓦片存储策略。围绕栅格数据瓦片分割、压缩瓦片数据组织与存储、分布式文件输入输出接口改进等方面对该存储策略加以实现,并使用基于该存储策略的地图代数局部算子的分布式计算流程加以验证。理论分析与实验结果表明,该策略能够显著提高分布式计算环境下空间分析算子的运算速度。
|
关 键 词: | 分布式计算 栅格数据 存储策略 地图代数 |
收稿时间: | 2016-07-13 |
修稿时间: | 2017-01-15 |
本文献已被 CNKI 等数据库收录! |
| 点击此处可从《国防科技大学学报》浏览原始摘要信息 |
|
点击此处可从《国防科技大学学报》下载全文 |
|