| 面向大规模集群的并行I/O用户层配置优化策略 |
| |
| 引用本文： | 田鸿运,武林平,董勇,景翠萍,罗红兵,莫则尧.面向大规模集群的并行I/O用户层配置优化策略[J].国防科技大学学报,2020,42(2):23-30. |
| |
| 作者姓名： | 田鸿运 武林平 董勇 景翠萍 罗红兵 莫则尧 |
| |
| 作者单位： | 北京应用物理与计算数学研究所, 北京 100094;国防科技大学 计算机学院, 湖南 长沙 410073 |
| |
| 基金项目： | 国家重点研发计划资助项目(2018YFB0204003) |
| |
| 摘 要： | 影响应用I/O性能的关键因素主要有三个层次:包括应用的I/O接口实现、体系结构和文件系统组件的性能以及应用的I/O参数配置。从应用I/O配置优化的视角,分析了大规模集群并行I/O的配置调优空间,在此基础上,给出了一套大规模集群并行I/O性能特征测试分析方法。基于该方法,在某国产超级计算集群上开展了一系列I/O测试分析来刻画系统的I/O性能特征,进而指导并行应用程序的I/O配置优化。基于优化后的配置参数,在两类典型的并行I/O场景中,针对某类生产应用程序,8192进程下的重启动数据写操作时间下降了15%,4096核的程序作业加载时间从10 min缩短到了5 s。
|
| 关 键 词： | 并行I/O优化策略 Lustre文件系统 大规模集群 传输数据量 条带数 |
| 收稿时间： | 2019/9/19 0:00:00 |
User-level parallel I/O configuration optimize strategy toward large-scale cluster |
| |
| TIAN Hongyun,WU Linping,DONG Yong,JING Cuiping,LUO Hongbing,MO Zeyao.User-level parallel I/O configuration optimize strategy toward large-scale cluster[J].Journal of National University of Defense Technology,2020,42(2):23-30. |
| |
| Authors: | TIAN Hongyun WU Linping DONG Yong JING Cuiping LUO Hongbing MO Zeyao |
| |
| Institution: | Institute of Applied Physics and Computational Mathematics, Beijing 100094, China;College of Computer Science and Technology, National University of Defense Technology, Changsha 410073, China |
| |
| Abstract: | |
| |
| Keywords: | parallel I/O optimize strategy Lustre file system large-scale cluster transfer size stripe count |
| 本文献已被 CNKI 等数据库收录！ |
| 点击此处可从《国防科技大学学报》浏览原始摘要信息 |
| 点击此处可从《国防科技大学学报》下载免费的PDF全文 |
|
