| 面向大规模集群并行I/O的用户层配置优化策略研究 |
| |
| 引用本文： | 田鸿运,武林平,董勇,景翠萍,罗红兵,莫则尧.面向大规模集群并行I/O的用户层配置优化策略研究[J].国防科技大学学报,2020,42(2). |
| |
| 作者姓名： | 田鸿运 武林平 董勇 景翠萍 罗红兵 莫则尧 |
| |
| 作者单位： | 北京应用物理与计算数学研究所,北京应用物理与计算数学研究所,国防科技大学,北京应用物理与计算数学研究所,北京应用物理与计算数学研究所,北京应用物理与计算数学研究所 |
| |
| 基金项目： | 本课题得到国家重点研发计划 支持应用社区的全局资源供给与使用 资助. 田鸿运,男,1986年生,博士研究生,中国计算机学会(CCF)会员,主要研究方向为高性能计算机系统性能优化、高性能计算机系统可靠性建模研究。Email: tian_hongyun@iapcm.ac.cn. 武林平,男,1977年生,博士,研究员,中国计算机学会(CCF)会员,主要研究方向为高性能计算机性能模型及参数评测、系统运行稳定性及容错机制、多核多处理器计算结点操作系统行为建模与优化、并行程序性能分析方法与工具。董 勇,男,1980年生,博士,副研究员,中国计算机学会(CCF)会员,主要研究方向为高性能计算、并行I/O和网络存储系统． |
| |
| 摘 要： | 近年来，大规模并行场景下的I/O性能越来越受到应用科学家的关注。影响应用I/O性能的关键因素主要有三个层次：包括应用的I/O接口实现、体系结构和文件系统组件的性能以及应用的I/O参数配置。本文从应用I/O配置优化的视角，分析了大规模集群并行I/O的配置调优空间，在此基础上，给出了一套大规模集群并行I/O性能特征测试分析方法，基于该方法，在某国产超级计算集群上开展了一系列I/O测试分析来刻画系统的I/O性能特征，进而指导并行应用程序的I/O配置优化。基于优化后的配置参数，在两类典型的并行I/O场景中，针对某类生产应用程序，8192进程下的重启动数据写操作时间下降了15%，4096核的程序作业加载时间从10分钟缩短到了5s。本文提出的I/O配置调优空间及优化方法，可以推广应用到其它同类系统平台，对于大规模集群上的用户层并行I/O配置调优具有借鉴意义。
|
| 关 键 词： | 并行I/O配置优化策略 传输数据量 条带数 Lustre文件系统 IOR 大规模集群 |
| 收稿时间： | 2019/9/19 0:00:00 |
| 修稿时间： | 2019/12/21 0:00:00 |
A User-Level Configuration Optimize Strategy Toward Parallel I/O on Large-Scale Cluster |
| |
| Abstract: | |
| |
| Keywords: | parallel I/O configuration optimize strategy transfer size stripe count Lustre file system IOR Large-Scale Cluster |
|
| 点击此处可从《国防科技大学学报》浏览原始摘要信息 |
| 点击此处可从《国防科技大学学报》下载免费的PDF全文 |
|
