面向大规模集群并行I/O的用户层配置优化策略研究 |
| |
引用本文: | 田鸿运,武林平,董勇,景翠萍,罗红兵,莫则尧. 面向大规模集群并行I/O的用户层配置优化策略研究[J]. 国防科技大学学报, 2020, 42(2) |
| |
作者姓名: | 田鸿运 武林平 董勇 景翠萍 罗红兵 莫则尧 |
| |
作者单位: | 北京应用物理与计算数学研究所,北京应用物理与计算数学研究所,国防科技大学,北京应用物理与计算数学研究所,北京应用物理与计算数学研究所,北京应用物理与计算数学研究所 |
| |
基金项目: | 本课题得到国家重点研发计划 支持应用社区的全局资源供给与使用 资助. 田鸿运,男,1986年生,博士研究生,中国计算机学会(CCF)会员,主要研究方向为高性能计算机系统性能优化、高性能计算机系统可靠性建模研究。Email: tian_hongyun@iapcm.ac.cn. 武林平,男,1977年生,博士,研究员,中国计算机学会(CCF)会员,主要研究方向为高性能计算机性能模型及参数评测、系统运行稳定性及容错机制、多核多处理器计算结点操作系统行为建模与优化、并行程序性能分析方法与工具。董 勇,男,1980年生,博士,副研究员,中国计算机学会(CCF)会员,主要研究方向为高性能计算、并行I/O和网络存储系统. |
| |
摘 要: | 近年来,大规模并行场景下的I/O性能越来越受到应用科学家的关注。影响应用I/O性能的关键因素主要有三个层次:包括应用的I/O接口实现、体系结构和文件系统组件的性能以及应用的I/O参数配置。本文从应用I/O配置优化的视角,分析了大规模集群并行I/O的配置调优空间,在此基础上,给出了一套大规模集群并行I/O性能特征测试分析方法,基于该方法,在某国产超级计算集群上开展了一系列I/O测试分析来刻画系统的I/O性能特征,进而指导并行应用程序的I/O配置优化。基于优化后的配置参数,在两类典型的并行I/O场景中,针对某类生产应用程序,8192进程下的重启动数据写操作时间下降了15%,4096核的程序作业加载时间从10分钟缩短到了5s。本文提出的I/O配置调优空间及优化方法,可以推广应用到其它同类系统平台,对于大规模集群上的用户层并行I/O配置调优具有借鉴意义。
|
关 键 词: | 并行I/O配置优化策略 传输数据量 条带数 Lustre文件系统 IOR 大规模集群 |
收稿时间: | 2019-09-19 |
修稿时间: | 2019-12-21 |
A User-Level Configuration Optimize Strategy Toward Parallel I/O on Large-Scale Cluster |
| |
Abstract: | |
| |
Keywords: | parallel I/O configuration optimize strategy transfer size stripe count Lustre file system IOR Large-Scale Cluster |
|
| 点击此处可从《国防科技大学学报》浏览原始摘要信息 |
|
点击此处可从《国防科技大学学报》下载免费的PDF全文 |
|