基于Linux文件检索方法的改进研究

随着磁盘容量的急剧增大,文件系统的性能以及文件系统的效率会急剧下降,这是因为文件列表过于庞大,传统的文件系统在检索文件时采用的线性搜索方式带来的检索效率低下导致。对Linux虚拟文件系统进行深入剖析,阐述了VFS打开以及新建文件的机制,指出其存在的缺陷及问题。在Linux文件系统的基础上,参考暴雪游戏公司解决hash冲突的blizzard算法,提出一种通过在磁盘上建立文件目录项的哈希表来提高文件查找效率的方法。     

基于新型非易失内存的远程零拷贝文件系统

为提升物联网与边缘计算应用中前端节点间的数据访问效率,提出了一种新型远程零拷贝文件系统。该文件系统无须借助特殊硬件,可直接基于通用网卡设备实现零拷贝的数据传输框架;充分利用新型非易失内存的随机访问特性,尽可能减少数据缓存和拷贝,提高数据访问的吞吐量。建立缓冲区池,精简并融合传统网络栈和存储栈,从而缩短文件访问路径,减少软件冗余,降低数据访问延迟。最终提供高带宽、低延迟的远程数据访问性能。测试结果表明,远程零拷贝文件系统比传统网络文件系统减少了42.26%～99.19%的读写延迟,细粒度访问下的吞吐量最高可提升1297倍,显著降低了处理器开销和缓存失效次数。     

基于多通道采样数据的高速存储系统设计

建立了一个四层文件系统,将来自多个通道的采样数据按存储任务编号、通道号、采样起始时间分层存储,并对每层数据提供相应的索引文件,提供了按通道号及时间段的快速查询服务。测试表明,在IBM服务器上达到了150 MB/s的存储速度,可以满足同时300个通道的实时采样数据存储任务。     

面向大规模集群的并行I/O用户层配置优化策略

影响应用I/O性能的关键因素主要有三个层次:包括应用的I/O接口实现、体系结构和文件系统组件的性能以及应用的I/O参数配置。从应用I/O配置优化的视角,分析了大规模集群并行I/O的配置调优空间,在此基础上,给出了一套大规模集群并行I/O性能特征测试分析方法。基于该方法,在某国产超级计算集群上开展了一系列I/O测试分析来刻画系统的I/O性能特征,进而指导并行应用程序的I/O配置优化。基于优化后的配置参数,在两类典型的并行I/O场景中,针对某类生产应用程序,8192进程下的重启动数据写操作时间下降了15%,4096核的程序作业加载时间从10 min缩短到了5 s。     

面向大规模集群并行I/O的用户层配置优化策略研究

近年来，大规模并行场景下的I/O性能越来越受到应用科学家的关注。影响应用I/O性能的关键因素主要有三个层次：包括应用的I/O接口实现、体系结构和文件系统组件的性能以及应用的I/O参数配置。本文从应用I/O配置优化的视角，分析了大规模集群并行I/O的配置调优空间，在此基础上，给出了一套大规模集群并行I/O性能特征测试分析方法，基于该方法，在某国产超级计算集群上开展了一系列I/O测试分析来刻画系统的I/O性能特征，进而指导并行应用程序的I/O配置优化。基于优化后的配置参数，在两类典型的并行I/O场景中，针对某类生产应用程序，8192进程下的重启动数据写操作时间下降了15%，4096核的程序作业加载时间从10分钟缩短到了5s。本文提出的I/O配置调优空间及优化方法，可以推广应用到其它同类系统平台，对于大规模集群上的用户层并行I/O配置调优具有借鉴意义。