并行科学计算应用的动态I/O模式分析

设计高性能并行文件系统的关键前提是对 Ｉ／ Ｏ 访问模式的分析和研究。并行文件系统的界面、组织结构、ｃａｃｈｅ 预取算法等都与具体应用的 Ｉ／ Ｏ 模式紧密相关。目前，大多数对 Ｉ／ Ｏ 模式的分析局限于其静态模式，而动态 Ｉ／ Ｏ 模式对并行文件系统的设计至关重要。本文通过分析并行科学计算应用的动态 Ｉ／ Ｏ 访问模式，总结出科学计算应用在访问数据量、时间间隔、访问顺序性等空间、时间上的一般访问特性，并在此基础上提出设计面向并行科学计算应用的并行文件系统应考虑的因素。     

巨型机环境下UNIX逻辑盘的实现

本文针对巨型机的体系结构特点,对UNIX逻辑设备概念进行了扩充,引入巨型机逻辑盘的概念,给出了一种逻辑盘的实现。逻辑盘的概念使得文件系统的大小独立于物理盘的容量、支持巨型文件或巨型文件系统。     

基于SoPC和NFS的虚拟SATA硬盘

大数据背景下,网络文件系统NFS作为一种成熟的分布式文件系统,为数据存储、管理提供了良好解决方案;So PC是基于软硬件协同设计的片上可编程系统,应用前景十分广泛。系统以SATA硬盘为存储介质实现了一个基于So PC的完整网络存储结构。重点介绍了如何在FPGA内嵌Micro Blaze处理器上设计实现NFS服务组件、文件系统软件,以及如何设计实现SATA硬盘控制硬件IP核。经Xilinx的XUPV5_LX110T开发平台调试验证,So PC网络存储软硬件系统工作正常,可以用作云存储的虚拟资源节点。     

FlatLFS:一种面向海量小文件处理优化的轻量级文件系统

海量小文件的高效存储和访问是当前分布式文件系统面临的主要挑战之一。以GFS和HDFS为代表的分布式文件系统大多面向海量大文件的高效存储和访问设计,缺乏小文件处理的针对性优化,导致访问海量小文件时效率低下。针对分布式文件系统中海量小文件访问时的数据服务器优化问题,提出了一种采用扁平式数据存储方法的轻量级文件系统FlatLFS,取代传统文件系统对上层分布式文件系统提供数据存储和访问支持,提高了数据服务器处理小数据块时的I/O性能,从而提升了整个分布式文件系统的性能。实验表明,当数据块大小设定为1M时,FlatLFS的随机读性能分别比ext3、ext4、reiserfs高135%、112%和122%。     

面向分层混合存储架构的协同式突发缓冲技术

科学计算产生和分析的数据规模日益增长,高性能计算机的存储系统在体系架构和软件管理方法上面临重大挑战。针对天河-2系统的新型分层混合存储架构,提出一种由应用程序耦合的协同式突发缓冲技术来有效利用其存储资源优势。该方法采用运行时动态耦合的方法,将临近计算任务的分布式高速存储资源聚合成为一个的巨大的协同式突发缓冲区,通过采用文件命名空间投影的映射方法组织全局数据视图,利用位置亲和和感知数据意图的方法来挖掘空间局部性和时间局部性,并利用应用并发度感知的策略优化数据移动效率。天河-2系统的测试结果表明,该方法能够有效优化多种典型应用场景,可获得高可扩展的突发并行输出带宽和稳定的持续并行输出带宽,可显著提升数据分析场景的输入/输出性能,适合应用于大规模超级计算机的存储系统。     

嵌入式Linux中Yaffs文件系统的构建与优化

针对嵌入式Linux开发中文件系统的重要作用,详细介绍了如何利用busybox构造一个最小的Yaffs日志型文件系统,并配置、优化文件系统的物理布局和各级子目录文件,使制作的文件系统在满足开发功能的条件下最大限度地减小所占内存空间。设置文件系统用户和所属组来提高系统安全性,使该文件系统更好地应用于嵌入式开发。并针对基于Nand Flash的Yaffs在损耗均衡和垃圾回收方面的不足,提出了优化策略,延长Nand Flash的使用寿命。     

计算存储融合：从高性能计算到大数据

随着军事信息化建设,物联网广泛应用于战场感知、智能控制等军事领域,产生了海量的半结构化、非结构化的数据,受到I/O性能尤其是网络传输、硬盘读写的限制,传统的计算系统难以满足海量数据处理的应用需求。因此,提出了一种计算存储融合方法,通过扩展Linux内核,将集群内所有节点上的内存、处理器等计算存储资源在系统空间映射成一个统一的资源池,实现了单一进程空间和单一内存空间,并在内存空间内建立一个分布式内存文件系统。计算时可将数据完全加载到内存中,计算过程中仅与内存文件系统交互,避免了硬盘读写对系统性能的影响;另外,通过进程迁移,避免了节点之间的大量数据传输。实验结果表明,该方法对数据密集型计算是有效的,能够大幅提升系统的计算性能。     

移动存储介质安全管理系统设计与实现

针对移动存储介质的使用特点，提出了一种基于WindowsNT的移动存储介质安全管理系统的设计方案，讨论了基于波分复用（WDM）分层驱动模型的实现原理，设计了用于增强身份验证安全性的一次性口令算法，采用3层密钥结构以及改进的加密模式，不仅提高了文件加密的安全强度，也保证了小群组内文件的安全共享。     

Linux虚拟文件系统层的路径检索加速

为解决 Linux 内核传统路径检索日益凸显的开销问题,提出Staged Lookup以加速路径检索,通过动态缓存热目录来减少文件访问的时延。Staged Lookup的核心在于缓存频繁使用的目录项,从而避免从根节点重复遍历路径。不同于从根结点开始的检索操作, Staged Lookup扩展了搜索策略,允许从最近缓存的目录项向后或向前进行路径检索。在Linux内核版本3.14和5.4上部署Staged Lookup的原型,并开展实际系统测试。实验数据显示,相比于传统的路径检索方式,Staged Lookup能实现高达46.9%的性能提升。     

文件过滤驱动在文档安全管理系统中的应用

通过对文件过滤驱动运行机制的分析，系统决定采用文件过滤驱动的原理来实现对磁盘上重要文档进行动态加解密。该加密方式与其他加密算法相比具有速度快、加密彻底、安全性好、访问控制方便等优点，同时可以支持多种存储介质。