分布式计算环境下的栅格数据存储策略

针对传统的栅格数据存储策略不能满足分布式计算环境下粗粒度数据访问需求,应对海量栅格数据计算时效率低下的问题,结合分布式文件系统的存储特点,同时考虑地图代数算子在Map/Reduce阶段以栅格瓦片为单位的计算特点,提出一种基于Hadoop分布式文件系统的栅格瓦片存储策略。围绕栅格数据瓦片分割、压缩瓦片数据组织与存储、分布式文件输入输出接口改进等方面对该存储策略加以实现,并使用基于该存储策略的地图代数局部算子的分布式计算流程加以验证。理论分析与实验结果表明,该策略能够显著提高分布式计算环境下空间分析算子的运算速度。     

基于新型非易失内存的远程零拷贝文件系统

为提升物联网与边缘计算应用中前端节点间的数据访问效率,提出了一种新型远程零拷贝文件系统。该文件系统无须借助特殊硬件,可直接基于通用网卡设备实现零拷贝的数据传输框架;充分利用新型非易失内存的随机访问特性,尽可能减少数据缓存和拷贝,提高数据访问的吞吐量。建立缓冲区池,精简并融合传统网络栈和存储栈,从而缩短文件访问路径,减少软件冗余,降低数据访问延迟。最终提供高带宽、低延迟的远程数据访问性能。测试结果表明,远程零拷贝文件系统比传统网络文件系统减少了42.26%～99.19%的读写延迟,细粒度访问下的吞吐量最高可提升1297倍,显著降低了处理器开销和缓存失效次数。     

基于SoPC和NFS的虚拟SATA硬盘

大数据背景下,网络文件系统NFS作为一种成熟的分布式文件系统,为数据存储、管理提供了良好解决方案;So PC是基于软硬件协同设计的片上可编程系统,应用前景十分广泛。系统以SATA硬盘为存储介质实现了一个基于So PC的完整网络存储结构。重点介绍了如何在FPGA内嵌Micro Blaze处理器上设计实现NFS服务组件、文件系统软件,以及如何设计实现SATA硬盘控制硬件IP核。经Xilinx的XUPV5_LX110T开发平台调试验证,So PC网络存储软硬件系统工作正常,可以用作云存储的虚拟资源节点。     

基于多通道采样数据的高速存储系统设计

建立了一个四层文件系统,将来自多个通道的采样数据按存储任务编号、通道号、采样起始时间分层存储,并对每层数据提供相应的索引文件,提供了按通道号及时间段的快速查询服务。测试表明,在IBM服务器上达到了150 MB/s的存储速度,可以满足同时300个通道的实时采样数据存储任务。     

基于访问偏好的卫星遥测时序数据存储方法

随着航天事业的发展,尤其伴随巨星星座的构建,在轨卫星数量越来越多,如何管理使用海量的遥测数据成为航天测控系统亟需解决的问题。针对测控系统当前时序数据全参数存储策略带来的时序数据量较大的问题,引入业务访问遥测数据记录中的遥测参数标识、数据使用时间和访问记录时间等参数,构建参数存储强度函数,提出基于深度线性规划霍克斯模型的时序存储算法,对时序数据存储策略进行改进,同时设计实验对比全参数时序数据存储策略和基于深度时序算法的存储策略,验证该方法在保证时序数据访问命中率基础上,存储量相较全参数存储策略降低至2%,达到与基于深度时序算法的存储策略相近的水平,同时解决基于深度时序算法的存储策略收敛性不足的问题,该方法有效解决了单服务器时序数据存储量大的问题。     

计算存储融合：从高性能计算到大数据

随着军事信息化建设,物联网广泛应用于战场感知、智能控制等军事领域,产生了海量的半结构化、非结构化的数据,受到I/O性能尤其是网络传输、硬盘读写的限制,传统的计算系统难以满足海量数据处理的应用需求。因此,提出了一种计算存储融合方法,通过扩展Linux内核,将集群内所有节点上的内存、处理器等计算存储资源在系统空间映射成一个统一的资源池,实现了单一进程空间和单一内存空间,并在内存空间内建立一个分布式内存文件系统。计算时可将数据完全加载到内存中,计算过程中仅与内存文件系统交互,避免了硬盘读写对系统性能的影响;另外,通过进程迁移,避免了节点之间的大量数据传输。实验结果表明,该方法对数据密集型计算是有效的,能够大幅提升系统的计算性能。     

基于Erasure Code的分割文件P2P存储结构设计

在充分考虑P2P存储特点的前提下,设计了一种新颖的基于Erasure Code的分割文件P2P存储方案,构建Chord协议上的P2P文件存储结构.通过设计有效的文件存储、访问和更新功能,克服传统Erasure Code冗余文件存储方案的不足,使存储文件具有一定的数据修改能力和结构伸缩能力.理论分析和实验仿真验证了设计方案在P2P存储系统中的可行性和有效性.     

稀疏卷积计算高效数据加载与输出缓存策略

针对现有神经网络加速器在处理稀疏神经网络时存在的数据加载效率低、乘加资源利用率低、输出缓存寻址逻辑复杂等问题,提出了稀疏卷积计算高效数据加载与输出缓存策略。将属于同一输入通道的非零输入特征图像数据和非零权重进行全对全乘累加运算,降低了非零数据配对难度,提高了乘加资源利用率;通过采用输入驻留计算,以及密集型循环加载特征图像数据,大幅减少了数据片外调取次数;优化了输出缓存设计,解决了现有方案中存在的输出缓存地址访问争用、存储拥塞等问题。实验表明,与采用类似架构的细粒度脉动加速器相比,在处理单元面积上减少了21.45%;在数据加载速度方面平均提高了117.71%在平均乘法器利用率方面提高了11.25%,达到89%。     

基于Linux文件检索方法的改进研究

随着磁盘容量的急剧增大,文件系统的性能以及文件系统的效率会急剧下降,这是因为文件列表过于庞大,传统的文件系统在检索文件时采用的线性搜索方式带来的检索效率低下导致。对Linux虚拟文件系统进行深入剖析,阐述了VFS打开以及新建文件的机制,指出其存在的缺陷及问题。在Linux文件系统的基础上,参考暴雪游戏公司解决hash冲突的blizzard算法,提出一种通过在磁盘上建立文件目录项的哈希表来提高文件查找效率的方法。     

用于减少远程Cache访问延迟的最后一次写访问预测方法

为减少远程Cache访问延迟,提高共享存储系统的性能,提出了一种新的基于程序内在写突发特性的最后一次写访问预测方法,并对一个具体的目录协议进行了改造,以支持该预测方法。通过预测Cache块的最后一次写访问并提前对其进行降级,处理器能直接从主存中读取数据,从而减少了远程Cache访问所需的一个网络跳步数。与当前基于指令的预测方法相比,该方法能极大减少存储开销。基准测试程序的评测结果表明,该方法能获得83.1%的预测准确率,并且能提高8.57%的程序执行性能,同时与基于指令的预测方法相比,该方法能分别减少历史踪迹表69%的存储开销和签名表36%的存储开销。     

COFF 文件装载机制的研究

结合通用的ＣＯＦＦ目标文件格式,研究了系统加速板执行文件的加载及运行控制机制,阐述了加载ＣＯＦＦ文件的思路和实现方法。文中还设计了能有效提高系统效率的文件预装载机制,讨论了这一机制的原理和具体实现。     

Novell网络环境下分布式文件系统的设计与实现

在局部网络环境下实现分布式文件系统和远程过程调用是实现高层分布式软件的基础。本文在分析Netware层次结构的基础上,给出了一个在网络层上的分布式文件系统和远程过程调用的设计与实现,详细讨论了该系统的功能、用户界面和实现中的技术问题,包括可靠性和并发控制等必须解决的问题。本文的工作是为在Novell网上实现分布式数据库而设计的。     

基于用户意愿的文件访问控制策略

访问控制是保护计算机上文件安全的重要技术手段。针对文件攻击,提出一种量化的评估方法,对主流访问控制策略进行了量化评估,指出主流访问控制策略的脆弱性在于赋予了程序访问用户能够访问的文件集合的权利。提出一种基于用户意愿的访问控制策略,其风险远远小于主流访问控制策略,能够防御未知文件攻击,证明了策略的安全性质,并讨论了其实现方案。     

高校人才引进中人事档案重建的探讨

近年来，为突破某些单位利用人事档案阻碍人才流动的限制，高校推出了重建人事档案的进人机制，希望以此解决人才紧缺问题，解除外来高层次人才“人档分离”的后顾之忧，取得人才竞争的优势。重建人事档案的做法，突破了传统人事档案管理制度，成为当前人事制度和人事档案管理改革的新课题。     

记录可寻址随机访问文件的设计与实现

记录可寻址随机访问文件是一种新型ＦＯＲＴＲＡＮ文件,它集中了顺序与直接文件两者的优点,为用户随机访问文件中不等长记录提供了更为有效的手段。本文不仅介绍了其使用方法,而且还讨论了实现中的有关问题。     

编程实现局域网内可靠传输文件的方法研究

针对在开发船舶动力系统分布式设计环境过程中遇到的文件传输问题,讨论了分别基于Socket技术和.NET Remoting技术的编程实现方法.通过比较发现,后者具有编程简单、使用可靠等方面的明显优势.另外,通过实验方式确定了传送过程中数据块大小的选择,并对文件加密解密的问题采用了加入随机数据的方式进行解决.