FlatLFS:一种面向海量小文件处理优化的轻量级文件系统

海量小文件的高效存储和访问是当前分布式文件系统面临的主要挑战之一。以GFS和HDFS为代表的分布式文件系统大多面向海量大文件的高效存储和访问设计,缺乏小文件处理的针对性优化,导致访问海量小文件时效率低下。针对分布式文件系统中海量小文件访问时的数据服务器优化问题,提出了一种采用扁平式数据存储方法的轻量级文件系统FlatLFS,取代传统文件系统对上层分布式文件系统提供数据存储和访问支持,提高了数据服务器处理小数据块时的I/O性能,从而提升了整个分布式文件系统的性能。实验表明,当数据块大小设定为1M时,FlatLFS的随机读性能分别比ext3、ext4、reiserfs高135%、112%和122%。     

稀疏卷积计算高效数据加载与输出缓存策略

针对现有神经网络加速器在处理稀疏神经网络时存在的数据加载效率低、乘加资源利用率低、输出缓存寻址逻辑复杂等问题,提出了稀疏卷积计算高效数据加载与输出缓存策略。将属于同一输入通道的非零输入特征图像数据和非零权重进行全对全乘累加运算,降低了非零数据配对难度,提高了乘加资源利用率;通过采用输入驻留计算,以及密集型循环加载特征图像数据,大幅减少了数据片外调取次数;优化了输出缓存设计,解决了现有方案中存在的输出缓存地址访问争用、存储拥塞等问题。实验表明,与采用类似架构的细粒度脉动加速器相比,在处理单元面积上减少了21.45%;在数据加载速度方面平均提高了117.71%在平均乘法器利用率方面提高了11.25%,达到89%。     

6LoWPAN网络中基于非协作博弈算法的能效拥塞策略

拥塞问题导致6LoWPAN网络的数据包丢失,降低了网络吞吐量,并增加了额外能耗.为此,提出基于非协作博弈算法的能效拥塞(Non-cooperative Gaming for Energy-efficient Congestion Control,NGECC)策略.NGECC策略利用信道占用情况和缓存区的使用状况,优化叶节点的数据传输速率,进而避免父节点端的数据传输拥塞,从而降低数据包的丢失率.仿真结果表明,提出的NGECC策略提升了数据包传递率、吞吐量,并降低了能耗和数据传输时延.     

Linux虚拟文件系统层的路径检索加速

为解决 Linux 内核传统路径检索日益凸显的开销问题,提出Staged Lookup以加速路径检索,通过动态缓存热目录来减少文件访问的时延。Staged Lookup的核心在于缓存频繁使用的目录项,从而避免从根节点重复遍历路径。不同于从根结点开始的检索操作, Staged Lookup扩展了搜索策略,允许从最近缓存的目录项向后或向前进行路径检索。在Linux内核版本3.14和5.4上部署Staged Lookup的原型,并开展实际系统测试。实验数据显示,相比于传统的路径检索方式,Staged Lookup能实现高达46.9%的性能提升。     

用于减少远程Cache访问延迟的最后一次写访问预测方法

为减少远程Cache访问延迟,提高共享存储系统的性能,提出了一种新的基于程序内在写突发特性的最后一次写访问预测方法,并对一个具体的目录协议进行了改造,以支持该预测方法。通过预测Cache块的最后一次写访问并提前对其进行降级,处理器能直接从主存中读取数据,从而减少了远程Cache访问所需的一个网络跳步数。与当前基于指令的预测方法相比,该方法能极大减少存储开销。基准测试程序的评测结果表明,该方法能获得83.1%的预测准确率,并且能提高8.57%的程序执行性能,同时与基于指令的预测方法相比,该方法能分别减少历史踪迹表69%的存储开销和签名表36%的存储开销。     

2014nccet：一种新的用于减少远程Cache访问延迟的最后一次写访问预测方法*

为减少远程Cache访问延迟,提高共享存储系统的性能,提出了一种新的基于程序内在写突发特性的最后一次写访问预测方法,并对一个具体的目录协议进行了改造,以支持该预测方法。通过预测Cache块的最后一次写访问并提前对其进行降级,处理器能直接从主存中读取数据,从而减少了远程Cache访问所需的一个网络跳步数。与当前基于指令的预测方法相比,该方法能极大减少存储开销。基准测试程序的评测结果表明,该方法能获得83.1%的预测准确率,并且能提高8.57%的程序执行性能,同时与基于指令的预测方法相比,该方法能分别减少历史踪迹表69%的存储开销和签名表36%的存储开销。     

闪存阵列的可重构策略

利用低延迟、低功耗、高可靠的闪存芯片构建闪存存储阵列是实现高性能存储系统的有效手段。但应用传统磁盘阵列技术构建闪存存储阵列,会引入磨损均衡、校验数据更新频繁导致阵列生命周期降低等问题。针对闪存固有的读写特性,设计实现了一种基于NAND Flash的高性能磁盘阵列机制——基于缓存的可重构磁盘阵列策略。该机制采用可重构条带的思想,利用存储等级的内存作为缓存,对数据顺序重组。实验结果表明:该策略能够有效降低垃圾回收开销,提高闪存阵列的性能和使用寿命。     

面向网络延迟均衡性的片上网络交叉开关分配策略

针对路由器中的交叉开关分配,提出面向网络延迟均衡性的分配策略,旨在通过更加公平的交叉开关分配策略提升网络延迟均衡性,从而进一步提升系统性能。通过在全系统模拟器上运行SPEC CPU2006实验表明,与传统的分离式分配策略和最新的TS-Router分配策略相比,延迟标准差分别平均降低了13. 8%和3. 9%,而最大延迟分别平均降低了45. 6%和15. 1%。在系统性能方面,相比于TS-Router,所提分配策略在IPC上平均提升了0. 8%。在分离式分配器的基础上完成了硬件实现,并给出了速度、面积和功耗方面的开销评估。     

基于D2D高速传输的本地缓存共享系统

为解决移动网络中存在的海量视频数据重复传输的问题,基于设备直连技术设计了一种本地缓存共享系统.在系统设计中,综合考虑视频对用户的吸引程度异构性和不完全的分享意愿,利用泊松点理论对移动数据特征进行了建模分析.在服务供应商和网络用户之间,考虑社交关系,针对资源分享建立了交易模型.实验结果表明,D2D本地缓存系统可以有效降低数据传输延迟,提高供应者的服务质量和网络视频用户的满意度.     

用于DDR3访存优化的数据缓冲机制

为提高DDR3控制器访存效率,设计了基于DDR3存储器预取访问数据长度的数据缓冲机制,将访存请求分为三种基本类型并分别排队处理,降低数据丢弃和实际动态随机访问存储器访问发生次数。针对图像和视频类应用程序的实验结果表明,相对于传统先到先服务的DDR3访存控制器,该机制取得了平均21.3%、最好51.3%的性能提升,硬件开销在可接受范围内。     

基于SoPC和NFS的虚拟SATA硬盘

大数据背景下,网络文件系统NFS作为一种成熟的分布式文件系统,为数据存储、管理提供了良好解决方案;So PC是基于软硬件协同设计的片上可编程系统,应用前景十分广泛。系统以SATA硬盘为存储介质实现了一个基于So PC的完整网络存储结构。重点介绍了如何在FPGA内嵌Micro Blaze处理器上设计实现NFS服务组件、文件系统软件,以及如何设计实现SATA硬盘控制硬件IP核。经Xilinx的XUPV5_LX110T开发平台调试验证,So PC网络存储软硬件系统工作正常,可以用作云存储的虚拟资源节点。     

分布式计算环境下的栅格数据存储策略

针对传统的栅格数据存储策略不能满足分布式计算环境下粗粒度数据访问需求,应对海量栅格数据计算时效率低下的问题,结合分布式文件系统的存储特点,同时考虑地图代数算子在Map/Reduce阶段以栅格瓦片为单位的计算特点,提出一种基于Hadoop分布式文件系统的栅格瓦片存储策略。围绕栅格数据瓦片分割、压缩瓦片数据组织与存储、分布式文件输入输出接口改进等方面对该存储策略加以实现,并使用基于该存储策略的地图代数局部算子的分布式计算流程加以验证。理论分析与实验结果表明,该策略能够显著提高分布式计算环境下空间分析算子的运算速度。     

Novell网络环境下分布式文件系统的设计与实现

在局部网络环境下实现分布式文件系统和远程过程调用是实现高层分布式软件的基础。本文在分析Netware层次结构的基础上,给出了一个在网络层上的分布式文件系统和远程过程调用的设计与实现,详细讨论了该系统的功能、用户界面和实现中的技术问题,包括可靠性和并发控制等必须解决的问题。本文的工作是为在Novell网上实现分布式数据库而设计的。     

基于Libpcap网络数据包捕获技术的改进

分析了Linux下基于Libpcap的网络数据包捕获技术机理,指出了影响数据包捕获性能的＂瓶颈＂,通过零拷贝技术、内存映射技术和中断节制机制对其改进,并进行仿真实验。结果表明：改进方法可以显著提高数据包的捕获率。     

位置信息与替换概率相结合的多核共享Cache管理机制

多核系统中末级Cache是影响整体性能的关键。为了提出一种细粒度、低延迟、低代价的末级共享Cache资源管理机制,将系统性能目标转换为每个内核当前占用Cache资源的替换概率,以决定每个内核能够提供的被替换资源的数量;对某个需要增加Cache资源的内核,从可提供被替换资源的候选内核中选出距离较近且替换概率较高的一个内核,并以Cache块为粒度进行替换,从而实现Cache资源在不同内核间的动态划分。与传统以相联度为粒度的粗粒度替换机制相比,以Cache块为单位的替换机制具有更细的替换粒度,灵活性更高。另外,通过将位置信息和替换概率结合,保证了Cache资源与相应内核在物理布局上的收敛,降低了访问延迟。同时,所提出的方法只需要增加极少的硬件代价。实验结果表明,根据实验场景和对比对象的不同,所提方法与其他已有研究成果相比,可以实现从6.8%到22.7%的性能提升。     

动态服务质量的多信道媒体接入控制传输机制

针对航空自组网在高负载下的服务质量及时延问题,提出一种动态服务质量的多信道媒体接入控制传输机制。以多信道检测统计为平台,结合优先级机制,通过在高负载网络中适当遏制低优先级业务,并且进行网络流量优化,保证高优先级业务的低时延发送;同时利用流量预测模型估计网络流量,通过粒子群优化算法进行优化,寻找合适的优先级门限值,确保高优先级业务接入率。通过计算机仿真可知,所设计的动态服务质量的多信道媒体接入控制传输机制,可在大负载网络中动态控制信道的接入,保持良好的网络吞吐量,其高优先级业务接入率达到99%以上,能有效解决航空数据链网络高业务量导致的服务质量及时延问题。