| 分布式异构集群中节点优先级调优算法 |
| |
| 引用本文： | 胡亚红,邱圆圆,毛家发. 分布式异构集群中节点优先级调优算法[J]. 国防科技大学学报, 2022, 44(5): 102-113 |
| |
| 作者姓名： | 胡亚红 邱圆圆 毛家发 |
| |
| 作者单位： | 浙江工业大学 计算机科学与技术学院软件学院, 浙江 杭州 310023 |
| |
| 基金项目： | 国家重点研发计划资助项目(2018YFB0204003) |
| |
| 摘 要： | 节点优先级常用于评价异构集群中节点的性能,因此节点优先级评价指标权重的选择非常重要。采用层次分析法(analytic hierarchy process, AHP)建立了节点优先级评价指标体系,计算得到各指标的初始权重,并使用BP神经网络对初始权重进行优化。训练时,BP网络输入为集群运行中采集的节点实时资源数据,输出为节点的优先级。分析网络训练完成后得到的权重矩阵可以获得各优先级评价指标的优化权重。实验表明,基于AHP和BP的节点优先级评价模型可以更加准确地分析节点性能。相比于Spark默认算法和权重未优化的对照算法,使用调优后的节点优先级可以有效提高集群性能。运行不同工作量的相同负载时,集群平均性能分别提高了16.64%和9.76%；处理相同工作量的不同负载时,集群的平均性能分别提高了12.49%和6.54%。
|
| 关 键 词： | 层次分析法 BP神经网络 节点优先级 权重 Spark |
| 收稿时间： | 2020-11-22 |
Node priority optimization in distributed heterogeneous clusters |
| |
| HU Yahong,QIU Yuanyuan,MAO Jiafa. Node priority optimization in distributed heterogeneous clusters[J]. Journal of National University of Defense Technology, 2022, 44(5): 102-113 |
| |
| Authors: | HU Yahong QIU Yuanyuan MAO Jiafa |
| |
| Affiliation: | College of Computer Science and TechnologyCollege of Software, Zhejiang University of Technology, Hangzhou 310023, China |
| |
| Abstract: | |
| |
| Keywords: | analytic hierarchy process BP neural network node priority weight Spark |
|
| 点击此处可从《国防科技大学学报》浏览原始摘要信息 |
|
点击此处可从《国防科技大学学报》下载免费的PDF全文 |
|
