HPC集群自动弹性扩缩的两种实现方式

目录一、LSF Resource Connector二、HPCinsights Augur三、总结弹性扩缩技术正在成为HPC集群中的一项重要技术。它可以根据实际需求动态调整集群资源应对用户负载的波动。对于运维团队来说自动弹性扩缩能够减轻集群运维负担提高集群资源利用率降低成本。目前已经存在一些可行的集群自动扩缩方案。其中LSF Resource Connector是LSF官方提供的自动扩缩工具能够帮助用户实现LSF集群的弹性扩缩。另一种方案是通过HPCinsights与Augur的组合可以更加灵活的实现HPC集群弹性扩缩需求。我们来具体介绍这两种实现方式。一、LSF Resource ConnectorLSF Resource Connector简称LSF RC是LSF 10.1版本的一个新特性该特性使得LSF能够根据集群的作业负载情况从各种外部计算资源管理系统借用计算资源虚拟机或者物理机将其加入LSF集群再将作业调度到借用的资源上。下图是LSF Resource Connector涉及的重要组件。从上图可以得知Resource Connector主要涉及的组件包括mbschd、mbatchd和ebrokerd。在ebrokerd内部定义了一组通用的Resource Connector接口可以调用不同的外部资源。例如AWSTool.jar作为AWS公有云的plugin实现了对AWS的资源借用和删除接口包括申请创建虚拟机、删除虚拟机和查询虚拟机状态等。以下是Resource Connector的具体工作流程。(1) 用户提交一个LSF作业。作业会产生一个对计算资源的需求Demand但是集群中已没有足够的计算资源来处理作业这时就需要从外部资源提供方借用资源了。(2) mbatchd守护进程会首先检查是否已经有机器被分配并且能够满足这个需求如果没有它会根据外部资源模板Template的定义计算针对每个模板需要几台机器然后生成一个具体的资源请求Request并把这个Request发给ebrokerd守护进程。(3) 根据作业的DemandResource Connector请求外部资源提供方来分配机器。(4) ebrokerd守护进程会监控请求的状态直到它检测到资源提供方成功分配了机器并在新分配的机器上启动LSF守护进程。(5) 机器加入到LSF集群之后作业就会被调度到这台机器上。(6) 当没有新的资源需求的时候mbatchd通过ebrokerd守护进程把资源返回给资源提供方。二、HPCinsights AugurHPCinsights可以实现对HPC集群的监控、查询、统计和分析参考“LSF集群监控和分析工具HPCinsights介绍”Augur可以实现对HPC集群的自动化运维参考“自动化运维平台Augur”通过HPCinsights与Augur的组合可以实现HPC集群自动扩容HPCinsights可以监控HPC集群的状态和负载变化当满足扩容条件时通过Augur自动触发扩容操作。HPC集群自动缩容当集群负载下降满足缩容条件时通过Augur自动释放多余资源以节省成本。HPCinsights与Augur实现HPC集群弹性扩缩的总体架构如下图所示下面我们以LSF集群和AWS公有云为例具体展示一下云上LSF集群的自动弹性扩缩过程。集群的初始化环境只有一个LSF管理节点部署在AWS公有云上集群中无任何作业。Augur管理平台中只有LSF管理节点和HPCinsights节点如下图所示。HPCinsights服务器资源监控面板中可以查看到LSF管理节点的监控信息。接下来我们在集群中提交一些作业可以看到这些作业因资源不足而处于PEND状态。根据预设的触发扩容的规则可配置集群开始自动扩容在AWS云上自动增加了两个LSF节点。HPCinsights服务器资源监控面板会显示新创建出来的这两个计算节点。我们用命令查询到LSF集群中添加了两台主机并且作业也分配到了这两台新的计算节点上。接下来我们展示集群缩容过程。我们把所有作业都杀掉只是为了演示目的实际使用时HPCinsights会根据作业和计算节点负载情况决定是否触发缩容队列中无等待作业自动触发缩容操作。Augur平台上会出现缩容场景执行的任务并且主机会从主机管理中移除。HPCinsights服务器资源监控面板也会同步信息最后只剩下LSF管理节点。以下是通过HPCinsights Augur实现集群弹性扩缩的演示视频。弹性伸缩演示-01三、总结LSF RC是LSF用于支持集群弹性扩缩的新功能。HPCinsights与Augur的组合可以更加灵活地实现HPC集群弹性扩缩其主要特点是弹性扩缩操作是通过调用Augur平台中的Ansible脚本实现的例如在AWS上创建虚拟机、加入LSF集群都以Ansible脚本方式实现可以根据实际需要进行修改因而可以应用于多种公有云平台也可以根据具体需求灵活调整HPC集群中的统一用户认证、共享文件系统等设置。另外HPCinsights Augur也提供了更加细粒度的扩缩策略LSF RC目前只根据pending作业数量进行扩缩但未考虑主机CPU和内存当前实际负载情况。