面向FaaS的算网异构算力调度技术

引 言国家发改委等四部门联合发布《全国一体化大数据中心协同创新体系算力枢纽实施方案》提出在京津冀、长三角、粤港澳大湾区、成渝以及贵州、内蒙古、甘肃、宁夏建设全国算力网络国家枢纽节点启动实施“东数西算”工程构建国家算力网络体系。图1 “联接计算”构建国家新基建战略核心什么是算力网络在国内如火如荼开展新基建发展之际其核心要素就是“连接计算”所谓连接就是通过5G、承载网等新型网络连接形式能够构建一张面向应用、面向业务的网络并且通过网络来建立连接传递数据和信息而计算就更不用说了已经成为国民经济最基本的生产资料。而传统的网络CT和计算IT的技术发展都是按照各自的技术路线演进。用户如果需要申请网络和计算需要分别申请相关的资源。而伴随着ICT云网融合技术的发展CT和IT逐渐开始借鉴对方的技术优势形成融合发展的态势。传统的云网融合则是在传统云计算技术的基础上统一构建云计算和网络的资源统一管理和编排。算力网络作为云网融合发展的下一个阶段也算是云网融合2.0更加强调网络的编排和管理能力促进了资源供给模式的变革进而发展为以网络为中心的融合资源供给模式用户向网络要资源通过网络来编排管理计算资源。图2 算力网络资源供给模式变革什么是异构算力什么叫“算力”算力就是计算能力可以概括为对数据进行的运算处理而信息时代的根基就是计算不论是使用手机发送微信、上网、订外卖等生活场景还是研究机构里使用超级计算机分析基因研究的科研场景亦或是企业使用数据中心进行大数据处理的政企应用场景落到芯片中其实都是数字比特信息的运算处理。异构算力是伴随着面向算力网络的泛在连接算力呈现异构性的趋势。另一方面随着芯片以及硬件的开源化不同的设备厂商结合不同的场景设计并开发了适合的计算芯片进行数据处理。从而促进了算力市场从传统的通用性向专用性的趋势发展。面向海量的异构算力不同的场景需要不同的算力进行协同处理。通过算力网络来协同和纳管调度异构算力构建起“云、边、端”一体的异构算力协同网络从而更好的满足包括高性能计算、物联网、边缘计算、人工智能等众多场景的算力需求。图3 异构算力满足多场景需求什么是FaaS算力的纳管和协同调度离不开云计算和云原生在算力网络中采用云计算和云原生来实现“云、边、端”的算力统一纳管和资源调度是目前实现异构算力共享的主流技术手段。随着云计算和云原生技术的发展进一步屏蔽底层算力和服务能力的差异化为上层应用提供无差别的服务能力是未来云计算发展的趋势Serverless目前是在行业内关注比较紧密的未来云原生技术发展的演进方向号称是云原生发展的下一个十年。所谓Serverless是一种构建和管理基于微服务架构的完整流程允许在服务部署级别而不是服务器部署级别来管理应用部署。与传统架构不同的之处在于服务完全由第三方管理由事件触发存在于无状态Stateless、暂存计算容器内。FaaSFunction as a Service函数即服务和BaaSBackend as a Service后端即服务目前是Serverless技术发展所涵盖的两个主流方向其中FaaS意在无须自行管理服务器系统或自己的服务器应用程序即可直接运行后端代码。随着云计算服务能力开放和函数能力开放通过函数服务的形式对外提供中台能力逐渐成为主流因此在现有的云原生能力开放架构中FaaS得到广泛应用。其中最著名的Knative是谷歌开源的Serverless架构由于其谷歌等互联网大厂的推广因此在目前开源社区和行业中得到广泛关注和应用并且和Kubernetes编排平台天然适配更加推动了Serverless发展。目前除了Knative框架之外还有其他几个比较著名的Serverless开源框架诸如OpenFaaS等。其轻量化架构在物联网、边缘计算等场景下得到广泛应用。面向Serverless的异构算力的最新成果近年来在学术界也在普遍考虑Serverless和异构算力进行结合。通过Serverless进一步屏蔽异构算力的差异性从而更好的为不同算力之间的调度提供无差别的服务函数接口来实现不同算力的协同。FDNFunction Delivery Network函数交付网络是中山大学李鹏飞教授团队提出的面向异构算力的函数协同架构。在2021年 IEEE 41st ICDCS会议上该团队发表了《Function Delivery NetworkExtending Serverless to Hetergeneous Computing》论文提出了通过FaaS平台来实现云计算、边缘计算、异构设备、高性能计算和公/私有云等能力开放并且通过FDN网络来实现函数声明和调度。开发者和用户直接在FDN进行应用开发和资源请求而不需要面向不同的异构计算资源分别进行资源申请和部署大大降低了使用者门槛。除此之外在2022年ACM的ASPLOS会议上来自上海交大以及美国南加州大学的几篇论文也是围绕Serverless在异构算力方面的相关成果展示的得到了业界的广泛关注。综上所述围绕通过Serverless 进一步屏蔽底层异构算力的差异性如何实现更好的算力协同和算力部署以及发挥异构算力的算力效能目前是新技术发展的热点领域随着我国一体化算力枢纽计算中心的大规模建设和部署需要考虑算力节点之间的协同问题以及差异化问题。同时也需要考虑如何为用户提供无差异化的服务环境从而进一步降低用户的使用门槛更加专注于业务代码的开发和服务创新。本文的主要技术架构本文正是基于算力网络技术的发展结合最新的云原生Serverless模式提出了面向FaaS的算网异构资源调度技术提出了整体的技术架构和异构算力调度机制并且在此基础上进一步提出了整体平台功能架构以期解决在目前算力网络异构算网融合条件下通过FaaS对上层应用进一步实现算力网络能力开放的问题。异构算力相关研究成果中国联通研究院是行业内较早从事算力网络的研究团队。一方面关注于IPv6、CFN和SRv6等新型网络的研究另一方面同时也关注异构算力的研究。在算力网络架构下如何通过新型网络来实现“云、边、端”的异构算力协同和统一纳管。2021年中国联通算力网络团队在业界首次提出了异构算力统一标识和服务化并且发布了业界首本关于异构算力的白皮书《异构算力统一标识与服务白皮书》2021年提出了异构算力标识体系并在CCSA成功立项异构算力系列标准立项。同年在ITU-T SG13成功立项《Computing power authentication scheduling architecture》。目前中国联通正在和ARM、微软等国际厂商合作联合在开源社区推进基于FaaS的算网融合设备的边缘能力开放。目前本团队积极将开源项目EdgeFaaS引入算力网络技术架构中通过和SONiC集成实现算网融合设备的算力纳管和能力开放通过算网融合设备提供边缘网络开放能力和异构算力纳管将边缘侧的能力开放以函数申明的形式发布到网络中用户通过访问请求来调用边缘服务从而实现了一台网络设备实现边缘侧的能力开放。目前该项目正在稳步推进中相关成果后续会持续发布。附 录AKRAINO开源社区主题演讲《EdgeFaaS Collaborative RD for Open Edge Scenarios》全文如下