当前位置：首页 > 智算网络技术 >

众智AI协同计算平台（AISynergy ）

鹏城众智AI协同计算平台AISynergy是一个分布式智能协同计算平台。该平台的目标是通过智算网络基础设施使能数据、算力、模型、网络和服务，完成跨多个智算中心的协同计算作业，进而实现全新计算范式和业务场景，如大模型跨域协同计算、多中心模型聚合、多中心联邦学习等。这种智能协同计算范式成为充分发挥智算网络整体效能、赋能人工智能产业规模化应用的关键。

AISynergy包括两大部分，第一大部分是协同计算作业管理部分即AISynergy-Platform，实现协同计算作业的配置、管理与可视化，另一部分是协同计算框架即AISynergy-Core，主要完成协同计算作业的核心计算逻辑，由智算网络用户进行配置和部署。众智协同计算平台包括多个组件：协同计算WEB平台、协同计算代理服务器、以及gRPC服务等。 (其中AISynergy-Core也可以单独安装和使用)

主要技术特点

众智协同计算平台的主要技术特点如下：

  • 支持跨域异构协同训练：支持跨异构智算中心的协同计算，能够支持GPU、NPU、MLU等异构AI集群之间以及MindSpore、Pytorch、TensorFlow、PaddlePaddle等异构AI架构之间的模型协同训练；
  • 作业管理与核心计算逻辑解耦：平台架构上将协同计算作业管理与协同计算核心计算逻辑框架解耦，协同计算作业管理既可以对接云际学习平台JoinAI，也可以对接本系统的协同计算框架AISynergy-Core。
  • 接口灵活可用：针对不同的AI框架统一接口，用户只需要添加几行代码就可以将算法变为协同计算的算法，使用灵活方便。
  • 并行模块：尽量减少侵入性代码，支持多种并行策略的协同训练，同时支持自动化和定制化的并行策略，并且支持了gloo端broadcast、allreduce等通信原语，以适配大模型跨域训练的场景。
  • benchmark：提供benchmark，负责收集有关设备和训练模型的信息（内存、通信延迟、计算能力）等，提供每个子任务多个优化的协同计算资源分配方案。
  • 多框架算法案例：提供不同框架、不同模型参数量的案例。目前已实现跨异构硬件（云脑I和云脑II）2.6B参数模型的训练。具体可参见提供的案例。

代码仓库：https://git.openi.org.cn/PCL-Platform.Intelligence/AISynergy
交流社区：https://git.openi.org.cn/PCL-Platform.Intelligence/AISynergy/issues

关键技术研究成果：

  1. 轻量级联邦学习框架
  2. 基于公平悔恨度量的协同贝叶斯优化算法

相关项目：

项目名称 简介 项目官网或代码仓地址
FedLab FedLab是一款灵活的轻量级联邦学习开源框架，也是目前国内高校推出的排名最高的联邦学习框架。
HiStar HiStar是由鹏城实验室人工智能研究中心-联邦学习中间件研发团队自主研发的联邦深度学习中间件，致力于解决人工智能领域面临的数据孤岛以及隐私安全问题。