全调度以太网（GSE），中国智算网络新标准

资讯 TOM 2024-08-13 13:14

伴随着智算技术的发展，越来越多的研究表明在 AI 训练达到一定规模下能力才会涌现，在AI大模型的扩展定律和涌现能力的驱动下，AI大模型的参数规模越来越大。国内外业界已出现多个万亿参数模型，十万亿参数模型在不远的将来也有望问世。公开资料表明，GPT-4 的参数体量比 GPT-3 增长了 10 倍，达到 1.8 万亿参数。国内的盘古、悟道大模型，其参数规模同样超过了万亿。

注:数据截至23年3月，资料来源:北京智源人工智能研究院，中金公司研究院

美国当地时间7月22日，特斯拉CEO埃隆·马斯克在旗下社交平台X上表示，xAI团队、X团队、英伟达及其他支持公司已经于当地时间凌晨4时20分开始在“孟菲斯超级集群(Memphis Supercluster)”上进行训练。“孟菲斯超级集群”由10万个液冷H100 GPU组成，在单个RDMA结构上运行，是“世界上最强大的人工智能训练集群”，该集群将被用于训练xAI旗下第三代大语言模型Grok-3。大规模AI计算从万卡进入到十万卡时代。

大规模智算集群需要高性能的网络连接，以保证各智算节点间的通信效率、数据吞吐和整个智算集群的算力性能。这对智算网络提出了新的挑战。

在基础训练模型中，一方面多任务混合部署，传统以太网源端发流直接采用网络“Push”流量模式，不考虑网络及接收端的接受能力，导致网络拥塞，使得 GPU 处于等待状态，造成梯度和参数同步过程中算力资源浪费较大，传统的 RoCE 网络有效吞吐仅为 50%;另一方面，智算集群网络流量呈现出数据流数目少、单流流量大的特点，在传统网络均衡算法下容易引发HASH 冲突，造成链路丢包，导致训练异常中断，极大影响训练效率。时代呼唤“零丢包”、“高吞吐”、“低时延”为核心特征的无损智算网络设备，来解决超大规模AI计算通信效率低的问题。

当前全球已商用的智算网络技术，主要有2大流派:

流派1:IB(InfiniBand)网络，是目前市场占有率最高的智算网络解决方案，IB 技术较为封闭，市场基本被英伟达垄断，不符合全球开放生态的产业共识。

流派2:RoCE(RDMA over Converged Ethernet)网络，RoCE广泛应用于需要高带宽和低延迟的网络，在传统的通算领域有很高的占有率，但是RoCE在智算网络中存在流量HASH极化的问题，需要辅助以各种均衡调参进行智算网络的适配。

为了更好的提升智算网络性能，更好的服务于大规模AI计算，出现了更多的新型技术流派:

新技术流派1:UEC(Ultra Ethernet Consortium)网络，2023 年 7 月Linux 基金会与全球头部科技企业联合成立 UEC 以太网创新联盟，其创始成员包括AMD、Arista、博通、思科、HPE、Intel、Meta、微软、Oracle和Eviden，致力于从物理层、链路层、传输层、软件层改进以太网技术的革新，来满足 AI 计算网络的需求。

新技术流派2:GSE(Global Scheduling Ethernet)网络，中国智算中心的建设热潮始于 2020 年，目前已有 40 多个城市在建设或在建智算中心。智算中心建设步伐加快，但国内的网络技术发展却滞后于 AI 大模型的演进。 AI 网络技术上的竞争已经成为中美技术博弈的新战场。在这样严峻的形势下，2023 年 5 月，中国移动联合产业界发布了全调度以太网(GSE)白皮书，同年8 月全调度以太网推进计划正式开启，标志着具有中国自主技术的 GSE 流派正式诞生。

GSE 是一个开放的生态组织，2023 年 9 月，中国移动发布推GSE 交换机原型系统样机。2024 年 1 月在移动实验室完成了GSE 交换机多厂商设备的互联互通测试。

GSE网络，专为大规模AI训练集群打造:

•按需调度，性能无损

GSE 网络基于 PKTC 容器技术，实现了高精度的网络负载均衡，从根本上改善了传统 AI 算力网络链路的带宽利用率;采用基于 DQSQ 的信令申请调度技术，数据流以“Pull”的方式进行转发，突破了传统以太网的性能瓶颈，网络性能提升至 95%以上。

在多业务部署场景下，相较于传统 RoCE 网络性能大幅下降，GSE 交换机能保持与单业务场景持平的网络转发性能，极大提升网络效率。

•场景灵活，快速部署

GSE 纯网侧方案即可满足智算无损需求，可搭配国产 GPU 集成网卡，降低端侧网卡要求。GSE技术原生解决了适配不同大模型训练的网络调参问题，避免了传统RoCE达数天甚至数周的网络参数调优，在算力昂贵、AI大模型竞争激烈的市场中，为客户带来灵活的算力网络建设方案，缩短了训练调优周期，帮助客户快速抢占市场先机。