这几天,大家都在吹英伟达,什么“核弹”、“炸场”、“史诗级”词汇都用上了。

其实中国并不比英伟达差

我们仔细剖析一下英伟达Blackwell架构的B200芯片,可以看到其与互联技术有密切关系。

一个是单个服务器内多个GPU互联的NVLINK技术,B100芯片使用的第五代NVLINK技术为每个 GPU 提供了突破性的1.8TB/s 双向吞吐量,确保多达576个GPU 之间的无缝高速通信。

另一个是不同服务器的GPU之间的NV Switch技术,每个NVSwitch都可以最多支持16个GPU互联,并且在使用NVSwitch进行互联的时候,不仅能够达到高速的效果,同时还能够保证每一个GPU和连接GPU之间都能够保持超低延迟的通讯。

说直白点,B200芯片并不是单一的GPU,而是通过互联,将多个GPU集成在一起。

为什么会这样?因为摩尔定律失效,单个芯片的提升面临瓶颈,要想提升算力,就需要通过互联、堆叠的方式实现。

比如,台积电的3nm制程,其实并没有给芯片性能带来革命性的变化。去年的苹果A17 Pro芯片,用了台积电的3nm制程,但是CPU性能只有10%的提升。

黄仁勋说," 创新不仅仅是芯片,而是整个堆叠 ",就是这个道理。

具体到AI大潮,对算力的需求是几何级增长,这个时候再指望单个芯片的性能提升已经不行,唯有通过多个GPU之间的高速互联。

换句话说,就是将GPU高速互联形成集群,这就相当于把AI的算力中心当做一台超级计算机来进行设计。

这种情形对于中国恰恰是机会。

因为众所周知的原因,我们不能使用先进制程制造芯片,但是这可以通过高速互联的集群来弥补。以华为为例,华为最擅长的就是联接,就是通信。与英伟达NVLINK对应的,是华为的HCCS,比如昇腾910B的HCCS总带宽为392GB/s,和英伟达A800 NVLINK的400GB/s相当。其他还有 PCIe 4.0、100G等高速互联技术。

华为正确预判到了集群的大方向,华为昇腾计算业务总裁张迪煊透露,早在2018年,华为就判断人工智能会快速发展,并改变过去小模型的开发模式,形成大算力结合大数据生成大模型的模式,因此华为早在6年前就开始在算力集群上发力。

压强式投入,让华为在算力集群上已经实现了重大突破。在2023年7月举行的昇腾人工智能产业高峰论坛上,华为宣布昇腾AI集群全面升级,集群规模从最初的4000卡集群扩展至16000卡,是业界首个万卡AI集群,拥有更快的训练速度和30天以上的稳定训练周期,十倍领先业界。

去年9月,华为推出全新架构的昇腾AI计算集群——Atlas 900 SuperCluster,可支持超万亿参数的大模型训练。新集群采用了全新的华为星河AI智算交换机CloudEngine XH16800,借助其高密的800GE端口能力,两层交换网络即可实现2250节点(等效于18000张卡)超大规模无收敛集群组网。

按照昇腾的指标,1000卡的算力约300P,千卡就能提升约30P,万卡就能提升约300P。

想象一下,18000张GPU卡高速互联在一起,是什么景象?这才是史诗级的超级AI计算机!

据了解,目前国产大模型有超过一半都是基于昇腾AI孵化出来的

所以,无需过分吹捧英伟达,无需对自身妄自菲薄,中国在万卡集群上已经走到了世界前列,在算力基础设施上并不差。

友情提示

本站部分转载文章,皆来自互联网,仅供参考及分享,并不用于任何商业用途;版权归原作者所有,如涉及作品内容、版权和其他问题,请与本网联系,我们将在第一时间删除内容!

联系邮箱:1042463605@qq.com