你可以围绕一款全新GPU,借助精心设计的扩展网络、独特的芯粒架构以及先进的液冷技术,搭建一整座数据中心。或者如AMD,可以推出一款性能强劲的GPU,让客户能够直接插入现有服务器的PCI总线,为运行新的AI工作负载立即获得性能提升。
这正是AMD上周发布的MI350P——其Instinct系列的最新GPU所采取的策略。MI350P拥有1,850亿个晶体管、144GB HBM3e显存容量,以及每秒4TB的峰值内存带宽,专为运行大中小规模语言模型设计,适用于AI推理和RAG(检索增强生成)场景。
AMD MI350P技术规格
MI350P插入标准PCIe Gen 5总线,与主机之间提供每秒128GB的连接速度。其热设计功耗为600W,支持BF16、FP8、MXFP6和MXFP4精度工作负载,通过128个AMD CDNA第四代计算单元,可提供2,299万亿次浮点运算性能,MXFP4精度下峰值可达4,600万亿次浮点运算。
单节点最多可配置8块MI350P GPU,客户还可将每块MI350P GPU划分为4个分区,每个分区配备36GB HBM3内存。该GPU设计用于处理参数量达2,000亿至2,500亿的AI模型,同时还提供视频和JPG解码功能。
这款新GPU采用标准风冷设计,AMD对此特意强调。"采用AI并不意味着要彻底重建基础设施,"AMD负责计算和企业级AI业务开发团队负责人Suresh Andani在AMD博客文章中写道。"借助AMD Instinct MI350P PCIe卡,企业可以在现有数据中心内运行更多模型、服务更多用户。"
AMD Instinct MI350系列GPU及 MI350P PCIe卡
合作伙伴支持
AMD发布MI350P时获得了包括戴尔科技在内的计算机厂商支持。戴尔产品管理副总裁David Schmidt表示,这款新GPU将帮助客户更快推进业务。"对于认真布局AI的企业而言,本地基础设施不是妥协,"他说,"这是一种竞争优势,能提供最重要的管控力、安全性和可预测的结果。"
技嘉也在其AI服务器产品阵容中采用MI350P。技嘉总经理Daniel Hou称赞这款新GPU的实用性。"凭借基于PCIe的设计,AMD Instinct MI350P实现了灵活部署和无缝系统集成,使企业能够构建高性能AI环境,具备全球扩展所需的灵活性和效率,"Hou表示。
AMD的其他GPU产品线
AMD同时也在研发更高端的风冷GPU以及液冷产品。例如,该公司推出了Instinct UB B8,这是一款基于MI350X和MI355X系列的8-GPU风冷配置,以通用基板形式交付。
UB B8提供2.3TB HBM3显存,提供每秒8TB的内存带宽。它还将接入AMD的Infinity Fabric互联架构,提供AMD称其扩展能力可与英伟达Blackwell相当。UB B8将支持参数量最高达5,000亿的模型,专为大规模AI训练和推理设计。
AMD还提供Instinct MI355X的液冷版本,其热设计功耗高达1,400W。超微和TensorWave正与AMD合作支持这些液冷芯片。AMD还提供其Radeon游戏GPU的液冷版本。
市场定位
毫无疑问,能够以特殊方式串联起来训练最大型AI模型、支撑巨型AI工厂的超高端GPU确实有其市场。这些产品绝对需要液冷,甚至可能需要不同的供电方案,例如英伟达转向800V直流供电。但也有大量客户需要高性能计算设备来在现有技术栈上运行稍小一些的AI模型,且不愿为此建造全新的数据中心。这正是AMD以MI355P GPU所瞄准的细分市场。