Azure Maia 300要到2027年投产，微软先承诺每瓦多40% Token

微软在2026年10月12日的公告中表示，Azure Maia 300计划于2027年开始生产环境部署，预计整套系统每兆瓦的Token产出比领先的GPU系统高40%。这是未来部署的系统级能效预期；目前承接微软生产负载的是Maia 200。

新系统面向长上下文推理、对响应时间敏感的对话，以及持续执行多步任务的智能体。微软此次公布的不只是一颗加速器的规格，还包括芯粒、内存、机架和跨机架网络如何配合。理解其性能主张，关键是分清单颗芯片能提供什么、整座机架能处理多少请求，以及在固定供电条件下系统能产出多少Token。

每瓦多产Token，比较的是整套推理系统

每兆瓦Token产出衡量的是给定供电规模下的推理产量；换算成每瓦，比较关系相同，但计量对象仍是系统。机架中的互连、供电和散热都影响最终效率，不能把系统指标写成单颗Maia 300相对某颗GPU的测试成绩。对于受数据中心电力容量约束的云服务，功率归一化后的产量比芯片峰值算力更接近可部署容量，但它也不能直接表示某个模型的响应速度。

这项预测以“领先的GPU系统”为比较对象，公告没有给出具体GPU型号、模型、请求长度、并发量及延迟目标。输入上下文越长，留在内存中的状态通常越多；并发量和生成长度变化，也会改变同一套硬件的Token产量。因此，这个百分比可以说明微软设定的系统效率目标，尚不足以推算Azure客户运行特定模型的费用或等待时间。

另一个口径是满配机架相对上一代机架的Token吞吐。机架吞吐描述一座机架可处理的总工作量，每瓦产出描述电力效率，单芯片规格则描述一个加速器的能力。加速器密度提高时，机架总吞吐可能随之上升；这并不要求单颗芯片的速度按同样倍数增加。把这几项指标拆开，才能看出新设计的收益究竟来自芯片、内存，还是系统规模。

HBM4与chiplet把数据留在计算附近

微软的Maia 300架构说明列出每颗加速器的8组HBM4、288 GB内存和18 TB/s带宽，并称相对Maia 200，HBM带宽提高至2.5倍、容量增加33%，计算FLOPs增加36%；其机架设计容纳96颗加速器，功率预算为167 kW，满配机架的Token吞吐预计最高达到Maia 200机架的7倍。这些数字分别属于单颗加速器、代际规格和机架吞吐，不能合并成一项单芯片性能结论。

长上下文任务需要保留更多历史状态，生成阶段还要反复读取模型权重和KV缓存。计算单元即使有空闲算力，只要等不到数据，也无法持续生成Token。更大的高带宽内存有助于放置权重与状态，更高带宽则有助于在连续解码时供给数据。这是微软把设计重点放在内存和数据移动上的原因，而不只是追求更高的算术峰值。

芯粒设计把计算、内存控制和I/O功能分开；计算部分使用台积电N2P工艺。片上内存采用感知位置的非统一访问结构，软件可将数据安排在使用它的计算区域附近，并以片上SRAM暂存频繁访问的数据。较低精度的格式和硬件数据类型转换则减少权重及缓存需要占用、传输的字节数。它们都指向同一个机制：让生成过程少搬运数据，降低数据供给对算力的限制；实际收益仍取决于模型和服务配置。

机架网络让推理任务跨越物理边界

从架构图看，数据先由加速器本地的HBM送往计算区域；机架内，加速器通过直连和交换网络协作；机架之间，再由光连接的第二层网络扩展通信范围。机架内采用电连接，跨机架采用光连接，是为了让不同距离上的通信各用合适的路径。整套设计让软件可以用一致的通信方式调度分布在不同机架上的加速器。

这种安排针对的是推理任务与物理机架容量未必整齐匹配的问题。对通信延迟敏感的张量并行可以留在较近的加速器之间，范围更广的专家并行或流水线并行则可以跨机架分配。这样，任务无需为了适应单座机架而闲置一部分加速器；跨机架协作的代价仍包括更长的通信路径，调度时必须权衡。

预填充和解码也可以分别配置工作单元。预填充处理输入并建立状态，解码随后逐步生成输出；两段工作的计算和内存需求不同。把它们分开安排后，KV状态可沿同一加速器网络传给解码单元，避免额外绕经主机侧的独立网络。这解释了跨机架互连为何会影响最终Token产量：网络既承载并行计算的通信，也承载推理阶段之间的状态移动。

机架本身还必须在供电与散热限制内运行。加速器托盘、交换设备和液冷系统占用空间与电力，却也是提高可用吞吐所需的组成部分。因而机架吞吐的代际增幅，应连同机架密度、功率预算和网络设计一起理解，不能脱离这些条件套用到任意Azure部署。

对Azure服务的影响先从微软自有负载开始

Maia 200已经服务于Microsoft Copilot等微软生产负载。Maia 300的生产部署仍属下一阶段计划，微软希望让Maia成为其产品和服务的主要推理系统。这里的直接对象是微软运营的服务；第三方Azure客户何时能使用相关能力、能否选择对应硬件，以及哪些区域先上线，仍要由后续服务安排决定。

微软Azure硬件系统与基础设施负责人Rani Borkar在Axios采访中说：“We prioritize Maia for inference”。她同时表示，Maia 300的部署从2027年开始，扩展至多吉瓦规模需要更长时间。首批生产环境的工作负载和服务范围，将决定这套架构何时、以何种方式影响Azure AI服务用户。

相关阅读：

• 英伟达129亿美元收购Hugging Face：承诺不锁定自家算力
• 英国让AI进电网：省钱承诺先过六道落地障碍
• Gemini视频分析最多省88% Token，但短片可能更慢