将英伟达拉下马，芯片公司出招

如果您希望(wàng)可以时常见面，欢迎(yíng)标星收藏哦~

来源：内容编译自IEEE，谢谢。

很难夸大英伟达在(zài)AI领域的主导地位。成立于1993年的英伟(wěi)达最(zuì)初(chū)在个人计算机(jī)图形处(chù)理单元（GPU）领(lǐng)域(yù)崭露头角。然(rán)而，是公司的AI芯(xīn)片，而非PC图形硬件，推动英伟达跻(jī)身全球最有(yǒu)价值将英伟达拉下马，芯片公司出招公司之(zhī)列。事(shì)实证明，英伟达的GPU在AI方面也表现出色。因此，其股价自2020年初(chū)以(yǐ)来已(yǐ)经增长了15倍以上，收入从2019财年约(yuē)120亿美元跃升至2024年的600亿(yì)美元；这家AI巨(jù)头的领先芯片如(rú)沙漠中的水一(yī)样(yàng)稀(xī)缺且(qiě)备受追捧(pěng)。

"获取GPU对AI研究人员来说已(yǐ)经成了巨大(dà)的担忧，以(yǐ)至(zhì)于(yú)他们每天都在(zài)思考这个问题。因为没(méi)有它们，即使拥有最好的模型，他(tā)们也无法尽情发挥，”谷歌(gē)DeepMind的AI数(shù)据负(fù)责人詹妮弗(fú)·普伦德基（Jennifer Prendki）表(biǎo)示。普伦德基依赖(lài)英伟达的程度较少，因为谷歌拥有自己的AI基础设施。但其他科技巨头，如微软和亚马逊，是英(yīng)伟达最大(dà)的客户之一，并继续(xù)以极快(kuài)的速(sù)度购(gòu)买其GPU。据新闻报道，美国司法部(bù)正在就英伟达芯片分配和获取问题进行反垄断调查(chá)。

英(yīng)伟达在AI领域的主导地位，与机器学(xué)习的爆发一样，是最近的现象。但(dàn)这种成(chéng)功源自(zì)公司数(shù)十年(nián)来(lái)的努力，旨在将GPU建立为(wèi)除渲(xuàn)染(rǎn)图(tú)形外对(duì)其(qí)他任务也有用的通用计算硬(yìng)件。这一(yī)努力不仅包括公司GPU架构的演(yǎn)变，后者现(xiàn)在拥有(yǒu)能够加速AI工作负载的(de)“张量核心 ”，还包括其软件平台CUDA，这为开发(fā)人员利用硬件优势提供了支持。

“他们确保每个从大学毕业的计算机科学(xué)专业学生都掌握了CUDA编程(chéng)，”Moor Insights & Strategy的数据中心首席(xí)分析师Matt Kimball说。“他们提(tí)供工具和培(péi)训，并在研究上投入了大量资金。”

CUDA于2006年发布，帮助开发人员使用英伟达GPU的众多核心。这在加(jiā)速高度并行的计算任务(wù)方面至关重(zhòng)要。英伟达在(zài)建立CUDA生态系统上的成功使其硬件成为AI开发的最小(xiǎo)阻力路径。虽然英伟达芯片供不应(yīng)求，但比AI硬件更难找到的，可能是经验丰富的AI开发(fā)人员——而(ér)许多开发人员都熟(shú)悉CUDA。

这给了英伟达一条深厚且广泛的护城河来保护其(qí)业务，但这(zhè)并不意(yì)味着它缺少准备进攻的竞(jìng)争对手，这些对手的策略(lüè)各不相同。虽(suī)然像AMD和英特尔(ěr)这样的(de)老牌公司正(zhèng)在试图使(shǐ)用他们自己的GPU来(lái)挑战英伟达，但像Cerebras和SambaNova这样(yàng)的初创公司已(yǐ)经开发出能够显著提高生成式AI训练和推理效率(lǜ)的创新芯片架构。它们是最有可(kě)能挑(tiāo)战(zhàn)英伟达的竞争对手。

AMD：另一位GPU制造商

优(yōu)势：AMD的GPU是说服力十(shí)足(zú)的英伟达(dá)替(tì)代(dài)品

劣势：软件生态系统无法与英伟达的CUDA相抗衡(héng)

在图形芯片领域，AMD与英伟达的(de)战斗已持(chí)续了近二十年。这是一场有时不平衡的竞争。在图(tú)形处理方面，AMD的GPU在销售和心(xīn)智占有(yǒu)率上很少(shǎo)击败英伟达。然而，AMD的硬件有其优势。公(gōng)司的广泛GPU产品组合涵盖了从笔记本电脑的集成图形(xíng)到拥(yōng)有1500亿个晶体管的(de)AI专用数据中心(xīn)GPU。该公司(sī)还早期支持并采用了(le)高带宽内存（HBM），这(zhè)是如(rú)今全球最先进GPU所必需的一种内存形式(shì)。

“如果你看硬件……它与英伟达(dá)相比并不逊色，”Kimball说道，他指(zhǐ)的(de)是AMD的Instinct MI325X，这是一款英(yīng将英伟达拉下马，芯片公司出招)伟(wěi)达 H100的竞争对手。“AMD在(zài)这款芯片的设计上(shàng)做得非常出色。”

MI325X计划于今年年(nián)底推出，拥有超过(guò)1500亿个晶(jīng)体(tǐ)管和288GB的高带宽内存，尽管其在实际应用中(zhōng)的表现尚待(dài)验证。MI325X的前身MI300X获得了微软的好(hǎo)评，微软使用包括MI300X在内的AMD硬件来处理部分ChatGPT 3.5和(hé)4的服务。Meta和戴尔也(yě)部署了MI300X，Meta在其最新的大(dà)语(yǔ)言模型Llama 3.1的部分开发(fā)中使(shǐ)用了这些芯片。

AMD仍有一个障碍需要克服：软件。AMD提供了一个开(kāi)源平(píng)台ROCm来帮助开发人(rén)员为其GPU编程，但(dàn)它(tā)的人气不如CUDA。AMD意(yì)识到了这一(yī)弱点，并在2024年7月同意(yì)收购欧(ōu)洲最大的私有AI实验(yàn)室Silo AI，该实验室在使用ROCm和AMD硬件(jiàn)进行大规模AI训练(liàn)方面有经验。AMD还计划收购ZT Systems，一家在(zài)数据中心基础设施方面(miàn)拥有专长的公司，以帮助AMD更好(hǎo)地为部署(shǔ)其(qí)硬件的客户服务。打造一个能够与CUDA匹(pǐ)敌的对手绝非易事，但AMD正(zhèng)在全(quán)力以赴。

英(yīng)特(tè)尔(ěr)：软件成功

优势：Gaudi 3 AI加速器表现强劲

劣势：下一款大AI芯(xīn)片要到(dào)2025年底才会推出

英特尔(ěr)的挑战与AMD相反。英特尔缺乏英伟达的CUDA和AMD的ROCm的直接匹配产品，但其于2018年推出了一个开源统一编程平台(tái)OneAPI。与CUDA和ROCm不同，OneAPI涵(hán)盖多个类别的(de)硬(yìng)件，包括CPU、GPU和FPGA。因此，它可以帮助开发人员在任何(hé)英特尔硬件上加速AI任务（以及其他任务）。

另一方面(miàn)，硬件(jiàn)是(shì)一个弱(ruò)点，至少与(yǔ) Nvidia 和 AMD 相(xiāng)比是如此。英特尔的(de) Gaudi AI 加速器是英特尔2019 年收购 AI 硬件初创公(gōng)司 Habana Labs的成果，取得了进展，最新的Gaudi 3 的性能可与 Nvidia 的 H100 相媲美。

然而，目前尚不清楚英特尔的下一代硬件版本究竟会是(shì)什么样子，这(zhè)引(yǐn)起了一(yī)些担忧。Moor Insights & Strategy 创始人帕特里克·穆(mù)尔黑德(dé) (Patrick Moorhead ) 表示：“Gaudi 3 非常强大。”但(dàn)他表示，截至 2024 年 7 月，“还没(méi)有 Gaudi 4”。

相反，英特尔计划转向一款雄心勃勃的芯片(piàn)，代号为 Falcon Shores，该芯片采用基于(yú)区块的模块化架构，结合(hé)了英特尔x 86 CPU 内核和 Xe GPU 内核；后者是英特尔最近进军图形硬件领域的一部(bù)分。不过，英特尔尚未(wèi)透露有关 Falcon Shores 架构和性能的详细信息，预计要到 2025 年(nián)底才会发布。

Cerebras：越大越好

优点：晶圆级芯片(piàn)每颗芯片提供强大的性能和内存

缺点：由于尺寸和成本，应用领域有限

可以肯定的是，AMD和Intel是(shì)Nvidia最具可信度(dù)的挑战者。它们在设计成功芯片和构建编(biān)程平台(tái)方面有着(zhe)悠久的历史。但在规模较小、未经验证的玩家中，有一个脱颖而出：Cerebras。

这家(jiā)公(gōng)司专注于超(chāo)级计算机的AI，于2019年推(tuī)出了Wafer Scale Engine，这(zhè)是一块巨大的晶圆级硅片，拥有1.2万亿个晶体管。最新版本Wafer Scale Engine 3将这(zhè)一数字提升到(dào)了4万(wàn)亿个晶体管。作为比较，Nvidia最新最大的GPU——B200，"仅"拥(yōng)有2080亿个晶体管(guǎn)。Cerebras围绕这个晶圆级(jí)怪物(wù)构(gòu)建的(de)计算(suàn)机CS-3，正是Condor Galaxy 3的核心，该超(chāo)级计算机将由(yóu)64台CS-3组成，处理高达8 exaflop的AI计算任务。G42，一家总(zǒng)部位于阿布扎(zhā)比的企(qǐ)业集团，计划使用该系(xì)统(tǒng)训练未来的前沿大(dà)型语言模型(xíng)。

“这有点偏(piān)向于特定的应用，而不是通用型(xíng)的，”Bernstein Research的高级分析师Stacy Rasgon说。“并不是每个人(rén)都会购买这些计算机。但他们有一些客户(hù)，比如(rú)美国国防部和Condor Galaxy 3超级(jí)计算(suàn)机。”

Cerebras的WSC-3在大多数情况下不会挑战Nvidia、AMD或Intel的硬件；它太大、太昂(áng)贵、太专业化了。但它可能在(zài)超级计算机(jī)领域(yù)为Cerebras提供独特(tè)优势，因为没有(yǒu)其他公司设计晶圆规模的芯片。

SambaNova：

为Transformer而(ér)生的变形架构

优(yōu)点：可(kě)配置的架构有助于(yú)开发人员优(yōu)化AI模型的效率

缺点：硬件还需(xū)要证明对大众市(shì)场的相关(guān)性

成立于2017年的SambaNova是另一(yī)家利用非传统芯片架(jià)构解决AI训练问题的芯片设计公司。其旗舰产品SN40L采用公司所谓的“可重构(gòu)数据流架(jià)构”，由存储器和计算资源的模块组成(chéng)。这些模(mó)块之间的连接可以(yǐ)根据需要进行动态调整，以促(cù)进大(dà)型神经网络的数据快速传输。

Prendki认为，这种可定制的硅(guī)片(piàn)在训练大型语(yǔ)言模型时可能会非常有用，因为AI开发人员可以根(gēn)据不同的模型(xíng)来优化硬件。没有其(qí)他公司提供这样的功能。

SambaNova还通过其配套的软件栈(zhàn)SambaFlow取得了成(chéng)功。Moorhead说：“在(zài)基础设施层(céng)面，SambaNova的(de)平台表现出色。”SambaFlow可以分析机器学习模型(xíng)，并(bìng)帮(bāng)助开发(fā)人员(yuán)重新配置SN40L以(yǐ)加速模型的性(xìng)能。虽然SambaNova还有很多要证明的地(dì)方，但其客户(hù)包括软银和(hé)模拟器件公司。

Groq：专(zhuān)注于功能

优点：出色的AI推理性能(néng)

缺点(diǎn)：目前(qián)仅限于推理应用(yòng)

另一(yī)家在AI硬件上有独特创(chuàng)新的公司是Groq。Groq的策略是紧密结合(hé)内存和计算资源，以(yǐ)加速大型语言模型对提示的响应(yīng)速(sù)度。

“他们的架(jià)构非常注重内存。内存与处理器紧(jǐn)密耦合。你需要更多的节(jié)点，但每个token的价格和性(xìng)能简直疯狂，”Moorhead说道。“token”是模型处理的基(jī)本数据单位；在大型语言模型中(zhōng)，通(tōng)常是一个词或部分词。更令人印象深刻的是，Groq的芯片——语(yǔ)言处理单元推(tuī)理(lǐ)引擎——采(cǎi)用的是(shì)GlobalFoundries的14纳米(mǐ)技术(shù)，而这已经是比用于制造Nvidia H100的台(tái)积电技(jì)术落后几代的工艺。

2023年7月，Groq展示了其芯片(piàn)的推理速度，运行Meta的(de)Llama 3 80亿参数(shù)大型(xíng)语言模型时，每秒超过1250个 token。这一表现甚至(zhì)超过了SambaNova的演示，其推理(lǐ)速度超过每秒1000个token。

高通：功耗至上

优点：广泛的AI功(gōng)能芯片(piàn)组合

缺点：缺少用于AI训练(liàn)的大型前(qián)沿(yán)芯片

高通以Snapdragon系统级芯片闻名，这(zhè)款芯片为诸如(rú)三星Galaxy S24 Ultra和OnePlus 12等流行的安卓手机(jī)提供动力。高通是一家可以与AMD、Intel和Nvidia抗衡的巨头。

但与这些竞争对手不同，高通将其AI战(zhàn)略更多(duō)地集中在特定任(rèn)务的AI推理(lǐ)和能效上。AI基准组织MLCommons的创始成员、AI优(yōu)化(huà)公司Krai的CEO Anton Lokhmotov表示，高通在关键(jiàn)的基准测(cè)试中显著提高了其Qualcomm Cloud AI 100服务器的推(tuī)理能力。在ResNet-50图像分类基准测试中，这些(xiē)服务器的性(xìng)能从180样本/瓦提升(shēng)至240样本/瓦，使用(yòng)的硬件(jiàn)基(jī)本保持不变。

在设备上处理本地AI任务(wù)而无(wú)需连接到云(yún)端的(de)高效AI推理也是一个优势，Lokhmotov说。一个(gè)典型例(lì)子是微软的Copilot Plus PC。微软和高通与戴尔、惠普和联想等笔记本制造商合作(zuò)，首批配(pèi)备高通芯片的(de)Copilot Plus笔记本电脑已于7月(yuè)上(shàng)市。高(gāo)通还在(zài)智能手机和平板电脑(nǎo)市(shì)场占据强大地位，其Snapdragon芯片为三星、OnePlus和(hé)摩托罗拉等设(shè)备提供动力。

高通(tōng)还是AI驾驶辅助和自动驾驶平台的(de)主要玩家(jiā)。2024年初，现代旗下的Mobius部门宣布与高通合(hé)作，使用Snapdragon Ride平台——该平台是Nvidia Drive平台的(de)竞争对手(shǒu)——用于(yú)高级驾(jià)驶辅助系统。

超大规(guī)模数据中心：

为功耗定(dìng)制智能(néng)

优点：垂直整合(hé)有(yǒu)助(zhù)于设计

缺点：超大规模(mó)数据中心可能(néng)会优先满足自身需(xū)求和使用

超(chāo)大规模数据中心（Hyperscalers）——那些部署硬件规模庞大的云计算巨(jù)头——与“大科技”同义。亚马逊、苹果、谷歌、Meta和微软都希望尽快部署AI硬件，既用于自身使用，也为其云计算客户服务。为(wèi)加速(sù)这一进程，他(tā)们都在内部设计芯片。

谷歌(gē)比竞争对手更早投资于AI处理器：该公司于2015年首次宣(xuān)布(bù)的Tensor Processing Units（TPU）如今支(zhī)撑着其大部分AI基础设施。第六代TPU Trillium于2023年5月宣布，并成(chéng)为谷歌(gē)AI超级计算机的一部分，这是一(yī)项针对公司处理AI任务的云(yún)服务。

Prendki说，谷歌的TPU为公司在追求AI机会时提供了优势。“我很幸运，不用(yòng)费心考虑芯片(piàn)从哪里来，”她(tā)说。然而，TPU的使用并没有完全消除供(gōng)应紧张(zhāng)，因为(wèi)谷歌的不(bù)同部门仍然需要共享(xiǎng)资源。

谷歌已经不再孤单。亚(yà)马逊拥有两款自研芯片，Trainium用(yòng)于训练，Inferentia用于推(tuī)理。微软拥有Maia，Meta拥有MTIA，而(ér)据传苹果也在开(kāi)发处理其云基础(chǔ)设(shè)施中AI任务的(de)硅片。

这些(xiē)超大规模数据中心(xīn)的芯片并未直接与Nvidia竞争，因为他们不向客户(hù)销售硬件，但(dàn)他们确(què)实通过(guò)云服务提(tí)供硬件访问，比如(rú)谷歌的AI超级计算机、亚马逊的AWS和微软(ruǎn)的Azure。在许多情况下，超大(dà)规模数据中心(xīn)提供的(de)服务既(jì)运行在自家硬件上，也运行在Nvidia、AMD和Intel的硬件上；而微软则被认为是Nvidia的最(zuì)大客户。

中国芯片：不确定的未来(lái)

另一类竞(jìng)争(zhēng)者的诞生并非源(yuán)自技术需求，而是地缘政治现实。美国对AI硬(yìng)件出口的限制阻止了芯片制造商向中国公司出售最新、最强大的芯片。作为回应，中国公司正在设计(jì)自有AI芯片。

国内科技巨(jù)头(tóu)所推出的(de)加速器是Nvidia H100的替代品(pǐn)，然而(ér)，代(dài)工厂的产量问题据称(chēng)限制了供应，此外，巨头(tóu)还在销售(shòu)“AI一体机”解决方案，旨在为中国企业提供本地化的AI基础设施。

为了(le)绕过美国的出口管(guǎn)制规定，中(zhōng)国行业可能会转向替代技术。例如，中国研究人员在光子芯片方面取得了进展，这(zhè)种芯片利用(yòng)光而不是电荷来进行计(jì)算(suàn)。“光束的优势在于你可以让两(liǎng)束光交叉，”Prendki说(shuō)道。“因此，它减少了在硅(guī)芯片上通常遇到的限制，不能交叉路径。你可以使电(diàn)路更复杂，且成(chéng)本更低。”虽然光子(zi)芯片仍处于非常早期(qī)的阶段，但中国的(de)投资可能会加(jiā)速其发(fā)展。

更多空间

显然，Nvidia 并不缺乏竞争对手(shǒu)。同样明显(xiǎn)的是，在未来几年内，没有一家(jiā)竞争对手能够挑战 Nvidia，更别说击败它了。本文采访的所有人都(dōu)同意，Nvidia 目前占据着无与伦比的(de)主导地位，但这并不意味着它将永(yǒng)远排(pái)挤竞(jìng)争对手。

“听着，市场需要选择，”Moorhead 说。“如果到 2026 年，我(wǒ)无法想象 AMD 的市场份额会低于(yú) 10% 或 20%，英特尔也是如此。通(tōng)常，市场喜(xǐ)欢(huān)三家公司(sī)，而我们有三个合理的竞争对手。”Kimball 表(biǎo)示，与此同时，超(chāo)大规模公司可能会挑战 Nvidia，因为他们将更多的 AI 服务转(zhuǎn)移到内部硬件上(shàng)。

然后(hòu)还有不确定(dìng)因素。Cerebras、SambaNova 和 Groq 是众多初创(chuàng)公司中的佼(jiǎo)佼者，它们希望通过新颖的解决方案蚕食 Nvidia 的市场份额。此(cǐ)外，还有数十家其他公司加入其中(zhōng)，包括 d-Matrix、Untether、Tenstorrent和(hé)Etched，它们都寄希望于针对生(shēng)成式 AI 优化的新芯片架构。这些初创公司中可能有许多会失败，但也(yě)许下一个 Nvidia 会从幸存者(zhě)中脱颖而出。

https://spectrum.ieee.org/nvidia-ai

专注(zhù)半导体领域更多原创内容

关(guān)注全球半导体产业动向与(yǔ)趋势

*免责声明：本(běn)文(wén)由作者原创。文章内(nèi)容系作者个人观点，半导体行业观察转载仅为了(le)传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行(xíng)业观(guān)察。

今天(tiān)是《半(bàn)导体行业观察》为您分享的第3888内容，欢迎关(guān)注。

『半导体(tǐ)第一垂直媒体』

实时专业原创(chuàng) 深(shēn)度

公(gōng)众号ID：icbank

喜欢我(wǒ)们的内(nèi)容就(jiù)点“在看”分享给小伙(huǒ)伴哦

未经允许不得转载：天津电机维修_天津进口电机维修_天津特种电机维修_天津发电机维修将英伟达拉下马，芯片公司出招