黄仁勋详解驱动英伟达增长的五种力量: 万亿美元数据中心转向加速计算,Blackwell是 Hopper的阶梯式飞跃!
时间:24-08-30 来源:王铮Silvia
黄仁勋详解驱动英伟达增长的五种力量:
万亿美元数据中心转向加速计算,Blackwell是
Hopper的阶梯式飞跃!
业绩陈述:Hopper需求强劲,Blackwell正广泛采样
Colette M. Kress -- 首席财务官兼执行副总裁
第二季度我们再次创下了记录。
收入达到300亿美元,环比增长15%,同比增长122%,远远超出我们280亿美元的预期。
多种工作负载
推动数据中心收入快速增长
从数据中心业务开始说起。
数据中心业务收入为263亿美元,创历史新高,环比增长16%,同比增长154%,这一增长是由对NVIDIA Hopper、GPU计算和我们的网络平台的强劲需求推动的。
计算业务收入增长超过2.5倍。
网络业务收入同比增长超过2倍。
云服务提供商约占我们数据中心收入的45%,超过50%的收入来自消费互联网和企业公司。
客户继续加快购买Hopper架构的产品,同时准备采用Blackwell架构。
推动我们数据中心增长的关键工作负载包括:
生成式AI模型的训练和推理;
使用CUDA和AI工作负载对视频、图像和文本数据进行预处理和后处理;
合成数据生成;
AI驱动的推荐系统;
以及SQL和向量数据库处理。
下一代模型将需要10到20倍的计算能力来进行训练,并且需要处理更多的数据。预计这一趋势将继续下去。
在过去的四个季度中,我们估计推理工作负载推动了我们数据中心超过40%的收入。云服务提供商、消费互联网公司和企业都从NVIDIA的推理平台的惊人吞吐量和效率中受益。
对NVIDIA的需求来自前沿模型制造商、消费互联网服务,以及成千上万的公司和初创企业,它们正在为消费者、广告、教育、企业和医疗保健以及机器人技术构建生成式AI应用程序。
开发者渴望NVIDIA在每个云中都能获得丰富的生态系统和可用性。
云服务提供商(CSPs)对NVIDIA的广泛采用表示赞赏,并鉴于高需求,正在增加他们的NVIDIA容量。
H200增加产量
构建100多个基于Blackwell的系统
NVIDIA H200平台在第二季度开始增加产量,向大型云服务提供商、消费互联网公司和企业公司发货。
NVIDIA H200建立在我们Hopper架构的优势之上,与H100相比,内存带宽增加了40%以上。
第二季度,我们在中国的数据中心营收环比增长,为我们的数据中心营收做出了重要贡献;占数据中心总收入的百分比仍低于实施出口管制之前的水平,我们继续预计中国市场未来将非常有竞争力。
最新的MLPerf推理基准测试突出了NVIDIA在推理领域的领导地位,NVIDIA Hopper和Blackwell平台相结合,在所有任务上都赢得了金牌。
在Computex上,NVIDIA与顶级计算机制造商一起,推出了一系列由Blackwell架构驱动的系统和NVIDIA网络,用于构建AI工厂和数据中心。
通过NVIDIA MGX模块化参考架构,我们的OEM和ODM合作伙伴正在构建100多个基于Blackwell的系统,这些系统设计得既快速又经济高效。
NVIDIA Blackwell平台汇集了多个GPU、CPU、DPU、NVLink、Link Switch和网络芯片、系统以及NVIDIA CUDA软件,为下一代AI提供动力,覆盖各种案例、行业和国家。
配备第五代NVLink的NVIDIA GB200 NVL72系统使所有72个GPU能够像一个GPU一样工作,为大型语言模型(LLM)的工作负载提供高达30倍的推理速度,并解锁实时运行万亿参数模型的能力。
Hopper需求强劲
Blackwell正在广泛采样
Hopper的需求强劲,Blackwell正在广泛采样。
我们对Blackwell GPU质量进行了更改,以提高产量。
Blackwell的生产预计将在第四季度开始,并持续到2026财年。在第四季度,我们预计将获得数十亿美元的Blackwell收入。
预计Hopper的出货量将在2025财年下半年增加。Hopper的供应和可用性已经得到改善。
对Blackwell平台的需求远超过供应,我们预计这种情况将持续到明年。
Spectrum-X即将成为
价值数十亿美元的产品线
网络业务收入环比增长了16%。
我们的AI以太网收入,包括我们的Spectrum-X端到端以太网平台,环比翻了一番,有数百名客户采用了我们的以太网产品。
Spectrum-X得到了OEM和ODM合作伙伴的广泛市场支持,并正在被云服务提供商、GPU云服务提供商和企业(包括 xAI)采用,以连接世界上最大的GPU计算集群。
Spectrum-X 为以太网的AI处理提供了1.6倍的性能,性能是传统以太网的1.6倍。我们计划每年推出新的Spectrum-X产品,以支持从今天的数万个GPU扩展到未来数百万DPU的计算集群的需求。
Spectrum-X有望在一年内开始成为一个价值数十亿美元的产品线。
主权AI收入将达到数十亿美元量级
随着各国认识到AI专业知识和基础设施是其社会和行业的国家当务之急,我们的主权AI机会继续扩大。
日本国立先进工业科学技术研究所正在使用NVIDIA构建其AI Bridging Cloud Infrastructure 3.0超级计算机。
我们相信,主权AI收入今年将达到数十亿美元的低两位数。
企业AI浪潮已经开始
汽车与医疗行业AI应用将规模化
企业AI浪潮已经开始。企业也推动了本季度收入的环比增长。
我们正在与财富100强中的大多数公司合作,开展跨行业和地理区域的AI计划。
一系列应用正在推动我们的增长,包括AI驱动的聊天机器人、生成式AI副驾驶和代理,以构建新的可货币化的商业应用并提高员工生产力。
Amdocs正在使用NVIDIA的生成式AI为他们的智能代理提供支持,转变客户体验并将客户服务成本降低30%。
ServiceNow正在使用NVIDIA为其Now Assist产品提供支持,这是公司历史上增长最快的新产品。
SAP正在使用NVIDIA构建双重副驾驶。
Cohesity正在使用NVIDIA构建他们的生成式AI代理并降低生成式AI开发成本。
Snowflake每天为超过10000家企业客户处理超过30亿次查询,正在与NVIDIA合作构建副驾驶。
最后,他们使用NVIDIA AI Omniverse将工厂的端到端周期时间减少了50%。
汽车行业是本季度的关键增长驱动力,因为每家开发自动驾驶汽车技术的汽车制造商都在他们的数据中心使用NVIDIA。
汽车行业将在本地和云消费中带来数十亿美元的收入,并随着下一代自动驾驶汽车模型需要更多的计算能力而增长。
随着AI彻底改变医学成像、手术机器人、病患护理、电子健康记录处理和药物发现,医疗保健也在成为数十亿美元的业务。
与Meta的合作
利用Llama3.1为企业定制AI应用
在本季度,我们宣布了一项新的NVIDIA AI代工厂服务,以利用Meta的Llama 3.1模型系列为全球企业加速生成式AI。
这标志着企业AI的一个分水岭时刻。
公司首次可以利用开源前沿级模型的能力,开发定制化的AI应用程序,将他们的机构知识编码到AI飞轮中,以自动化和加速他们的业务。
埃森哲是首家采用这项新服务的公司,为自己和寻求部署生成式AI应用程序的客户构建定制的Llama 3.1模型。
软件、SaaS和支持收入
将达到20亿美元
NVIDIA NIMs加速并简化了模型部署。
医疗保健、能源、金融服务、零售、运输和电信等行业的公司都在采用NIMs,包括沙特阿美、劳氏和优步。
AT&T在采用NIMs进行生成式AI、呼叫转录和分类后,实现了70%的成本节约和8倍的延迟减少。
超过150个合作伙伴正在将NIMs嵌入到AI生态系统的每个层面。
我们宣布了NIM Agent Blueprint,这是一个可定制的参考应用程序目录,包括一整套用于构建和部署企业生成式AI应用程序的软件。
通过NIM Agent Blueprint,企业可以随着时间的推移完善他们的AI应用程序,从而创建数据驱动的AI飞轮。
首批NIM Agent Blueprints包括客户服务、计算机辅助药物发现和企业检索增强生成的工作负载。
我们的系统集成商、技术解决方案提供商和系统构建者正在将NVIDIA NIM Agent Blueprints带给企业。
NVIDIA NIM和NIM Agent Blueprints可通过NVIDIA AI Enterprise软件平台获得,该平台发展势头强劲。
我们预计我们的软件、SaaS和支持收入在今年末将接近20亿美元的年增长率,其中NVIDIA AI Enterprise显著促进了增长。
游戏收入同比增长16%
转向游戏和AI PC。
游戏收入达到28.8亿美元,环比增长9%,同比增长16%。
我们在游戏机、笔记本电脑和台式电脑的收入上看到了环比增长,需求强劲且不断增长,渠道库存保持健康。
每台配备RTX的PC都是一台AI电脑。RTX PC可以提供高达1300 AI tops的性能,现在有200多款由领先PC制造商设计的RTX AI笔记本电脑。
拥有600款AI驱动的应用程序和游戏,以及1亿台设备的安装基础,RTX准备用生成式AI彻底改变消费者的体验。
NVIDIA ACE是一套生成式AI技术,适用于RTX AI PC。
Megabreak是第一款使用NVIDIA ACE的游戏,包括我们的小型语言模型,Nemotron 4B,它在设备上进行了优化以实现推理。
NVIDIA游戏生态系统持续增长。
最近新增的RTX和DLSS游戏包括《印第安纳琼斯与大圆》、《觉醒》和《龙腾世纪:先锋》。
GeForce NOW库继续扩大,总目录超过2000款游戏,是任何云游戏服务中内容最多的。
AI和图形用例推动
专业可视化收入增长20%
转向专业可视化。
收入为4.54亿美元,环比增长6%,同比增长20%。
需求是由AI和图形用例推动的,包括模型微调和与Omniverse相关的工作负载。
汽车和制造业是本季度推动增长的关键行业垂直领域之一。各公司正在竞相实现工作流程的数字化,以提高其运营效率。
世界上最大的电子制造商富士康正在使用NVIDIA Omniverse为其生产NVIDIA Blackwell系统的物理工厂创建数字孪生。
包括梅赛德斯-奔驰在内的几家大型全球企业,已与NVIDIA Omniverse Cloud签订了多年合同,以构建工厂的工业数字孪生。
我们宣布了新的NVIDIA USD NIMs和连接器,将Omniverse引入新行业,并使开发者能够将生成式AI副驾驶和代理纳入USD工作负载,加速我们构建高度精确的虚拟世界的能力。
WPP正在其为可口可乐公司等客户启用的生成式AI内容创建流程中实施USD NIM微服务。
自动驾驶需求快速增长
转向汽车和机器人技术。
收入为3.46亿美元,环比增长5%,同比增长37%。
自动驾驶平台的新客户增加和对AI驾驶舱解决方案的需求增加推动了同比增长。
在计算机视觉和模式识别会议上,NVIDIA在端到端驾驶高端类别中赢得了自动驾驶品牌挑战赛,表现优于全球400多个参赛作品。
波士顿动力公司、比亚迪电子、Figure、Intrinsyc、西门子和Teradyne Robotics正在使用NVIDIA Isaac机器人平台,用于自动机器人臂、仿人机器人和移动机器人。
将启动500亿美元
股票回购计划
现在,转向损益表的其他部分。
GAAP毛利率为75.1%,非GAAP毛利率为 75.7%,由于数据中心新产品组合的增加以及低产量Blackwell材料的库存准备,环比有所下降。
环比而言,GAAP和non-GAAP运营费用均增长了12%,主要反映了与薪酬相关的成本增加。
运营现金流为145亿美元。
在第二季度,我们以股票回购和现金股息的形式将74亿美元的现金用于股东回报,这反映了每位股东股息的增长。
我们董事会最近批准了一项500亿美元的股票回购授权,以补充我们在第二季度末剩余的75亿美元授权。
Q3的增长驱动
Hopper的增长和Blackwell的采样
让我来谈谈第三季度的展望。
总收入预计为325亿美元,上下浮动2%。我们第三季度的收入展望包含了Hopper架构的持续增长和Blackwell产品的采样。
我们预计Blackwell的生产将在第四季度开始增加。
GAAP和non-GAAP毛利率预计分别为74.4%和75%,上下浮动 50个基点。
随着我们数据中心的产品组合继续向新产品转变,我们预计这一趋势将持续到2025财年第四季度。
对于整个财年,我们预计毛利率将在75%左右。
预计GAAP和non-GAAP运营费用分别约为43亿美元和30亿美元。随着我们致力于开发下一代产品,全年运营费用预计增长将在45%-50%的范围内。
预计GAAP和non-GAAP其他收入和费用约为3.5亿美元,包括来自非关联投资和公开持有的股权证券的收益和损失。
预计GAAP和non-GAAP税率为17%,上下浮动1%,不包括任何单独项目。
更多财务细节包含在首席财务官的评论和其他信息中,这些信息可在我们的投资者关系网站上找到。
分析师问答
Blackwell功能维持原样
预计四季度开始生产
美国银行证券的Vivek Arya:
感谢您回答我的问题。
Jensen,您在前面的评论中提到了Blackwell GPU mask发生了变化。
我很好奇,是否有其他渐进式的后端封装变化或其他什么变化?
我认为与此相关,您建议尽管设计发生了变化,您仍然可以在第四季度出货数十亿美元的Blackwell。这是因为到那时所有这些问题都将得到解决吗?
请帮助我们评估Blackwell时间表变化的总体影响,这对您的收入概况意味着什么,以及客户对此有何反应。
Jensen Huang -- 总裁兼首席执行官
Mask的变更已经完成。无需进行功能更改。
因此,我们现在正在对Blackwell、Grace Blackwell以及各种系统配置进行功能性抽样。
在Computex上展示了大约100种不同类型的基于Blackwell的系统,我们正在让我们的生态系统开始对这些系统进行采样。
Blackwell的功能是原来的样子,我们预计在第四季度开始生产。
更多前沿模型在更多模态上训练
AI推荐和广告优化的规模巨大
Goldman Sachs的Toshiya Hari:
非常感谢您回答这个问题。
Jensen,我有一个相对长期的问题。
您可能知道,市场上关于您的客户和客户的客户的投资回报率以及这对未来资本支出的可持续性意味着什么,存在着相当激烈的争论。
在NVIDIA内部,你们在关注什么?当您尝试衡量客户回报时,在你们的仪表板上有什么,以及这对资本支出有何影响?
然后,对Colette的快速跟进问题。我认为你们全年的主权AI数字可能增加了几十亿。是什么推动了前景的改善,我们应该如何看待26财年?谢谢。
Jensen Huang -- 总裁兼首席执行官
首先,当我说第四季度开始生产出货时,我的意思是发货,而不是开始发货,我的意思是——我不是指开始生产,而是指发货。
关于长期问题,让我们退一步说。
你们可能听我说过,我们正在同时经历两个平台转型。
第一个是从通用计算向加速计算过渡。
原因之一是CPU的扩展速度已经众所周知地放缓了一段时间,而且已经慢到了几乎停滞的地步。
然而,计算需求的增长仍然非常显著。您甚至可以估计它每年都会翻一番。
因此,如果我们没有新的方法,计算通胀将推高每家公司的成本,并将推高全球数据中心的能源消耗。
实际上,你已经看到了这一点。答案是加速计算。我们知道加速计算可以加快应用程序的运行速度。
它还使您能够进行更大规模的计算,例如科学模拟或数据库处理,但这直接转化为的是降低成本和减少能源消耗。
事实上,本周有一篇博客发表,谈到了我们提供的一大堆新库。
这确实是第一个平台转型的核心,即从通用计算转向加速计算。看到有人节省了90%的计算成本并不罕见。
原因当然是,你刚刚将一个应用程序的速度提高了50倍。你预计计算成本会显著下降。
第二个是由加速计算实现的。
因为我们大大降低了训练大型语言模型或深度学习的成本,以至于现在有可能拥有极其大规模的模型,数万亿个参数的模型并对其进行训练——在几乎全世界的知识语料库上对其进行预训练,让模型自己去弄清楚如何理解人类语言表示,如何将知识编码到其神经网络中,以及如何学习推理,从而引发了生成式AI革命。
现在,生成式AI,退一步说,我们之所以如此深入地研究它,是因为它不仅仅是一个特性,也不仅仅是一种能力。
这是一种全新的软件开发方式。
我们现在拥有的数据,而不是人工设计的算法。
我们告诉 AI,我们告诉模型,我们告诉计算机预期的答案是什么。我们之前的观察结果是什么?然后让它弄清楚算法是什么,函数是什么。
它学习了一个通用的——AI有点类似于通用函数逼近器,它学习这个函数。
因此,您几乎可以学习任何事物的功能。任何你拥有的可预测的东西,任何有结构的东西,任何你有先前例子的事物。
所以,现在我们有了生成式AI。这是计算机科学的一种根本新形式。
它影响着从CPU到GPU、从人工设计算法到机器学习算法的每一层计算方式,您现在可以开发和生产的应用程序类型从根本上说是非凡的
在生成式AI中,有几件事情正在发生。
所以,第一件事是前沿模型正在相当大规模地增长。
他们仍然在看到——我们所有人都在看到规模化的好处。
每当你将模型的大小翻倍时,你也必须将训练数据集的大小增加一倍多。
因此,为了创建那个模型所需的浮点运算次数会呈二次方增加。
所以,看到下一代模型可能需要比上一代多10倍、20倍、40倍的计算能力并不意外。
因此,我们必须继续显著提高代际性能,这样我们才能降低能源消耗,降低执行所需的成本。
所以,第一点是,有更多的前沿模型在更多模态上进行训练。
令人惊讶的是,与去年相比,前沿模型制造商更多,你看到的越来越多。这是生成式 AI 中正在发生的动态之一。
第二点是,尽管它在冰山一角之下,我们看到的是ChatGPT图像生成器。我们看到了编程。
我们现在在NVIDIA广泛使用生成式AI进行编程。我们当然有很多数字设计师之类的人才。但这些都是冰山一角。
冰山之下的是当今世界上最大的系统,最大的计算系统,也就是我之前提到过的,推荐系统正从CPU转移到生成式AI。
所以,推荐系统、广告生成、针对大规模和非常精准的目标广告生成、搜索和用户生成内容,这些现在都已经演变成了生成式AI的大规模应用。
当然,生成式AI初创公司为我们的云合作伙伴创造了数十亿美元的云租赁机会。
而主权AI,一些国家现在意识到他们的数据是他们的自然和国家资源,他们必须使用AI,建立自己的AI基础设施,以便他们能够拥有自己的数字智能。
正如Colette之前提到的,企业AI已经开始了,你可能已经看到了我们的公告,世界领先的IT公司将加入我们,将NVIDIA AI Enterprise平台引入全球企业。
我们正在交谈的公司中,很多公司都非常兴奋,希望通过提高生产力来推动公司发展。
然后就是通用机器人技术。
去年的重大转变是,我们现在能够通过观看视频、人类演示和从Omniverse这样的系统中通过强化学习生成合成数据来学习物理AI,我们现在能够与几乎所有的机器人公司合作,开始考虑、开始构建通用机器人。
因此,你可以看到,生成式AI正朝着如此多的不同方向发展。我们实际上看到生成式AI的势头正在加速。
Colette M. Kress -- 首席财务官兼执行副总裁
至于Toshiya,回答你关于主权AI以及我们在增长和收入方面的目标的问题。
这确实是一个独特且不断增长的机会,这是随着生成式AI的出现以及世界各国希望拥有自己的生成式AI而浮现出来的,这样的AI能够结合他们自己的语言、文化和那个国家的数据。
因此,人们越来越兴奋地围绕这些模型以及它们可以为这些国家提供哪些具体内容。
所以,是的,我们看到了一些增长机会摆在我们面前。
Hopper帮助1万亿美元
现有安装基础设施过渡到现代化设施
Morgan Stanley的Joe Moore
Jensen,在新闻稿中,你谈到了对Blackwell的期待是令人难以置信的。但看起来Hopper的需求也非常强劲。
我的意思是,即使在没有Blackwell的10月份,你也预计会有一个非常强劲的季度。
那么,你认为这两种需求会共存多久?你能谈谈向Blackwell过渡的情况吗?你看到人们在集群中混合使用吗?你认为大多数Blackwell活动是新建集群吗?
请给出一些关于这种过渡是什么样子的分享。
Jensen Huang -- 总裁兼首席执行官
是的,谢谢,Joe。对Hopper的需求确实非常强劲。而且确实,对Blackwell的需求是令人难以置信的。
这有几个原因。
第一个原因是,如果你看一下全球的云服务提供商,他们可用的GPU容量基本上为零。
原因之一是它们要么被内部部署以加速他们自己的工作负载,例如数据处理。
我们很少谈论数据处理,因为它很平凡。它不是很酷,因为它不会产生图片或文字。但世界上几乎每家公司都在后台处理数据。
而NVIDIA的GPU是地球上唯一能够处理和加速数据的加速器:SQL数据,Panda的数据,像Panda这样的数据科学工具包,以及新的Polar数据。
这些是世界上最流行的数据处理平台。
而且除了CPU,正如我之前提到的,它们真的已经力不从心了,NVIDIA的加速计算是真正能够提升性能的唯一方式。
因此,首要的——长期以来的第一用例是在生成式AI出现之前的应用程序迁移到加速计算。
第二当然是租赁。
他们向模型制造商出租容量。他们向初创公司出租。
一家生成式AI公司将其大部分投资资本投入到基础设施中,以便他们可以使用AI帮助他们创造产品。
所以,这些公司现在就需要它。他们就是负担不起——你刚刚筹集了资金。他们希望你现在就投入使用。
你必须要进行处理。你不能明年再做,你今天就必须做。
所以,这是Hopper需求旺盛的一个原因。
当前Hopper需求的第二个原因是因为竞争下一个高地。
第一个到达下一个高地的人将能够引入革命性的AI水平。
第二个到达那里的人可能会更好,或者差不多。
因此,能够系统地、持续地竞争下一个高地,并成为第一个到达那里的人,这就是你如何确立领导地位。
NVIDIA一直在这样做,我们向世界展示这一点,我们制造的GPU、我们制造的AI工厂、我们制造的网络系统、我们创造的SoC。
我的意思是,我们想要引领潮流。我们希望始终是世界上最好的。这就是为什么我们如此努力地推动自己的原因。
当然,我们也希望看到我们的梦想成真,我们想象中的所有能力,以及我们能带给社会的好处,我们希望看到所有这些都成真。
所以,这些模型制造商也是一样的。他们希望成为世界上最好的。他们希望成为世界上第一。
尽管Blackwell将在今年年底开始以数十亿美元的价格发货,但产能的建立可能还需要几周甚至一个月左右的时间。
因此,从现在到那时,有很多生成式AI市场动态。每个人都很着急。他们需要它要么是运营原因。他们需要加速计算。他们不想再构建任何通用计算基础设施,甚至是Hopper。
当然,H200是最先进的。Hopper,如果你现在要在为企业构建CPU基础设施和Hopper基础设施之间做出选择,这个决定相对明确。
所以,我认为人们都在争相将1万亿美元的现有安装基础设施过渡到现代化的基础设施,而Hopper是最先进的。
科技巨头资本支出的三重回报
降低成本、改善现有业务、大模型租赁
TD Cowen的Matt Ramsay
Jensen,我想回到之前关于投资者对所有这些资本支出回报率(ROI)的辩论的问题上。希望这个问题和区分会有意义。
但我讨论的是,在你看来,有一部分人正在花费所有这些资金,试图将前沿模型推向通用人工智能(AGI)的融合,正如你刚才所说,达到一个新的能力高峰,他们将不惜一切代价达到那种能力水平,因为它为行业和他们的公司打开了如此多的大门,而不是那些客户今天真的非常非常关注资本支出与ROI。
我不知道这种区分是否有意义。我只是想了解一下,你如何看待那些在这项新技术上投入资金的人的优先事项,以及他们的优先事项和投资的时间框架是什么。谢谢。
Jensen Huang -- 总裁兼首席执行官
那些投资NVIDIA基础设施的人立即就能获得回报。这是你今天可以做的最好的ROI基础设施,计算基础设施投资。
所以,思考这个问题的一种方式,可能最简单最直接的方式就是回到第一性原理。
你拥有价值1万亿美元的通用计算基础设施。问题是,你还想建造更多这样的设施吗?
对于你建立的每一个价值10亿美元的基于Juniper CPU的基础设施,你可能以不到10亿美元的价格出租。由于它已经商品化,地面上已经有1万亿美元。再获得更多有什么意义呢?
所以,那些争相获得这种基础设施的人,首先,当他们建立基于Hopper的基础设施,很快,基于Blackwell的基础设施时,他们开始省钱。这是巨大的投资回报。
他们开始省钱的原因是数据处理能够节省资金,而数据处理可能已经是其中很大一部分了。因此,推荐系统可以省钱,等等,对吧?所以,你开始省钱。
第二,你建立的一切都将被租赁。
因为有这么多公司成立来创建生成式AI,所以,你的容量会立即被租赁,这种投资的回报非常好。
第三是你的自身业务。
您是想自己创造下一个前沿领域,还是想从下一代广告系统、下一代推荐系统或下一代搜索系统中受益的互联网服务?所以,对于你自己的服务,你自己的商店,你自己的用户生成内容,社交媒体平台,生成式AI也是一种快速的投资回报。所以,你可以通过很多方式来思考这个问题。
但从本质上讲,这是因为它是您今天可以投入的最好的计算基础设施。
通用计算领域正在转向加速计算。人工工程软件的世界正在转向生成式AI软件。如果你要建立基础设施来现代化你的云和数据中心,用加速计算的NVIDIA来构建它。
这是最好的方法。
价值1万亿美元的数据中心
几年内将转向加速计算
UBS的Timothy Arcuri
非常感谢。我有一个关于收入增长形态的问题,包括近期和长期。
我知道,Colette,您今年的运营支出确实增加了。如果我看一下你的采购承诺和供应义务的增加,这也是相当乐观的。
另一方面,有一种观点认为,并没有那么多客户真正准备好使用液冷,我确实认识到,其中一些机架可以采用空气冷却。
但是,Jensen,这是在考虑Blackwell增长形态时需要考虑的事情吗?
然后,我想当你看明年以后,显然将是伟大的一年,你看到2026年,你会担心其他任何限制因素,比如电源供应链,或者在某个时候,模型开始变小吗?我只是想知道你是否能就此发表意见。谢谢。
Jensen Huang -- 总裁兼首席执行官
我会倒过来回答。我真的很感谢你的问题,Tim。
请记住,世界正从通用计算转向加速计算。
全球建造了价值约1万亿美元的数据中心。在几年内,价值1万亿美元的数据中心将全部是加速计算。
过去,数据中心里没有GPU,只有CPU。将来,每个数据中心都会有GPU。
原因非常明确:因为我们需要加速工作负载,以便我们能够继续保持可持续性,继续降低计算成本,这样当我们进行更多的计算时,我们不会经历计算通胀。
其次,我们需要GPU来开发一种称为生成式AI的新计算模型,我们都承认,这种模型将对计算的未来产生重大变革。
所以,我认为倒过来想,世界下一个1万亿美元的基础设施将明显不同于上一个1万亿美元,它将大大加速。
关于我们增长形态的问题,我们提供多种配置的Blackwell。
Blackwell有Blackwell经典版,如果你愿意,它使用我们与Volta一起首创的HGX外形尺寸。
我想是Volta。所以,我们已经推出HGX外形规格有一段时间了。它是空气冷却的。而Grace Blackwell是液冷的。
然而,想要采用液冷的数据中心数量相当可观。原因是因为在液冷数据中心,任何数据中心——无论是电源受限的数据中心,还是你选择的任何规模的数据中心,你都可以安装和部署比过去多三到五倍的AI吞吐量。
所以,液冷更便宜。液冷,我们的总体拥有成本(TCO)更好,液体冷却让您能够享受我们称为 NVLink 的这项功能,它允许我们能够将其扩展到72个Grace Blackwell软件包,这基本上有144个GPU。
因此,想象一下在NVLink中连接了144个GPU。我们正越来越多地向你展示这一点的好处。
接下来的显然是非常低的延迟,非常高吞吐量的大语言模型推理,而大的NVLink领域将是这方面的游戏规则改变者。
所以,我认为人们非常愿意同时部署两者。我们合作的几乎每个云服务提供商(CSP)都在部署这两种类型的设施。
所以,我非常有信心我们会把它做得更好。
你的第二个问题是关于未来展望,是的,明年将是伟大的一年。我们预计明年数据中心业务将显著增长。
Blackwell将彻底改变整个行业。Blackwell将继续影响接下来的一年。
正如我前面提到的,从第一性原理倒推,记住计算正在同时经历两个平台转型。
这真的非常重要,需要你保持关注,即通用计算正在转向加速计算,人工工程软件将转向生成式AI或人工智能学习软件。
Hopper和Blackwell
是下半年增长的重要动力
Bernstein Research的Stacy Rasgon
感谢您回答我的问题。所以,我有两小个问题要问Colette。
第一个问题是关于第四季度Blackwell收入的几十亿美元,那是额外的吗?你说过预计Hopper在下半年的需求会走强。
这意味着Hopper在第三季度到第四季度也会在Blackwell增加几十亿美元的基础上走强吗?
第二个问题是关于毛利率的。如果我今年的目标是75%左右,那么我可能会在第四季度达到71%到72%左右,这是你预期的毛利率退出率吗?
随着 Blackwell 的加速增长,我们应该如何看待明年毛利率演变的驱动因素?我的意思是,希望产量和库存准备金等一切都能提高。
Colette M. Kress -- 首席财务官兼执行副总裁
Stacy,我们首先来回答你关于Hopper和Blackwell的问题。
我们相信我们的Hopper在下半年将继续增长。
我们为Hopper准备了许多新产品,我们认为这些新产品,包括我们现有的Hopper产品,将开始在接下来的几个季度继续增长,包括我们的第三季度和那些进入第四季度的新产品。
比如说,Hopper在第三季度与上半年相比是一个增长机会。
此外,我们还有Blackwell,Blackwell从第四季度开始增长。
我希望这对你提到的这两个方面有帮助。
你的第二个问题是关于我们的毛利率。
我们为我们的第三季度提供了毛利率。我们在非GAAP上提供了大约75%的毛利率。
我们将处理我们正在经历的所有不同过渡,但我们确实相信我们能在第三季度达到75%。
我们还提供了我们全年也在75%左右的中高水平的毛利率。所以,我们将在第四季度看到一些可能的轻微差异,这再次与我们的转型和我们新产品引入的不同成本结构有关。
然而,我并不完全同意你的数字。我们没有确切的指导,但我确实认为你比我们预期的要低。
亚太区的增长驱动
来自系统集成商
Melius的Ben Reitzes
非常感谢你的问题。我想问有关地域分布的问题。10-Q数据发布后,美国的销售额环比下降,而几个亚洲地区的销售额环比大幅上升。
只是想知道那里的动态是怎样的。显然,中国表现非常好。您在发言中提到了这一点。什么是Puts和Takes?
然后我只想从Stacy的问题中澄清一下,这是否意味着公司第四季度的整体收入增长率会加快,考虑到所有这些有利的收入动态。
Colette M. Kress -- 首席财务官兼执行副总裁
让我来谈谈我们10-Q报告中关于地域分布的披露,这是一项必须的披露选择。
有时候要做出正确的披露非常具有挑战性,因为我们必须找出一个关键点。我们销售和/或具体开票对象的方面,所以你看到的是我们开票给谁。
这并不一定是产品最终所在的地方,也不一定是产品最终到达最终客户的地方。这些主要是转移到我们的OEM或ODM以及我们的产品组合中的系统集成商。
所以你看到的有时只是他们在使用谁来完成完整配置的快速转变,然后这些产品才会进入数据中心,进入笔记本电脑等。这种转变时不时会发生。
但确实,我们的中国号码是向中国开具发票的。请记住,这些数字包括了游戏、数据中心和汽车等领域。
回到你关于毛利率的声明,以及我们对Hopper和Blackwell在收入方面的预期。Hopper在下半年将继续增长。我们将继续从目前所看到的开始增长。
我们无法确定每个第三季度和第四季度的确切组合。我们还不是在这里指导第四季度。
但我们确实看到了需求预期。我们确实看到了这将是第四季度增长机会的可见性。
最重要的是,我们还将拥有我们的Blackwell架构。
年度产品节奏的原因
支持模型扩大规模和提升复杂性
Cantor Fitzgerald的C.J. Muse
感谢您回答这个问题。您已经开始了非凡的年度产品节奏,鉴于在相当有限的先进封装世界中的复杂性不断增加,挑战可能会越来越多。
那么,如果您退后一步,这种背景将如何改变您对潜在更大垂直整合、供应链合作伙伴关系的看法,然后对您的利润率状况产生间接影响?谢谢。
Jensen Huang -- 总裁兼首席执行官
我认为对你第一个问题的回答是,我们的速度之所以如此之高,是因为模型的复杂性在增长,同时我们希望继续降低其成本。
它在增长,所以我们想继续扩大它的规模。我们相信,通过继续扩大AI模型的规模,我们将达到非凡的有用水平,并且它将开启、实现下一次工业革命。
我们相信这一点。所以,我们将非常努力地推动自己继续提高这一规模。
我们有能力,相当独特地进行整合,设计一个AI工厂,因为我们拥有所有部件。除非你拥有所有部件,否则不可能每年都推出一个新的AI工厂。
所以,我们明年将运送比我们公司历史上任何时候都要多的CPU,当然还有更多的GPU,还有NVLink交换机,CX DPU,用于东西向的ConnectX,用于南北向的BlueField DPU,以及用于超级计算中心的InfiniBand,用于以太网的以太网。
这是我们的一个全新产品,它正迅速成为一个价值数十亿美元的业务,将AI带入以太网。因此,我们能够构建——我们能够接触到所有这些,我们拥有一个架构栈,正如你所知,它允许我们在完成它时向市场推出新功能。
否则,会发生什么,你运送这些部件,你去找客户销售,然后你得建造——有人得建造一个AI工厂,而AI工厂有一大堆软件。所以,这不仅仅是谁进行整合的问题。
我们很高兴我们的供应链在某种程度上是分散的,因为我们能够服务Quanta、富士康、HP、Dell、Lenovo、Super Micro。
我们曾经能够为中兴通讯服务。他们最近被收购等等。
我们拥有的生态系统合作伙伴数量,允许他们采取我们的架构,所有这些都有效;但是以定制的方式整合到世界上所有的云服务提供商、企业数据中心中。
我们的ODM和我们的集成商、集成供应链所需的规模和覆盖范围是巨大和庞大的,因为世界是巨大的。所以,这部分我们不想做,也不擅长做。
但我们懂得如何设计AI基础设施,按照客户喜欢的方式,并让生态系统整合它。
Blackwell机架始终
与全球合作伙伴网络合作
Wells Fargo的Aaron Rakers
感谢您接受我的问题。我想回到Blackwell产品周期的话题。
我们经常被问到的一个问题是,您如何看待机架级系统组合动态,当您考虑利用NVLink,您考虑GB NVL72时,以及这种市场推广动态在Blackwell产品周期中的表现如何。
我想简单地说,您如何看待在我们开始考虑Blackwell周期时,机架级系统的组合?
Jensen Huang -- 总裁兼首席执行官
Blackwell机架系统,它是作为机架设计和架构的,但它是以分散的系统组件出售的。我们不出售整个机架。
原因是因为每个人的机架都略有不同,这可能会让人惊讶。有些是OCP标准,有些不是。有些是企业的。每个人的功率限制可能都略有不同。
CDU的选择,电源汇流条的选择,配置和集成到人们的数据中心,都不同。所以我们设计的方式,我们架构了整个机架。软件将在整个机架上完美工作。然后我们提供系统组件。
比如,CPU和GPU计算板然后集成到MGX中。它是一个模块化系统架构。MGX非常巧妙。我们在整个工厂都有MGX ODM和集成商和OEM。
所以,几乎任何你想要的配置,你希望那个3000磅的机架被送到哪里,它必须接近。它必须在数据中心附近集成和组装,因为它相当重。
所以从我们运送GPU、CPU、交换机、网卡的那一刻起,供应链的一切都在CSP的位置和数据中心的位置附近完成集成。
所以,你可以想象世界上有多少数据中心,我们已经与我们的ODM合作伙伴扩展了多少物流中心。
我认为因为我们把它展示为一个机架,而且它总是以这种方式呈现和显示,我们可能给人留下了我们正在做集成的印象。
我们的客户讨厌我们做集成。供应链讨厌我们做集成。他们想要做集成。这就是他们的附加值。
有一个最终的设计适配,如果你愿意的话。它并不像滑进数据中心那么简单,但设计适配真的非常复杂。所以,设计适配、安装、启动、维修和更换,整个周期都在世界各地完成。
我们有一个庞大的ODM和OEM合作伙伴网络,他们在这方面做得非常好。
所以,集成不是我们做机架的原因。它是我们不做机架的反理由。
我们不想成为一个集成商,我们想成为一个技术提供商。
CEO总结:驱动英伟达增长的五种力量
Jensen Huang -- 总裁兼首席执行官
让我再做一些补充——再重复一下我之前做的一些评论。
全球数据中心正在全力推进使用加速计算和生成式AI现代化整个计算栈。
Hopper的需求依然强劲,对Blackwell的期待令人难以置信。
让我强调我们公司的五件大事,五件最重要的事情。
加速计算已经达到了临界点。CPU的扩展速度正在放缓。开发者必须加速一切可能的事项。
加速计算始于CUDA-X库。新库为NVIDIA开辟了新市场。
我们发布了许多新库,包括CUDA-X加速的Polars、Pandas和Spark,这些是领先的数据科学和数据处理库,CUVI-S用于向量数据库。现在非常热门。
对于5G无线基站,我们现在可以进入一整套数据中心的世界。
用于基因测序的Parabricks和用于蛋白质结构预测的AlphaFold2现在已经是CUDA加速的。
我们正处于将价值1万亿美元的数据中心从通用计算现代化到加速计算的旅程的开始。这是第一点。
第二,Blackwell是Hopper的阶梯式飞跃。
Blackwell是一个AI基础设施平台,而不仅仅是GPU。它恰好也是我们GPU的名字,但它是一个AI基础设施平台。
随着我们向合作伙伴和客户展示更多Blackwell的信息并对系统进行采样,Blackwell领先的程度变得清晰。
Blackwell的愿景花了将近五年时间和七种独一无二的芯片来实现,Gray CPU,Blackwell双GPU,以及一个庞大的软件包,ConnectX DPU用于东西向流量,BlueField DPU用于南北向和存储流量,NVLink交换机用于所有GPU之间的通信,以及Quantum和Spectrum-X用于支持AI巨大流量的InfiniBand和以太网。
Blackwell AI工厂是建筑大小的计算机。NVIDIA设计并优化了Blackwell平台,从芯片、系统、网络,甚至是结构化电缆、电源和冷却,以及大量软件,以快速为客户构建AI工厂。这些都是非常资本密集型的基础设施。
客户希望尽快部署设备并提供最佳性能和总体拥有成本(TCO)。Blackwell在功率受限的数据中心中提供的AI吞吐量是Hopper的三到五倍。
第三是NVLink。
这是一个非常大的交易,它的全对全GPU交换机是改变游戏规则的。
Blackwell系统允许我们将72 GB200封装中的144个GPU连接到一个NVLink域中,在一个机架中聚合NVLink带宽达到259太字节每秒。
从这个角度来看,这大约是Hopper的10倍。每秒259TB是有意义的,因为你需要在数万亿个token上提升数万亿参数模型的训练。因此,自然需要在GPU之间移动大量数据。
对于推理,NVLink对于低延迟、高吞吐量的大语言模型token生成至关重要。
我们现在有三个网络平台,NVLink用于GPU扩展,Quantum InfiniBand用于超级计算和专用AI工厂,以及Spectrum-X用于以太网上的AI。
NVIDIA的网络覆盖范围比以前大得多。
生成式AI的势头正在加速。
生成式AI前沿模型制造商正在竞相扩展到下一个AI高地,以提高模型的安全性和智商。
我们还在扩展,以理解更多模态,从文本、图像和视频到3D物理、化学和生物学。
聊天机器人、编程AI和图像生成器正在迅速增长,但这仅仅是冰山一角。
互联网服务正在为大规模推荐系统、广告定位和搜索系统部署生成式AI。
AI初创公司每年消耗数十亿美元的CSP云容量,各国正在认识到AI的重要性,并投资于主权AI基础设施。
NVIDIA AI、NVIDIA Omniverse正在开启AI的下一个时代,通用机器人技术。
现在,企业AI浪潮已经开始,我们准备帮助公司转型他们的业务。
NVIDIA AI企业平台包括Nemo、NIMs、NIM Agent Blueprints和AI Foundry,我们的生态系统合作伙伴,世界领先的IT公司用来帮助公司定制AI模型和构建定制的AI应用程序。
企业随后可以在NVIDIA AI企业运行时部署,每年每个GPU的成本为4,500美元,NVIDIA AI Enterprise是在任何地方部署AI的超值选择。
对于NVIDIA软件,随着与CUDA兼容的GPU安装基数从数百万增长到数千万台,TAM可能会非常显著。
正如Colette所提到的,NVIDIA软件将在今年以20亿美元的运行速度结束。
感谢大家今天参加我们的活动。
摘自-王铮Silvia
上一篇 | 下一篇 |
---|---|
彼得·蒂尔的世界观 | 没有上一篇 |