❤️Nvidia的AI晶片H100有多神?为何一片难求?

查看 118|回复 8
作者:小嵐   
   
抢购 H100 的客户,主要分成三类:
第一类是 综合型云端计算巨头
比如微软 Azure、Google GCP 和亚马逊 AWS 这样的云端计算巨头。他们的特点是财大气粗,动辄就想 「包圆」 英伟达的产能,但每家也都藏着小心思,对英伟达的近垄断地位感到不满,暗地里自己研发芯片来降低成本。
第二类是 独立的云 GPU 服务商
典型公司如前文提到的 CoreWeave,以及 Lambda、RunPod 等。这类公司算力规模相对较小,但能够提供差异化的服务,而英伟达对这类公司也是大力扶持,甚至直接出钱投资了CoreWeave 和Lambda,目的很明确:给那些私自造芯的巨头们上眼药。
第三类是 自己在训练 LLM(大语言模型)的大小公司
既包括 Anthropic、Inflection、Midjourney 这种初创公司,也有像苹果、特斯拉、Meta 这样的科技巨头。它们通常一边使用外部云服务商的算力,一边自己采购 GPU 来自建炉灶 —— 有钱的多买,没钱的少买,主打一个丰俭由人。
在这三类客户中,微软Azure 至少有5 万张H100,Google手上大概有3 万张,Oracle 大概有2 万张左右,而特斯拉和亚马逊手上也至少拿有1 万张左右, CoreWeave 据称有3.5 万张的额度承诺(实际到货大概1 万)。其他的公司很少有超过 1 万张的。
这三类客户总共需要多少张 H100 呢?根据海外机构 GPU Utils 的预测,H100 当前需求大概 43.2 万张。其中OpenAI 需要5 万张来训练GPT-5,Inflection 需求2.2 万张,Meta 则是2.5 万张(也有说法是10 万张),四大公有云厂商每家都需要至少3 万张,私有云行业则是10 万张,而其他的小模型厂商也有10 万张的需求。
英伟达 2023 年的 H100 出货量大概在 50 万张左右 ,目前台积电的产能仍在爬坡,到年底 H100 一卡难求的困境便会缓解。
但长期来看,H100 的供需缺口会随着 AIGC 的应用爆发而继续水涨船高。根据金融时报的报导,2024 年 H100 的出货量将高达 150 万张 – 200 万张,相比于今年的 50 万张,提升 3-4 倍 。
而华尔街的预测则更为激进:美国投行Piper Sandler 认为明年英伟达在资料中心上的营收将超过600 亿美元(FY24Q2:103.2 亿美元),按这个资料倒推,A+H 卡的出货量接近300 万张。
还有更夸张的估计。某 H100 伺服器最大的代工厂(市占率 70%-80%),从今年 6 月开始就陆续出货了 H100 的伺服器,7 月份产能陆续爬坡。一份最近的调研显示,这家代工厂认为 2024 年 A+H 卡的出货量会在 450 万张~500 万张之间。
这对英伟达意味着 「泼天的富贵」,因为 H100 的暴利程度,是其他行业人难以想像的。

万张, 出货量, 也有

lewissue   
   
辉达是个港台翻译吧,太违和了
晶片也是港台用语,不过我第一遍看竟然没发现,只注意到辉达
shiguang   
不觉明历
小嵐
OP
  

lewissue 发表于 2023-11-3 11:24
辉达是个港台翻译吧,太违和了
晶片也是港台用语,不过我第一遍看竟然没发现,只注意到辉达 ...

謝謝你的提醒~
小嵐
OP
  

shiguang 发表于 2023-11-3 11:23
不觉明历

古哥呀
sktr   
楼主是香港的吗
小嵐
OP
  

sktr 发表于 2023-11-3 14:19
楼主是香港的吗

台灣唷~
sktr   
欢迎欢迎
小嵐
OP
  

sktr 发表于 2023-11-6 17:08
欢迎欢迎

謝謝呀~~~~
您需要登录后才可以回帖 登录 | 立即注册

返回顶部