总阅读量:次

⭐⭐⭐ Spring Boot 项目实战 ⭐⭐⭐ Spring Cloud 项目实战
《Dubbo 实现原理与源码解析 —— 精品合集》 《Netty 实现原理与源码解析 —— 精品合集》
《Spring 实现原理与源码解析 —— 精品合集》 《MyBatis 实现原理与源码解析 —— 精品合集》
《Spring MVC 实现原理与源码解析 —— 精品合集》 《数据库实体设计合集》
《Spring Boot 实现原理与源码解析 —— 精品合集》 《Java 面试题 + Java 学习指南》

摘要: 原创出处 芯视点 「芯视点」欢迎转载，保留摘要，谢谢！

🙂🙂🙂关注微信公众号：【芋道源码】有福利：

  1. RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表
  2. RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址
  3. 您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。
  4. 新的源码解析文章实时收到通知。每周更新一篇左右。
  5. 认真的源码交流微信群。

在《金融时报》最近的一篇文章中，Nvidia 报告称，预计 2023 年将在全球范围内出货 550,000 个最新的 H100 GPU。对 GPU 的需求显然来自生成式 AI 热潮，但 HPC 市场也在争夺这些加速器。目前尚不清楚这个数字是否包括中国专用的 A800 和 H800 车型。

大部分 GPU 将流向美国科技公司，但英国《金融时报》指出，沙特阿拉伯已经购买了至少 3,000 个 Nvidia H100 GPU，阿联酋也购买了数千个 Nvidia 芯片。阿联酋已经在阿布扎比马斯达尔城的国有技术创新研究所使用 384 个 A100 GPU 开发了自己的开源大型语言模型，称为 Falcon。

旗舰级 H100 GPU（14,592 个 CUDA 核心、80GB HBM3 容量、5,120 位内存总线）售价高达 30,000 美元（平均），Nvidia 首席执行官黄仁勋 (Jensen Huang) 称其为首款为生成式 AI 设计的芯片。沙特大学建造了自己的基于 GPU 的超级计算机，名为 Shaheen III。它采用 700 个 Grace Hopper 芯片，结合了 Grace CPU 和 H100 Tensor Core GPU。有趣的是，GPU 被用来创建由无法在美国学习或工作的中国研究人员开发的LLM。

与此同时，生成式人工智能 (GAI) 投资继续为GPU 基础设施采购提供资金。据报道，在 2023 年前 6 个月，GAI 初创企业的融资比 2022 年全年增长了 5 倍以上，而自 2022 年第三季度以来，生成式 AI 基础设施类别已占融资的 70% 以上。

H100 的成本因封装方式以及您能够购买的数量而异。目前（2023 年 8 月）H100 PCIe 卡的零售价约为 30,000 美元（交货时间也可能有所不同。）粗略估计，2023 年市场支出为 165 亿美元，其中很大一部分将用于到英伟达。

根据《巴伦周刊》资深撰稿人 Tae Kim最近在社交媒体上发布的估计，Nvidia 制造 H100 的成本为 3,320 美元。这让英伟达获得基于 Nvidia H100 卡零售成本的 1000% 利润。这意味着 Nvidia 的每个高性能计算 (HPC) 加速器（最便宜的 PCIe 版本）的市场价格约为 25,000 至 30,000 美元，超过了每个芯片和外设的估计成本 3,320 美元（在板）组件。正如冲浪者会告诉您的那样，没有什么比在眼前看不到其他冲浪板的情况下冲浪更好的了。

然而，目前尚不清楚成本分析有多深入：如果这是一个纯粹的制造成本问题（在考虑良率的情况下平均每片晶圆和其他组件的价格），那么 Nvidia 仍然需要支付大量的的额外费用。

产品开发需要时间和资源；考虑到 H100 等产品的产品开发生命周期中的工程师和其他参与者，在得出最终的平均产品开发成本之前，还必须考虑 Nvidia 的研发成本。据 Glassdoor 称，Nvidia 电子硬件工程师的平均年薪约为 202,000 美元。这对于单个工程师而言 - H100 等芯片的开发可能需要许多专业工人花费数千个小时。所有这些也都必须考虑在内。

即便如此，不可否认的是，作为人工智能加速工作负载的领先公司是有优势的。众所周知，Nvidia GPU 很快就被抢购一空，甚至连它们堆放的机架都没有接触过。对于任何试图准确理解 AI HPC 热潮背后的物流意味着什么的人来说，本文尤其是终极游乐场。然而，这实际上意味着 Nvidia 人工智能加速产品的订单似乎已经售完到 2024 年。预计到 2027 年人工智能加速器市场价值将达到 1500 亿美元左右。

之所以出现这种情况，正如经常报道的那样，Nvidia 的合作伙伴台积电几乎无法满足 GPU 的需求。GPU 需要更复杂的 CoWoS 制造工艺（基板上晶圆芯片 — 台积电的“2.5D”封装技术，其中多个有源硅芯片（通常是 GPU 和 HBM 堆栈）集成在无源硅中介层上。）CoWoS 的使用添加了复杂的多步骤、高精度工程流程，从而降低了 GPU 生产速度。

这一情况得到了 Nvidia DGX 系统副总裁兼总经理 Charlie Boyle 的证实。Boyle 表示，延迟并非由于台积电错误计算需求或晶圆良率问题，而是由于芯片封装技术 CoWoS 。

文章目录