英伟达H100 GPU自2023年3月上市之后,因需求激增供不应求,其租赁价格从最初的每小时4.7美元一度飙升至每小时8美元以上。 不过,市场传出,自今年起H100出现供过于求,每小时租赁价格降至2美元左右。
据报道,价格下跌是多方因素导致,包括有些长期预订H100的公司完成模型训练之后,转售闲置未使用的算力。 此外,因许多公司不再从头训练新模型,转而微调开放模型,算力需求大幅降低。
加上专注构建大规模基础模型的新创公司数量大幅减少,还有H100的替代品出现,如超微和英特尔GPU等等。
据报道,H100租赁价格并非骤然暴跌,波动已有时日。 从A100到H100、从H100到H200.再到未来的Blackwell,新品问世势必带来前代产品的没落。
新创公司 Featherless.Ai 执行长Eugene Cheah表示,H100价格下跌主要是小规模集群的租赁价格; 相较之下,大规模算力集群的价格,可能依然维持在较高水平,主要是由特斯拉、微软、OpenAI一类的科技巨头所支撑。
根据Omidia数据显示,H100发布后,2023年第三季度约出货量达到65万张; 其中,仅Meta和微软就分别拿下了15万张,占比接近一半。
该文指出,对于一般市场来说,现今投资新的H100已没有什么意义,因为在当前供应过剩的情况下,企业可在需要时以接近成本的价格进行租赁。
先前英伟达下一代GPU Blackwell系列传出,其设计存在缺陷恐将延迟出货。 但摩根士丹利发布报告称,Blackwell的生产正在「按计划进行」,且未来12个月左右的供应已经售罄。 这意味着,现在下订单的客户要到2025年底才能收到货,这将继续推动对现有Hopper架构产品的强劲短期需求。