受惠于生成式AI热潮,用于AI服务器的英伟达H100芯片一直供不应求,价格表现强劲,加上美国对中国祭出AI芯片禁令,使得搭载H100销往中国的服务器现货价格水涨船高,一度高达300多万元,远高过28-30 万美元的官方售价,扣掉物流及关税成本,部分中间商可以轻松获利逾一成。
去年10月17日,美国要求AI芯片性能超过标准的任何公司,在产品出口到中国及其他引起关切的国家前,都必须先向美国商务部申请许可。 美国去年底实施较为宽松的芯片管制后,中国企业争相订购英伟达的A800及H800芯片,这些是英伟达为了符合出口规定而为中国市场打造的AI芯片。
但近来业内人士透露,H100现货价格开始松动,甚至出现下跌,4月香港现货价已下跌到260万元左右,在中国国内则跌至270万到280万元左右,较高点下滑20万到30万元。
按照英伟达计划,今年第二季将正式开卖H200芯片,时间很可能就在6月,一些中间商担心H200发售将对H100的价格造成剧烈冲击,急于卖出手中库存,导致H100服务器价格下跌。
市场猜测英伟达股价在4月19日暴跌10%便是受市场上述担忧情绪影响,全球大部分芯片公司当日股价也随之走跌,包括超威、Meta、美光等大厂均出现不同程度跌幅。
根据英伟达去年11月13日在全球超级计算大会的介绍,H200在性能方面比H100提升约60%到90%,并采用H100相同的Hopper架构,因此它们的浮点速率基本相同。
在主要升级方面,H200 重点转向内存容量跟带宽,包括141GB的HBM3E内存,比H100提升80%,带宽则从H100的3.35TB/s增加到了4.8TB/s,提升40%。
值得注意的是,H200在大语言模型推理表现上的性能提升极其明显,H200在700亿参数的Llama2大模型的推理速度比H100快了一倍,能耗却直接降低了一半。
此前,英伟达已称打算在今年第二季度正式推出H200.包括Google、亚马逊、微软等大型计算机厂商和云服务器供应商将成为H200的首批用户。
英伟达上周五股价大涨6.18%至每股877.35美元,过去5个交易日上涨10.33%,今年来累计涨幅为77.16%。