5月29日,AI是当前的热点,现在也成了NVIDIA最受人关注的部分,今天在台北电脑展的主题演讲上,NVIDIA又发布了针对AI推出的大内存DGX GH200超算系统,配备了256个Grace Hopper芯片,总计1.8万CPU核心,144TB内存,相比之前涨了500倍。
AI运算对内存容量的要求更高,所以DGX GH200通过最新的NVLink、NVLink Switch等技术连接了256块Grace Hooper超级芯片,实现了极为夸张的性能及内存。
Grace Hooper我们之前报道过,这是一块CPU+GPU合体的超级芯片,CPU是NVIDIA自研的72核处理器,Neoverse V2内核,拥有480GB LPDDR5内存,512GB/s带宽。
GPU部分是H100,FP64性能34TFLOPS,但更强的是INT8性能,AI运算能力达到了3958TFLOPS,带96GB HBM3内存。
GH200总计有256块Grace Hooper芯片,因此总计18432个CPU核心,144TB HBM3内存,AI性能达到了1 exaFLOPS,也就是100亿亿次。
这是什么概念,当前最强的TOP500超算也就是百亿亿次性能,只不过这个性能是HPC计算的,NVIDIA的是百亿亿次AI性能。
为了让256个超级芯片互联,GH200还使用了256块单口400Gb/s InfiniBand互联芯片,256个双口200Gb/s InfiniBand芯片,还有96组L1 NVLink、36组L2 NVLink开关等等,设计非常复杂。
NVIDIA表示,谷歌、Meta及微软是首批获得DGX H200系统的公司,后续他们还会开放给更多客户,运行客户定制。
不过DGX H200还不是最强的,NVIDIA今年晚些时候会推出名为NVIDIA Helios的AI超算系统,由4组GH200组成,总计1024个Grace Hooper超级芯片,576TB HBM内存。