和硕今日指出,将参与美国运算大会SC24.展出与合作伙伴AMD、英特尔以及英伟达高效运算的服务器与机架级方案,同时也展示适合实时大型语言模型运算、先进散热基础设施解决方案,以及多节点高密度运算效能设计的液冷服务器产品。
和硕于展会中展室的特色产品包含支持大规模生成式AI运算的机架,搭配水对气Sidecar或气对气CDU散热机柜方案,运算节点采用英伟达GB200 NVL72高密度机架级GPU解决方案,可实现30倍的即时LLM推论速度,降低25倍的总拥有成本,且能减少25倍的能源消耗。
边缘推论在AI应用的重要性与日俱增,和硕展示英伟达H200 NVL,可增进LLM推理速度最高可达1.7倍,在高效能运算应用较H10 NVL效能提高1.3倍。
资料中心持续追求提高运算密度以及增加运算效能的方案,和硕结合先进冷却散热解决方案,搭载AMD最新EPYC 9005系列处理器,打造多节点高密度,且符合ORv3规范的OCP服务器。
另外,和硕展出多台气冷式多节点服务器,搭配英特尔Xeon 6处理器,可以应付资料中心的弹性扩充与节能省电的要求。