晶片新创公司Cerebras Systems周三发表Wafer Scale Engine 3(WSE-3)处理器,效能为前一代WSE-2的两倍,专为训练业界最大人工智能模型而设计。
Cerebras Systems表示,WSE-3处理器是采用台积电5纳米制程技术所打造,包含4兆个晶体管,90万个AI核心,44 GB片上SRAM。 外部内存有 1.5 TB、12 TB 或 1.2 PB 三种容量。 峰值性能为 125 FP16 PetaFLOPS。
Cerebras的WSE处理器首次亮相是在2019年,当时采用台积电16纳米制程技术生产,2021年推出的WSE-2.则转为采用台积电7纳米工艺制程。
Cerebras指出,在相同功耗与价格下,WSE-3性能是前一代WSE-2的两倍,能训练多达24万亿个参数的AI模型,其打造的集群规模更高达2048个CS-3系统。
Cerebras 表示,由于每个零件都针对 AI 功能进行优化,与其他系统相比,CS-3 系统能以更小的空间和更低的功耗,提供更高的运算性能。 GPU 功耗会随着每一代推出而翻倍,相较之下,CS-3 性能翻倍,功耗却能够保持不变。
此外,CS-3具有卓越的易用性,与使用于大模型的GPU相比,能够以更少的代码进行训练,举例来说,只需要565行代码,就可以完成GPT-3大小的模型。
Cerebras 不仅专注于 AI 推论训练,还宣布和高通建立合作伙伴关系,使用高通的传统 AI 推论加速器,目标是将推论成本降低 10 倍。 该公司表示,经Cerebras训练的网络将在高通的新款推论芯片AI 100 Ultra上运行。
Cerebras 首席执行官兼共同创始人Andrew Feldman表示:「WSE-3 是全球最快的 AI 芯片,专为最新的尖端 AI 工作而设计。 我们很开心能将 WSE-3 和 CS-3 推向市场,以帮助解决当今最大的 AI 挑战。」
与英伟达、超威和英特尔等公司将晶圆切割为小芯片的做法不同,Cerebras 利用整片晶圆制成一个巨型芯片,按尺寸来看,WSE-3 是英伟达H100 的57 倍。 H100 被视为目前市场上最强的 AI 芯片,拥有 16896 个 AI 核心和 528 个张量核心,但与 WSE-3 的 90 万个 AI 核心相比,可谓相形见绌。