知名创业家马斯克宣布,集结100000颗H100 GPU的「Colossus」训练丛集已正式上线。
马斯克3日透过社交平台X指出,xAI团队的「Colossus」已在这个周末成功启用,项目从开始到结束仅花122天。
马斯克表示,Colossus是全世界最强大的AI训练系统,规模还将在接下来几个月内倍增至200000颗(当中包括50000颗H200)。 感谢xAI团队、英伟达及我们许多伙伴/供应商的出色工作。
TweakTown报导,xAI的旗舰大型语言模型「Grok 2」是以15.000颗AI GPU训练的,如今加上Colossus的100000颗AI GPU,次世代LLM的表现有望更加优秀。
马斯克6月初曾表示,他打算采购300000颗英伟达Blackwell架构「B200」AI绘图处理器,以提升「Grok」AI聊天机器人的表现。
马斯克4月8日在社交平台X接受挪威央行投资管理公司首席执行官Nicolai Tangen访问时曾表示,训练Grok 2模型需要约20000颗英伟达H100 GPU,而Grok 3及以后的模型则会需要100000颗H100. 他当时还预测,全新AI模型的能力将在2025年底前超越人类智能,前提是电力供给及硬件能满足这种日益强大科技的需求。