{dede:global.cfg_webname/}

当前位置: 首页 > 科技 > 软件 > 正文

腾讯发布星脉网络2.0:大模型训练效率相比上代提升 20%

来源:互联网    时间:2024-07-02 11:08:37

  7 月 2 日消息,腾讯昨日发布其自研星脉网络 2.0 版本,升级后的星脉网络支持单集群 10 万卡组网,网络通信效率比上一代提升 60%,大模型训练效率提升 20%,故障定位从天级降低至分钟级

  腾讯自研交换机从 25.6T 升级到 51.2T,容量提升一倍;自研硅光模块从 200G 升级到 400G,速率提升一倍;搭载自研算力网卡;整机通信带宽 3.2T,为业界最高。

  腾讯自研全新通信协议 TiTa2.0 的部署位置从交换机转移到了网卡上,拥塞算法也从被动拥塞算法升级为主动拥塞控制算法,将星脉网络的通信效率提升 30%,让大模型的训练效率提升 10%

  腾讯全新高性能集合通信库 TCCL2.0 采用 NVLINK+NET 异构并行通信,实现数据的并行传输。Auto-Tune Network Expert 自适应算法可以根据机型、网络规模、模型算法等差异,自动调整数据包分割大小、匹配算法等参数。星脉网络通信性能提升 30%,让大模型的训练效率再提升 10%

▲数据的并行传输(腾讯云)

  TiTa 与 TCCL 升级带来的效果叠加,让星脉网络的通信效率共提升 60%,大模型训练效率共提升 20%

声明:来源非IT商业科技网的作品均转载自其它媒体,转载请尊重版权保留出处,一切法律责任自负。文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。转载稿件或作者投稿可能会经编辑修改或者补充, 如有异议可投诉至:Email:342 4350 938@qq.com

频道精选
腾讯发布星脉网络2.0:大模型训练效率相比上代提升 20%

腾讯发布星脉网络2.0:大模型训练效率相比上代提升 20%

  7 月 2 日消息,腾讯昨日发布其自研星脉网络 2 0 版本,升级后的星脉网络支持单集群 10 万卡组网,网络通信效率比上一代提升 6
2024-07-02
iOS19:已经在路上!果粉:还没用上iOS18!

iOS19:已经在路上!果粉:还没用上iOS18!

  都知道,手机厂商每次发布新机之前,都会提前几个月的时间进行定案,然后进行工程机测试,没有什么问题之后才会进行量产。  不过这也
2024-07-02
五大越级首发!真我官宣新机 骁龙8G3+6000nit直屏+5800mAh+AI

五大越级首发!真我官宣新机 骁龙8G3+6000nit直屏+5800mAh+AI

  在7月第一天,真我官方就发出预告,表示真我GT6将在7月2日正式官宣。真我realme 副总裁、中国区总裁、全球营销总裁徐起表示,真我GT6
2024-07-02
市场规模达520亿元 宠物电商步入发展快车道

市场规模达520亿元 宠物电商步入发展快车道

  它经济正在成为热门赛道。  6月27日,21世纪新质生产力研究院举办AI+电商,品牌如何在未来多点开花?闭门研讨会,汇聚了众多品牌商和
2024-07-02
中能拾贝惊艳亮相2024CPEM智慧风电大会 构建绿色能源新未来

中能拾贝惊艳亮相2024CPEM智慧风电大会 构建绿色能源新未来

  近日,第4届风电人工智能及智能运维大会暨第3届海上风电建设与运维大会(简称2024CPEM智慧风电大会)在上海举行。本次大会由CPEM全国电力
2024-07-02
全速突破的九号电动迎来第四个100万台 用时仅4个月!增速再次刷新行业纪录

全速突破的九号电动迎来第四个100万台 用时仅4个月!增速再次刷新行业纪录

  在两轮智能电动车的赛道上,九号电动书写了行业新的传奇!仅历时四个月,九号智能两轮电动车的国内市场便迎来了第400万台的出货,这一数
2024-07-02
真我GT6定档7月9日发布 性能梦想机五大越级首发

真我GT6定档7月9日发布 性能梦想机五大越级首发

  真我今日正式官宣将于7月9日14:00举办真我GT6新品发布会。真我GT6定位性能梦想机,将携五大越级首发技术,全面满足用户的性能想象,带
2024-07-02
谷歌投资贝莱德台湾太阳能开发商供当地云端及AI使用

谷歌投资贝莱德台湾太阳能开发商供当地云端及AI使用

  美国科技巨头谷歌周一宣布,将与贝莱德合作在台湾开发一条1吉瓦的新太阳能产能管道,以期在人工智能热潮中提高能源产能并减少碳排放。
2024-07-02

2017-2019 Copyright © IT商业科技网 备案许可证号粤ICP备2022153948号 豫公网安备110102003388号

紧急处理QQ:133 4673 445@qq.com