原标题:进军类ChatGPT,成立项目组?腾讯回应
2023年2月27日讯:腾讯针对类ChatGPT对话式产品已成立“混元助手(HunyuanAide)”项目组,该项目组Owner为张正友,PM分别为俞栋、王迪、刘田,目前该项目有至少7位组长、7位Sponsor。《中国基金报》获得腾讯方面官方回应:在相关方面早有布局。
对话式产品早有布局
专项研究有序推进
腾讯方面表示,目前,腾讯在相关方向上已有布局,专项研究也在有序推进。腾讯持续投入AI等前沿技术的研发,基于此前在AI大模型、机器学习算法以及NLP等领域的技术储备,将进一步开展前沿研究及应用探索。
报道称,该项目组将联合腾讯内部多方团队,构建大参数语言模型,目标是通过性能稳定的强化学习算法训练,完善腾讯智能助手工具,打造“腾讯智能大助手”,并成为国内的业界标杆。该项目组旨在通过性能稳定的强化学习算法训练,完善腾讯智能助手工具。
据报道,混元助手项目组的一号位张正友是腾讯史上最高职级拥有者,早年曾在微软研究院就职,带领视觉团队从事大量学术研究,贡献颇丰。张正友于2018年加入腾讯,创建了腾讯机器人实验室RoboticsX,致力推进人机协作的下一代机器人研究。2021年1月8日,腾讯宣布张正友成为腾讯首位17级研究员/杰出科学家。
“混元AI大模型”4月首次发布
据了解,混元AI大模型(下文简称“HunYuan”)是腾讯早前就已经在研发的人工智能技术。
2022年4月,腾讯首次对外披露HunYuan研发进展。HunYuan集CV(计算机视觉)、NLP(自然语言理解)、多模态理解能力于一体,先后在MSR-VTT,MSVD等五大权威数据集榜单中登顶,实现跨模态领域的大满贯。2022年5月,更是CLUE(中文语言理解评测集合)三个榜单同时登顶,一举打破三项纪录。
随着AI技术不断发展,AI大模型(又称预训练模型)逐渐成为产业中最火热的技术名词。
预训练模型是指预先训练好,具有相对通用性的“一套算法”,具有“巨量数据、巨量算力、巨量模型”等特性。大模型通过学习样本数据的内在规律和表达层次,进化出接近、超越人类的智能程度,具备分析推理能力,能够识别文字、图像和声音。
2022年12月,HunYuan又迎来全新进展,推出国内首个低成本、可落地的NLP万亿大模型,并再次登顶自然语言理解任务榜单CLUE。
“混元AI大模型”
已在腾讯多个核心业务场景落地
预训练的提出使得人工智能进入全新的时代,引发了学术界和工业界的研究热潮。
随着算力的发展,模型容量持续提升,模型通用性和泛化能力也更强,研究大模型成为了近两年的趋势。国内外头部科技公司均有布局,发布了若干千亿规模以上的大模型。
然而,面对参数量进一步扩大,业界并没有在高速网络、训练/推理框架、模型算法和落地应用等方面有全面深入的公开性研究。
基于腾讯强大的底层算力和低成本高速网络基础设施,HunYuan依托腾讯领先的太极机器学习平台,推出了HunYuan-NLP1T大模型并登顶国内最权威的自然语言理解任务榜单CLUE。
该模型作为业界首个可在工业界海量业务场景直接落地应用的万亿NLP大模型,先后在热启动和课程学习、MoE路由算法、模型结构、训练加速等方面研究优化,大幅降低了万亿大模型的训练成本。
用千亿模型热启动,最快仅用256卡在一天内即可完成万亿参数大模型HunYuan-NLP 1T的训练,整体训练成本仅为直接冷启动训练万亿模型的1/8。
此外,业界基于万亿大模型的应用探索极少,对此腾讯研发了业界首个支持万亿级MoE预训练模型应用的分布式推理和模型压缩套件“太极-HCF ToolKit”,实现了无需事先从大模型蒸馏为中小模型进而推理,即可使用低成本的分布式推理组件/服务直接进行原始大模型推理部署,充分发挥了超大预训练模型带来的模型理解和生成能力的跃升。
目前HunYuan-NLP 1T大模型已在腾讯多个核心业务场景落地,并带来了显著的效果提升。
HunYuan协同了腾讯预训练研发力量,旨在打造业界领先的AI预训练大模型和解决方案,以统一的平台,实现技术复用和业务降本,支持更多的场景和应用。当前HunYuan完整覆盖NLP大模型、CV大模型、多模态大模型、文生图大模型及众多行业/领域任务模型。
HunYuan先后支持了包括微信、QQ、游戏、腾讯广告、腾讯云等众多产品和业务,通过NLP、CV、跨模态等AI大模型,不仅为业务创造了增量价值而且降低了使用成本。特别是其在广告内容理解、行业特征挖掘、文案创意生成等方面的应用,在为腾讯广告带来大幅GMV提升的同时,也初步验证了大模型的商业化潜力。
以下是HunYuan在对话生成和小说续写等场景下的案例。
对话生成:
小说生成:
广告文案生成:
广告文案衍生:
论文生成: