在今日下午的 OPPO Find X7 系列产品技术发布会上,OPPO 公布了安第斯大模型 AndesGPT 的全新升级。
安第斯大模型将分为1800亿参数、700亿参数、70亿参数三种版本,支持端云协同部署,可根据不同场景的用户需求实现智能调度。
OPPO 表示,AndesGPT 大模型通过强大的知识、记忆和工具能力,为语音助手带来广泛的知识面,以及个性化的智慧服务能力。通过独创的 SwappedAttention 技术,AndesGPT 解决了长期记忆带来的首字推理延迟问题。
从技术发布会获悉,通过4位量化的模型压缩、OPPO 的 Al Boost 推理引擎优化,以及与芯片厂家联合深度优化等多项措施,OPPO 在 Find X7 系列上首次实际端侧应用了70亿参数的大模型。
据介绍,在 AndesGPT 大模型 70 亿参数语言模型的支持下,OPPO 端侧具备非常快速的首字响应速度,在文本内容摘要的场景下,200 字的首字生成仅需0.2秒,领先友商 20倍;2000字首字生成仅需2.9秒,领先友商2.5倍;摘要字数上限可达14000字,可以轻松处理一篇常见期刊论文,领先友商模型能力3.5倍。
相比于10亿参数大模型,AndesGPT 70亿参数语言模型可以带来更具“智商”的理解能力。以通话摘要功能举例,AndesGPT 可以帮助用户梳理通话内容的要点,并准确地输出带有主题、要点以及待办事项的通话内容摘要,精确程度“明显优于10亿级别的端侧模型”。