{dede:global.cfg_webname/}

当前位置: 首页 > 科技 > 科技快讯 > 正文

首个AIOS平台重磅发布:新一代AI基础设施来了

来源:互联网    时间:2024-08-08 14:22:07

  新一代 IT 基础设施,将从通用算力+云平台转型为AI算力+AIOS平台。

  AI正在重构世界。正如世界是立体的,AI重构也正从多维度开启:基础设施重构,业务应用重构,交互模式重构,数据价值重构,生态系统重构……

  2023年6月,英伟达市值首次突破万亿美元,率先引爆基础设施重构的全球化浪潮。随着数据中心转向智算中心,硬件基础设施从通用算力走向AI算力,软件基础设施也将转型为新一代AI基础设施——AI操作系统(AIOS)平台。

  新一代AI基础设施AIOS平台

  AI企业级商用的道路并不平坦。

  2022年11月,‌OpenAI ChatGPT-3‌开启了生成式AI(GenAI)走向商用的新时刻。据IDC预测,到2025年仅仅三年时间,全球2000强企业就会把超过40%的核心IT支出用于AI相关计划,千亿级企业AI大市场已徐徐拉开。但另一方面,‌OpenAI ChatGPT企业版收入占比仅为21%,且有外媒报道2024年OpenAI或将面临50亿美元巨额亏损。

  中国AI企业级市场则面临更多挑战。

  算力层:与国外以英伟达为主的AI算力不同,中国市场呈现多架构多品牌的AI算力格局。企业不仅仍旧面临算力稀缺,如果各异构算力之间无法互通,还会形成硬件算力竖井。

  模型层:产品导向必将转向场景导向。随着训推模型向场景化发展,不同场景下模型分工将更为专业,大模型呈垂直化趋势,在企业侧部署易于发展为模型生态竖井。

  运营层:“百模大战”迅速走向推理应用,亟待在解耦算力竖井和模型竖井的基础上,实现跨平台的计量计费,迅速提升企业AI普及率。

  “AI任务的多样性要求不同的模型处理,数据的多样性要求多模态能力,算力的异构性要求分布式多架构并行,模型的不断演进要求企业灵活更迭新的AI模型……面对企业AI的复杂与困境,亟待能够破局的新一代AI基础设施。” 云轴科技ZStack创始人兼CEO张鑫认为,“一个能够同时解耦算力竖井和模型竖井、全域感知动态调度、实现自服务运营的新一代AI基础设施AIOS平台,成为提升企业AI渗透率的关键一环。”

  作为AI生态系统中的新型形态,AIOS平台应该如何定义,包括哪些关键要素?

  与模型即服务(MaaS)不同,AIOS是专门为AI应用而设计的操作系统平台,它不仅可以高效管理硬件算力资源,还内置AI引擎解耦不同模型、调度不同算力、执行各种AI任务,通过自服务运营模式降低AI应用门槛,提高AI应用效率。ZStack张鑫认为,作为新一代AI基础设施,AIOS平台需要在安全可控、持续迭代的基础上,同时在算力层、模型层、运营层三大层面实现以AI为核心的重构:

  算力层,从运维视角,以AI为核心进行算力资源预测、精分、调度,降低AI应用成本;

  模型层,从开发视角,以AI应用框架进行AI训推模型无缝集成与生命周期管理,优化AI应用性能;

  运营层,从业务视角,提供多智算中心、多集群、多租户的按量计费运营,实现AI自服务化。

  8月6日,云轴科技ZStack正式发布首个AIOS平台“智塔“,期望通过同时解耦算力竖井和模型竖井,优化AI应用性能和成本,解锁千亿级企业AI市场。

  算力层

  ZStack AIOS平台“智塔“的算力精分调度平台,支持NVIDIA、AMD、Intel、海光、华为昇腾、寒武纪、燧原、天数智芯、太初元碁、壁仞、摩尔线程、沐曦等中国市场上的主流品牌和几十种AI芯片型号,实现异构算力协同不同AI 模型之间的优化路由。

  模型层

  ZStack AIOS平台”智塔”的动态模型自适应平台,可以支持生成式AI(GenAI)、自然语言处理 (NLP)、计算机视觉、机器学习(ML)、深度学习(DL)以及多模态AI,并支持Llama、Gemma、通义千问Qwen、智谱ChatGLM、百川Baichuan、零一万物Yi、OLMo、GPT-NeoX等数百种开源大模型,实现模型压缩与性能优化,模型选型与生命周期管理,训推高效部署与自适应调度,达到跨软硬件的全面性能优化。

  运营层

  ZStack AIOS平台”智塔”的全域感知自服务平台,可以进行多租户隔离和动态资源配额管理,实现跨智算中心、跨集群的全域感知统一调度,提供按量计费的动态训推服务,具备可视化统一门户,弹性跨域容错,实现精细化的自服务运营体系。

  算力层:提升异构算力效率,破局算力稀缺难题

  “AI的尽头是电力。“这一观点其实是AI芯片全球性规模扩张的展现。随着训推竞赛展开,千卡规模、万卡规模不断升级,AI算力资源稀缺且成本高昂。

  在中国企业AI应用中,面对异构算力与多种模型选择,企业首要的需求是快速部署和高效运维AI模型。目前,AI算力池化替代异构算力竖井已成趋势,企业需要一个AIOS平台解决模型高效部署运维难题,避免为单个模型部署单一AI算力形成竖井架构,将异构算力池化并实现协同调度,使得企业在模型快速部署的同时,高效利用异构算力资源,显著降低算力成本。

  ZStack AIOS平台“智塔”具备裸金属、虚机与容器多引擎能力,通过GPU切割精分量化,对异构AI算力实现可达1%的量化管理,大幅降低算力成本。算力层的另一大核心在于,在AI算力精分量化基础之上,通过分布式协同调度能力,实现异构算力的统一管理和动态调度,达到算力的精细化资源复用,进一步降低算力成本。

  模型层:多模型框架集成,MaaS服务灵活高效

  《IDC FERS Survey Wave》2024年发布的最新调研显示,48%的GenAI都将在企业本地部署,随着AI从训练走向推理,行业企业应用成为真正加速AI商用化进程的关键。

  在中国企业AI训推实践中,完整完成一个AI任务往往需要多个专业模型协同工作。另一方面,各大领域开源模型的大量涌现,也助推企业使用不同模型解决不同业务问题。ZStack张鑫认为:“类似数据库应用,企业会同时使用Oracle、MongoDB、MySQL、Redis等不同类型数据库来解决不同场景的问题,未来,企业同时使用多个模型将成为常态。“

  面对多种模型应用,企业AI应用的一个重要需求是模型选型、精调、推理、MLops/LLMops的调度与性能优化。企业需要一个AIOS平台集成模型框架来实现多个模型的协同能力,并同时通过模型压缩加速、数据感知编排等实现AI模型的性能优化。

  ZStack AIOS平台“智塔”一方面通过动态模型自适应平台,提供从模型训练、评估、推理到更新的全生命周期管理,高效实现模型服务优化;另一方面通过将AI任务智能解构,动态优化路由、分布式并行训推,自适应负载均衡等能力,结合算力层的算力精分协同调度平台,显著提升模型训推性能和模型服务体验。

  运营层:全域感知自服务化,提升企业AI渗透率

  作为新一代AI基础设施,AIOS平台在模型层和算力层通过优化资源分配和模型部署,降低企业AI应用门槛,提升企业AI应用效率;另一方面,如果企业还具备AI自服务运营能力,将在提升企业AI渗透率的进程中起到四两拨千斤的作用。

  ZStack AIOS平台“智塔”以AI为核心提供更全面更直观的可视化统一视图,实现精细化管理;在动态调度资源方面,跨多智算中心、多集群全域调度自适应模块,可以根据需要实现跨平台的自动扩缩和调度功能;在训推服务高可用方面,弹性容错自愈模块具备快速故障定位与故障自愈能力,可以实现跨平台的容错与灾备;在安全与隐私方面,将融合敏感数据检测能力,实现端到端的数据安全保障作为运营基础;在系统运营方面,可实现多租户隔离和资源配额管理,训推计量计费服务。

  作为新一代AI基础设施,AIOS平台通过算力层、模型层、运营层三大方向以AI为核心进行重构,解耦异构算力竖井降低AI应用成本;解构模型生态竖井优化AI应用性能;全域计量计费实现AI自服务化,加速企业AI渗透率,解锁千亿企业AI市场。

声明:来源非IT商业科技网的作品均转载自其它媒体,转载请尊重版权保留出处,一切法律责任自负。文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。转载稿件或作者投稿可能会经编辑修改或者补充, 如有异议可投诉至:Email:342 4350 938@qq.com

频道精选
华为MateBook GT 14今日开售 售价7499元起

华为MateBook GT 14今日开售 售价7499元起

  原标题:华为 MateBook GT 14 今日开售 专业全能体验多维度进化  8 月 8 日 20:08 华为 MateBook GT 14 将正式开售,
2024-08-08
OPPO Reno12手机“晨雾蓝”新配色开售 支持80W快充

OPPO Reno12手机“晨雾蓝”新配色开售 支持80W快充

  原标题:OPPO Reno12 手机晨雾蓝新配色开售,2699 元起  8 月 8 日消息,OPPO 手机官微今天宣布,OPPO Reno12 手机晨雾蓝新
2024-08-08
小鹏MONA M03掀背轿跑开启预订 定价20万元以内

小鹏MONA M03掀背轿跑开启预订 定价20万元以内

  原标题:小鹏MONA M03掀背轿跑开启预订:全系标配高通8155芯片 16GB内存  8 月 8 日消息,小鹏汽车官微宣布,智能纯电掀背轿跑小
2024-08-08
2025款领克08 EM-P全新“晨曦蓝”配色发布 将于正式亮相

2025款领克08 EM-P全新“晨曦蓝”配色发布 将于正式亮相

  原标题:2025款领克08 EM-P全新晨曦蓝配色官图亮相,今晚发布  8 月 8 日消息,领克汽车官微今天发布了 2025 款领克 08 EM-P
2024-08-08
国产游戏3A大作《黑神话:悟空》将于8月20日正式发售

国产游戏3A大作《黑神话:悟空》将于8月20日正式发售

  原标题:国产 3A 大作《黑神话:悟空》最终预告片公布,8 月 20 日发售  8 月 8 日消息,国产游戏 3A 大作《黑神话:悟空
2024-08-08
企迈助力“秋一杯” 全天候保障品牌销量破3200万杯

企迈助力“秋一杯” 全天候保障品牌销量破3200万杯

  随着秋风送爽,饮品行业的秋天第一杯奶茶活动再次成为市场关注的焦点。在这场温馨的营销盛宴背后,企迈科技以其强大的数字化能力,为众
2024-08-08
中科柏诚打造新零售供应链SAAS新生态 赋能电商供应链产业

中科柏诚打造新零售供应链SAAS新生态 赋能电商供应链产业

  科技赋能  一键搭建,电商供应链金融平台触手可及,用区块链、大数据、AI等技术,对传统供应链体系进行优化整合。将供应商、物流服务
2024-08-08

2017-2019 Copyright © IT商业科技网 备案许可证号粤ICP备2022153948号 豫公网安备110102003388号

紧急处理QQ:133 4673 445@qq.com