{dede:global.cfg_webname/}

当前位置: 首页 > 科技 > 软件 > 正文

腾讯混元文生图开源模型推出小显存版本 仅需6G显存即可运行

来源:互联网    时间:2024-07-05 09:20:33

  腾讯混元文生图大模型(混元DiT)宣布开源小显存版本,仅需6G显存即可运行,对使用个人电脑本地部署的开发者十分友好,该版本与LoRA、ControlNet等插件,都已适配至Diffusers库;并新增对Kohya图形化界面的支持,让开发者可以低门槛地训练个性化LoRA模型;同时,混元DiT模型升级至1.2版本,在图片质感与构图方面均有所提升。

  模型易用性再提升,个人电脑可轻松运行

  基于DiT架构的文生图模型生成图片质感更佳,但对显存的要求却非常高,让许多开发者望而却步。这也是新版本Stable Diffusion模型无法快速普及的原因之一。

  应广大开发者的需求,混元DiT推出小显存版本,最低仅需6G显存即可运行优化推理框架,对使用个人电脑本地部署的开发者非常友好。经过与Hugging Face合作,小显存版本、LoRA与ControlNet插件,都已经适配到Diffusers库中。开发者无需下载原始代码,仅用简单的三行代码仅可调用,大大简化了使用成本。

  同时,混元DiT宣布接入Kohya,让开发者可以低门槛地训练专属LoRA模型。

  Kohya是一个开源的、轻量化模型微调训练服务,提供了图形化的用户界面,被广泛用于扩散模型类文生图模型的训练。用户可以通过图形化界面,完成模型的全参精调及LoRA训练,无需涉及到代码层面的细节。训练好的模型符合Kohya生态架构,可以低成本与 WebUI 等推理界面结合,实现一整套“训练-生图”工作流。

  此外,腾讯宣布混元文生图打标模型”混元Captioner“正式对外开源。该模型支持中英文双语,针对文生图场景进行专门优化,可帮助开发者快速制作高质量的文生图数据集。

  相比起业界的开源打标模型,混元Captioner模型能更好的理解与表达中文语义,输出的图片描述更为结构化、完整和准确,并能精准识别出常见知名人物与地标。模型还支持开发者自行补充和导入个性化的背景知识。

  混元Captioner模型开源之后,全球的文生图研究者、数据标注人员,均可使用混元Captioner高效地提升自身图像描述质量,生成更全面、更准确的图片描述,提升模型效果。混元Captioner生成的数据集不仅能用于训练基于混元DiT的模型,亦可用于其他视觉模型训练。

  众多开发者关注,成最受欢迎国产DiT开源模型

  在提升模型易用性的同时,腾讯宣布混元文生图打标模型”混元Captioner“正式对外开源。该模型支持中英文双语,针对文生图场景进行专门优化,可帮助开发者快速制作高质量的文生图数据集。

  相比起业界的开源打标模型,混元Captioner模型能更好的理解与表达中文语义,输出的图片描述更为结构化、完整和准确,并能精准识别出常见知名人物与地标。模型还支持开发者自行补充和导入个性化的背景知识。

  作为首个中文原生DiT开源模型,混元DiT自全面开源以来,一直持续建设生态。6月,混元DiT发布的专属加速库,可将推理效率进一步提升,生图时间缩短75%;并进一步开源了推理代码;发布LoRA和ControlNet等插件。于此同时,模型易用性大幅提升,用户可以通过Hugging Face Diffusers快讯调用混元DiT模型及其插件,或基于Kohya和ComfyUI等图形化界面训练与使用混元DiT。

  目前,在众多开发者的支持下,混元DiT发布不到2个月,Github Star数已经超过2.6k,成为最受欢迎的国产DiT开源模型。

声明:来源非IT商业科技网的作品均转载自其它媒体,转载请尊重版权保留出处,一切法律责任自负。文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。转载稿件或作者投稿可能会经编辑修改或者补充, 如有异议可投诉至:Email:342 4350 938@qq.com

频道精选
腾讯混元文生图开源模型推出小显存版本 仅需6G显存即可运行

腾讯混元文生图开源模型推出小显存版本 仅需6G显存即可运行

  腾讯混元文生图大模型(混元DiT)宣布开源小显存版本,仅需6G显存即可运行,对使用个人电脑本地部署的开发者十分友好,该版本与LoRA、Con
2024-07-05
超图发布SuperMap GIS 2024 升维地理空间AI赋能新质生产力

超图发布SuperMap GIS 2024 升维地理空间AI赋能新质生产力

  当前,以大模型和AIGC为代表的新一代人工智能技术成为打造新质生产力的重要引擎。在日前召开的2024空间智能软件技术大会上,超图正式发
2024-07-05
长续航+超快充 宁德时代发布首个商用电池品牌

长续航+超快充 宁德时代发布首个商用电池品牌

  2024年7月4日,宁德时代正式推出商用动力电池品牌——宁德时代天行,同时发布宁德时代天行轻型商用车(L)-超充版和宁德时代天行轻型商用
2024-07-05
蓄势高飞逐“新”空 卓翼飞思助力打造低空经济产业领域人才智库

蓄势高飞逐“新”空 卓翼飞思助力打造低空经济产业领域人才智库

  2024年,低空经济首次写入政府工作报告,掀开新兴产业的崭新一页,而后迅速在全国各地呈现如火如荼的发展态势。这片蕴藏着巨大潜力和产
2024-07-05
腾势N7正式OTA推送“无图”全国高快领航 坐实智驾第一梯队

腾势N7正式OTA推送“无图”全国高快领航 坐实智驾第一梯队

  腾势N7再迎OTA升级,针对全新腾势N7新增5项、优化13项功能,2023款腾势N7新增4项、优化11项功能,智能驾驶、智能座舱全面进化。其中,
2024-07-05
全国都能开的小鹏XNGP上线 新增循迹倒车、有线投屏等功能

全国都能开的小鹏XNGP上线 新增循迹倒车、有线投屏等功能

  原标题:全国都能开的小鹏 XNGP 上线:XOS 5 2 先锋公测,采用黑名单模式  7 月 4 日消息,小鹏汽车官方现已开启天玑 XOS 5
2024-07-04
Pixii Max全画幅相机发布 搭载24.5 MP全画幅传感器

Pixii Max全画幅相机发布 搭载24.5 MP全画幅传感器

  原标题:Pixii Max 全画幅相机发布:徕卡 M 卡口,可选原生黑白 RAW 模式  7 月 4 日消息,法国相机制造商Pixii 又推出了
2024-07-04
荣耀MagicPad 2平板外观公布 可选四种内存配置

荣耀MagicPad 2平板外观公布 可选四种内存配置

  原标题:荣耀 MagicPad 2 平板外观公布:圆形镜头模组、纯白键盘配件  7 月 4 日消息,荣耀 12 3 英寸 MagicPad 2 平板将
2024-07-04
比亚迪腾势N7获推1.2版本OTA更新 新增红灯倒计时功能

比亚迪腾势N7获推1.2版本OTA更新 新增红灯倒计时功能

  原标题:比亚迪腾势 N7 获推 1 2 版本 OTA 更新:新增高快领航、哨兵模式  7 月 4 日消息,比亚迪腾势汽车今日宣布为全新(2
2024-07-04
realme真我GT6月球探索版手机官宣 搭载矩形相机模组

realme真我GT6月球探索版手机官宣 搭载矩形相机模组

  原标题:realme 真我 13 Pro+ 手机参数曝光,骁龙 7s Gen 2 处理器  7 月 4 日消息,继证件照公布之后,realme 真我 13
2024-07-04

2017-2019 Copyright © IT商业科技网 备案许可证号粤ICP备2022153948号 豫公网安备110102003388号

紧急处理QQ:133 4673 445@qq.com