7月30日，昆仑万宝石重推出并开源招揽自转头阶梯的「多模态长入预考试模子 Skywork UniPic」，在单一模子中深度会通图像泄漏、文本到图像生成、图像剪辑三大中枢能力。该模子基于大范畴高质料数据进行端到端预考试，具备精采的通用性与可搬动性。

秉握灵通合作、分享鼎新的理念，昆仑万维面向社区全面灵通 Skywork UniPic 的中枢资源：

模子权重：

https://huggingface.co/Skywork/Skywork-UniPic-1.5B

技巧回报：

https://github.com/SkyworkAI/UniPic/blob/main/UNIPIC.pdf

代码仓库：

https://github.com/SkyworkAI/UniPic

01

Skywork UniPic：长入自转头模子兑现图片生成、剪辑与泄漏一体化

GPT-4o的赶紧走红，标注着东谈主工智能领域多模态长入预考试模子的训练。Skywork UniPic 接续了 GPT-4o 的自转头范式，在单一模子中深度会通图像泄漏、文本生成图像(T2I)与图像剪辑三大中枢任务，构建了信得过宗一的多模态模子架构。

传统多模态长入模子多依赖 VQ 或 VAE 编码器来压缩视觉内容，诚然具备一定恶果，但也存在局限性，它们更侧重保留图像的视觉细节而非语义信息，这会在一定进程上缩小模子的图像泄漏能力。

为此，Skywork UniPic 团队模仿 Harmon 架构假想，并在表征容颜上作念出关节换取：招揽 MAR 编码器行动图像生成旅途的视觉表征基础，同期引入 SigLIP2 行动图像泄漏旅途的骨干。

该结构假想的中枢瞻念察在于：能否构建一个轻量级长入模子，在保握本体部署可行性的同期，在泄漏、生成与剪辑任务上均达到顶尖性能？

Skywork-UniPic 模子中枢能力包含：

图文泄漏：基于 token 瞻望完成文本的自转头建模

图像生成：招揽掩码自转头容颜，迟缓生成图像 patch

图像剪辑：引入参考图与剪辑指示行动条目，生成剪辑后的图像

此外，Skywork-UniPic 完成端到端优化过程，大致兑现生成、泄漏、剪辑三大能力的协同考试和互相促进，冲破传统设施中能力量度的技巧瓶颈。

这一架构假想不仅保握了自转头模子的爽直高效，更通过分享编码器兑现了跨任务的深度协同，为多模态长入模子的实用化部署奠定了坚实基础。

用户只需要输入教导词，Skywork-UniPic 既不错像 VLM 一样泄漏图像、像 T2I 模子一样生成图片，还不错像好意思图器具一样，一键兑现立场转绘/吉卜力化的剪辑功能。

02

模子上风：1.5B 轻量级范畴性能迫临同类大参数长入模子，讲明了“小而好意思”的技巧好意思学

团队在追求模子能力极限的同期，也坚握效率迫切性的假想理念。Skywork UniPic 以 1.5B 的紧凑参数范畴，信得过讲明了“小而好意思”的技巧好意思学：

多重技巧亮点

指示辞退能力失色大型模子：在 GenEval 指示辞退评估中取得 0.86 的优异成绩，越过了绝大多半同类长入模子，在无 CoT 的情况下取得了 SOTA 分数，迫临较大模子 BAGEL(7B+7B*)带 CoT 的 0.88 分；

复杂指示生图能力首先：在 DPG-Bench 复杂指示生图基准上达到 85.5 分的行业 SOTA 水平；

图像剪辑能力长入模子第一梯队：GEditBench-EN 获取 5.83 分，ImgEdit-Bench 达到3.49分，展现出精确的剪辑奉行能力；

参数效率上风权臣：比较同类大参数长入模子(如 BAGEL 的 14B 总参数、UniWorld-V1 的 19B 总参数)，Skywork UniPic 以 1.5B 的轻量级范畴兑现了接近致使越过大参数模子的性能施展；

部署友好，信得过可落地：模子在 RTX 4090 消耗级显卡上均可畅通运行，为广掀开辟者和讨论者提供了信得过可落，地的长入模子治理决策，大幅镌汰了技巧运用门槛。

03

Skywork-UniPic是如何真金不怕火成的？

数据构建：亿级高质料语料库援手长入模子预考试

首先，Skywork UniPic 的不凡性能，并非源自数据堆叠的蛮力，而是获利于一套高度精熟、系统优化的数据构建体系。

团队冲破了“更大即更强”的传统判辨规模，通过约亿级范畴的精选预考试语料与数百万级任务精调(SFT)样本，告捷构建出一套面向泄漏、生成与剪辑三大中枢任务的高效劳多模态考试语料库。

这一构建体系产生的语料库不仅权臣压缩了考试资源资本，更在模子泛化能力与任务搬动施展上展现出惊东谈主的性价比，充分考证了小范畴、精筛选、高质料数据对长入多模态模子考试的可行性与后劲。

? 奖励模子构建：数据质料驱动的智能评估体系

其次，为了确保 Skywork UniPic 在图像生成和剪辑任务上的不凡施展，假想了专用于图像生成的Reward Model(Skywork-ImgReward)和专用于图片剪辑的Reward Model (Skywork-EditReward)。

其中，Skywork-ImgReward是基于强化学习考试的Reward Model，比较于其他T2I Reward Model，Skywork-ImgReward在多个文生图场景下的偏好选拔施展都更接近东谈主类偏好。它不仅被用来行动文生图数据质料的筛选，也不错在后续被用于图像生成能力强化学习考试中的奖励信号，以及行动生成图像的质料评估缱绻。

同期靠近图像剪辑这一中枢挑战，鼎新性地构建了具有针对性的Skywork-EditReward，其被用作数据质料评估时不错自动剔除朝上30%的低质料剪辑样本，在 GEditBench-EN 和 ImgEdit-Bench 基准测试中施展彰着改善。后续相同也不错被用作图像剪辑强化学习考试中的奖励信号，以及行动图像剪辑的质料评估缱绻。

考试体系优化与计策升迁

MAR考试优化体系：为升迁模子施展，招揽了两项关节优化计策：首先，在数据层面引入遮蔽更广视觉场景和类别的亿级独到图像数据，权臣拓展了模子的学习空间。其次，考试过程中招揽渐进式分裂率升迁计策，先在256×256分裂率下建造安稳的底层特征抽取能力，再迟缓搬动至512×512，以增强模子的语义泄漏和细粒度建模能力。

HARMON考试优化体系：为进一步升迁模子性能并兼顾考试效率，假想了多阶段分层分裂率考试机制。在第一阶段，模子在512×512分裂率下进行微调，聚焦基础特征提真金不怕火的安稳性与拘谨性。随后迟缓升迁输入分裂率至1024×1024，促使模子更好地捕捉纹理、边际等高精度细节信息。

同期，招揽分阶段参数解冻计策，迟缓开释模子能力。在开动阶段，仅考试Projector模块以兑现视觉与话语特征的对皆，冻结骨干集聚和LLM参数；接着在保握LLM编码器冻结的前提下优化视觉骨干；临了干与全量解冻阶段，进行端到端皆集优化，兑现多模态协同增强。

渐进式多任务考试计策：为治理泄漏、生成和剪辑三类任务难以兼得的问题，提倡渐进式多任务考试机制。

考试初期，模子先专注于单一任务(如文本生成图像)，待其拘谨后再引入泄漏与剪辑任务，按照由易到难的礼貌迟缓增多任务复杂度，幸免多任务早期互有关扰。在细巧化阶段，通过奖励模子筛选构建高质料考试数据，招揽动态阈值与种种性采样计策，确保样本既具高置信度又具语义种种性。

合座来看，以上计策在考试过程中兑现了结构合理的能力开释和任务相宜，权臣升迁了模子在泄漏、生成和剪辑等任务上的长入施展，达成信得过艳羡艳羡上的“一专多能”。

昔日半年，昆仑万维还是开源了多个SOTA大模子，涵盖奖励模子、推理、软件工程、多模态、空间智能等领域。今天，Skywork-UniPic 持重加入「Skywork」开源全球庭，让AI信得过成为每个东谈主垂手而得的创意伙伴。

(包袱剪辑：张晓波 )

【免责声明】本文仅代表作家本东谈主不雅点，与和讯网无关。和讯网站对文中证实、不雅点判断保握中立，不合所包含内容的准确性、可靠性或齐备性提供任何昭示或暗意的保证。请读者仅作参考，并请自行承担一皆包袱。邮箱：news_center@staff.hexun.com