4月21日，昆仑万维SkyReels团队负责发布并开源SkyReels-V2——民众首个使用扩散免强(Diffusion-forcing)框架的无穷时长电影生成模子，其通过伙同多模态大谈话模子(MLLM)、多阶段预磨砺(Multi-stage Pretraining)、强化学习(Reinforcement Learning)和扩散免强(Diffusion-forcing)框架来达成协同优化。

追思曩昔一年，视频生成时期在扩散模子和自转头框架的激动下取得了显耀进展，但在提醒词罢职、视觉质地、瓦解动态和视频时长的互助上仍靠近要紧挑战。

现存时期在普及暴露的视觉质地经常常殉国瓦解动态斥逐，为了优先探讨高折柳率而收尾视频时长(频繁为5-10秒)，况且由于通用多模态大谈话模子(MLLM)无法解读电影语法(如镜头构图、演员方法和录像机瓦解)，导致镜头感知生成才气不及。这些相互计算的收尾进犯了长视频的传神合成和专科电影作风的生成。

为了处理这些痛点，SkyReels-V2应时而生，它不仅在时期上达成了碎裂，还提供多了多种有效的应用场景，包括故事生成、图生视频、运镜众人和多主体一致性视频生成(SkyReels-A2)。

SkyReels-V2现已维持生成30秒、40秒的视频，且具备生成高瓦解质地、高一致性、高保真视频的才气。

中枢时期翻新，迈入“无穷时长、影视级质地、精确轨则”的全新视频生成阶段

图丨SkyReels-V2依次概述

SkyReels-V2或者达到这么的视频生成斥逐，源于其多项翻新时期：

1. 全面的影视级视频交融模子：SkyCaptioner-V1

为了提高提醒词罢职才气，团队狡计了一种结构化的视频示意依次，将多模态LLM的一般姿首与子众人模子的详备镜头谈话相伙同。这种依次或者识别视频中的主体类型、外不雅、方法、动作和位置等信息，同期通过东谈主工标注和模子磨砺，进一步普及了对镜头谈话的交融才气。

同期，团队磨砺了一个调和的视频交融模子 SkyCaptioner-V1，它或者高效地交融视频数据，生成相宜原始结构信息的各样化姿首。通过这种样式，SkyCaptioner-V1不仅或者交融视频的一般内容，还能捕捉到电影场景中的专科镜头谈话，从而显耀提高了生成视频的提醒词罢职才气。此外，这个模子咫尺还是开源，不错平直使用。

图丨在视频交融测试集上的模子详细性能相比中，SkyCaptioner-V1进展优异，超越了SOTA的模子

2. 针对瓦解的偏好优化

现存的视频生成模子在瓦解质地上进展欠安，主要原因是优化宗旨未能充分探讨时序一致性和瓦解合感性。咱们通过强化学习(RL)磨砺，使用东谈主工标注和合成失真数据，处理了动态诬陷、不对理等问题。为了缩小数据标注本钱，咱们狡计了一个半自动数据网罗管谈，或者高效地生成偏好对比数据对。

通过这种样式，SkyReels-V2在瓦解动态方面进展优异，或者生成绽放且传神的视频内容，振奋电影制作中对高质地瓦解动态的需求。

3. 高效的扩散免强框架

为了达成长视频生成才气，咱们忽视了一种扩散免强(diffusion forcing)后磨砺依次。与从零早先磨砺扩散免强模子不同，咱们通过微调预磨砺的扩散模子，将其改造为扩散免强模子。这种依次不仅减少了磨砺本钱，还显耀提高了生见效能。

咱们选拔非递减噪声时期表，将采集帧的去噪时期表搜索空间从 O(1e48) 缩小到 O(1e32)，从而达成了长视频的高效生成。这一翻新使得SkyReels-V2或者生成简直无穷时长的高质地视频内容。

4. 渐进式折柳率预磨砺与多阶段后磨砺优化

为了开导一个专科的影视生成模子，咱们的多阶段质地保证框架整合了来自三个主要开首的数据：

通用数据集：整合了开源资源，包括Koala-36M、HumanVid，以及从互联网爬取的寥落视频资源。这些数据提供了深化的基础视频素材，涵盖了多种场景和动作。

自网罗媒体：包括280，000多部电影和800，000多集电视剧，掩盖120多个国度(料到总时长卓绝620万小时)。这些数据为模子提供了丰富的电影作风和叙事结构。

艺术资源库：从互联网获得的高质地视频财富，确保生成内容的视觉质地达到专科尺度。

原始数据集范围达到亿级(O(100M))，不同子集字据质地要求在各个磨砺阶段使用。此外，咱们还网罗了亿级的见识均衡图像数据，以加快早期磨砺中生成才气的栽培。在此数据基础上，咱们率先通过渐进式折柳率预磨砺栽培基础视频生成模子，然后进行四阶段的后续磨砺增强：

启动见识均衡的监督微调(SFT)：通过见识均衡的数据集进行微调，为后续优化提供细致的启动化。

瓦解特定的强化学习(RL)磨砺：通过偏好优化普及瓦解动态质地。

扩散免强框架(DF)：达成长视频生成才气。

高质地SFT：进一步普及视觉保真度。

伙同富含影视级别数据和多阶段优化依次，咱们确保了SkyReels-V2在资源有限的情况下，高效的稳步普及多方面的进展，达到影视级视频生成的水准。

在SkyReels-Bench和V-Bench评估中，性能进展超卓

为了全面评估SkyReels-V2的性能，咱们构建了SkyReels-Bench用于东谈主类评估，并附近开源的V-Bench进行自动化评估。这种双重评估框架使咱们或者系统地相比SkyReels-V2和其他起初进的基线模子(包括开源和闭源模子)。

1. SkyReels-Bench评估

SkyReels-Bench包含1020个文本提醒词，系统性地评估了四个要害维度：指示罢职、瓦解质地、一致性和视觉质地。该基准旨在评估文本到视频(T2V)和图像到视频(I2V)生成模子，提供跨不同生成范式的全面评估。

在SkyReels-Bench评估中，SkyReels-V2在指示罢职方面取得了显耀进展，同期在保证瓦解质地的同期不殉国视频的一致性斥逐。具体进展如下：

指示罢职：SkyReels-V2在瓦解指示、主体指示、空间相干、镜头类型、方法和录像机瓦解的罢职上均优于基线依次。

瓦解质地：在瓦解动态性、绽放性和物理合感性方面，SkyReels-V2进展出色，生成的瓦解内容当然且各样。

一致性：主体和场景在通盘视频中保捏高度一致，瓦解历程有较高的保真度。

视觉质地：生成视频在视觉了了度、颜色准确性和结构好意思满性上均达到高水平，无显著诬陷或损坏。

图丨在SkyReels-Bench的T2V多维度东谈主工评测集下，SkyReels-V2在指示罢职和一致性得到最高水准，同期在视频质地和瓦解质地上保捏第一梯队

2. VBench1.0斥逐

在VBench1.0自动化评估中，SkyReels-V2在总分(83.9%)和质地分(84.7%)上均优于扫数对比模子，包括HunyuanVideo-13B和Wan2.1-14B。这一斥逐进一步考证了SkyReels-V2在生成高保真、指示对皆的视频内容方面的广大才气。

图丨在V-bench1.0的长prompt版块下，SkyReels-V2超越了扫数的开源模子，包括HunyuanVideo-13B和Wan2.1-14B

03

丰富的应用场景，赋能创意达成

SkyReels-V2不仅在时期上达成了碎裂，还为多个本色应用场景提供了广大的维持：

1. 故事生成

SkyReels-V2或者生成表面上无穷时长的视频，通过滑动窗口依次，模子在生成新帧时会参考之前生成的帧和文本提醒。为了隆重错误蕴蓄，咱们选拔了暴露化时期，通过在之前生成的帧上添加微细噪声来暴露生成历程。这种依次不仅维持时期上的推广，还能生成具有连贯叙事的长镜头视频。

通过一系列叙事文本提醒，SkyReels-V2或者编排一个连贯的视觉叙事，高出多个动作场景，同期保捏视觉一致性。这种才气确保了场景之间的平滑过渡，使得动态叙事愈加绽放，而不会影响视觉元素的好意思满性。这一功能尽头妥当需要复杂多动作序列的应用，如电影制作和告白创作。

2. 图像到视频合成

SkyReels-V2提供了两种图像到视频(I2V)的生成依次：

· 微调全序列文本到视频(T2V)扩散模子(SkyReels-V2-I2V)：通过将输入图像算作条款注入T2V架构中，模子或者附近参考帧进行后续生成。这种依次在384个GPU上仅需10，000次磨砺迭代即可取得和闭源模子同品级的斥逐。

· 扩散免强模子与帧条款伙同(SkyReels-V2-DF)：通过将第一帧算作干净的参考条款输入扩散框架，无需显式重新磨砺即可保捏时期一致性。

在SkyReels-Bench的I2V多维度东谈主工评测集下，SkyReels-V2在扫数质地维度上均优于其他开源模子，并与闭源模子进展特地。

3. 录像导演功能

SkyReels-V2在标注录像机瓦解方面进展出色，但咱们发现录像机瓦解数据的固有不屈衡对进一步优化影相参数忽视了挑战。为此，咱们特意筛选了约100万个样本，确保基本录像机瓦解偏激常见组合的均衡示意。通过在384个GPU上进行3，000次迭代的微调实践，咱们显耀普及了影相斥逐，尽头是在录像机瓦解的绽放性和各样性方面。

4. 元素到视频生成

基于SkyReels-V2基座模子，咱们研发了SkyReels-A2决议，并忽视了一种新的多元素到视频(E2V)任务，或者将轻易视觉元素(如东谈主物、物体和配景)组合成由文本提醒领导的连贯视频，同期确保对每个元素的参考图像的高保真度。这一功能尽头妥当短剧、音乐视频和凭空电商内容创作等应用。

算作首个生意级E2V开源模子，SkyReels-A2在E2V评估Benchmark A2-Bench中的斥逐标明，其一致性和质地维度上评估与闭源模子特地。改日，咱们有计划推广框架以维持更多输入模态，如音频和动作，旨在构建一个调和的视频生成系统，以维持更深化的应用。

SkyReels-V2的推出标记着视频生成时期迈入了一个新的阶段，为达成高质地、万古期的电影作风视频生成提供了全新的处理决议。它不仅为内容创作家提供了广大的器具，更开启了附近AI进行视频叙事和创意抒发的无穷可能。

昆仑万维SkyReels团队仍沮丧于激动视频生成时期的发展，并将SkyCaptioner-V1和SkyReels-V2系列模子(包括扩散免强、文本到视频、图像到视频、录像导演和元素到视频模子)的各样尺寸(1.3B、5B、14B)进行全都开源，以促进学术界和工业界的进一步商讨和应用。