“快手版Sora”可灵开放测试 最长可生成2分钟视频
站长之家(ChinaZ.com)6月6日 消息:快手公司推出了一款名为可灵的全新国产视频生成大模型,它采用了与Sora相似的技术路线,并结合了快手自研的技术创新。这款模型能够生成长达2分钟、30fps、1080p分辨率的超长视频,并支持多种宽高比。不同于实验室的Demo或视频演示,「可灵」是快手推出的产品级应用,并已在快影APP中正式开启邀测。
可灵大模型能够在想象中天马行空,同时在描绘运动时符合真实的运动规律,准确刻画复杂、大幅度的时空运动。它不仅能模拟真实物理世界的特性,生成符合物理规律的视频,还能处理与真实物理世界的交互,例如在视频中展现小男孩吃汉堡时齿印的变化。
可灵采用了原生的文生视频技术路线,替代了图像生成加时序模块的组合,这是它能够生成视频时间长、帧率高,并准确处理复杂运动的关键。快手大模型团队着重考虑了模型设计、数据保障、计算效率以及模型能力的扩展这四大核心要素。
在模型设计方面,可灵采用了类Sora的DiT结构,用Transformer代替了传统扩散模型中基于卷积网络的U-Net,并通过自研的3D VAE网络和全注意力机制(3D Attention)提升模型的建模能力。
数据构建方面,快手大模型团队构建了完备的标签体系,精细化筛选训练数据,并研发了视频描述模型,以生成精确、详尽、结构化的视频描述。
运算效率方面,「可灵」使用了传输路径更短的flow模型作为扩散模型基座,并采用分布式训练集群和算子优化等手段提升硬件利用率。
模型能力扩展方面,「可灵」支持自由的长宽比,并研发了基于自回归的视频时序拓展方案,同时还支持多种控制信息输入。
可灵大模型的应用不仅限于视频生成,快手还基于此模型推出了其他应用,如"AI舞王"和"AI唱跳",并即将推出图生视频功能。
快手在大模型技术方面动作迅速,已与多个高校或科研机构合作发布了多项关键技术,为可灵大模型积累了深厚的技术沉淀。现在,快手的文生视频功能已正式亮相,期待其在短视频场景中的应用落地。
对AI视频创作感兴趣的用户,可以在快影APP中体验可灵大模型的功能。
官网地址:https://kling.kuaishou.com/
免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!
-
【驴子肉的做法】驴肉是一种较为少见但营养丰富的肉类,具有高蛋白、低脂肪的特点,适合多种烹饪方式。以下是...浏览全文>>
-
【驴子的注音】在学习汉语拼音的过程中,很多初学者会遇到一些生僻字或不常见的词语,其中“驴子”就是一个常...浏览全文>>
-
【驴子的读音是什么】在日常生活中,我们经常会遇到一些汉字或词语,虽然看起来简单,但读音却容易让人混淆。...浏览全文>>
-
【驴子的词性%的词性是什么】在汉语中,词语的词性是指该词在句子中所扮演的语法角色,如名词、动词、形容词等...浏览全文>>
-
【驴友指点骑行西藏的流行路线】骑行西藏,是一场身体与心灵的双重挑战。对于热爱户外、追求自由的驴友来说,...浏览全文>>
-
【驴头的功效与作用】在传统中医和民间食疗文化中,驴头被认为具有一定的药用价值和营养价值。虽然现代医学对...浏览全文>>
-
【驴蹄子怎么做又脆又好吃】驴蹄子是一种传统食材,因其口感独特、营养丰富而受到许多人的喜爱。但很多人在制...浏览全文>>
-
【驴肉怎么做最好吃】驴肉是一种营养丰富、口感独特的肉类,因其脂肪含量低、蛋白质高而受到许多食客的喜爱。...浏览全文>>
-
【驴肉怎么做简单好吃】驴肉是一种营养丰富、口感细腻的肉类,但很多人对它的做法不太熟悉。其实,只要掌握一...浏览全文>>
-
【洛阳龙门站偏僻吗】洛阳龙门站是洛阳市重要的交通枢纽之一,位于洛阳市洛龙区,靠近著名的龙门石窟景区。许...浏览全文>>