谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

谷歌发布新大语言模型:零样本生成10秒视频达SOTA!

你敢信?大熊猫都会打牌了!

 

 

图片[1]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

打开网易新闻 查看更多图片

看这毛茸茸的脑袋、抓牌的动作……

而这其实都是AI生成的,还是零样本那种。

这就是谷歌最新大语言模型VideoPoet

它不仅没有用视频领域常用的扩散模型,还零样本实现了SOTA。相较于此前一些模型,画面更加稳定、动作更加逼真,清晰度也直线up。

 

 

图片[2]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

和Bard再合作一下,轻松搞定1分钟长的视频小片,从脚本到画面全部不用人类插手。

 

 

图片[3]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

打开网易新闻 查看更多图片

这效果,让网友们直呼:视频生成进化速度也太快了吧。

图片[4]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

不少人都表示想玩!

图片[5]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

有人还说,VideoPoet效果这么好,看来Runway和Pika要加速了!

图片[6]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

打开网易新闻 查看更多图片

 

图片[7]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

画面逼真动作稳定

 

具体来看VideoPoet的能力非常全面。包括:

 

  • 文本-视频
  • 图像-视频
  • 视频编辑
  • 风格化处理
  • 画面补充

 

文本到视频任务,视频输出长度可调整,而且可以基于文本内容应用一系列动作和风格。

 

 

图片[8]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

图像到视频任务,则能让静态图片动起来。比如一些世界名画和照片,都可生成视频。

 

 

图片[9]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

同时也能调整视频风格,需要额外输入一些文本,然后模型会预测视频的光照和深度信息。

比如输入“铁狮子在熔炉的火光中咆哮”,原本无厘头的太阳花狮子就变得凶猛威严起来。

 

 

图片[10]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

当然也能进行视频编辑,比如让视频中的机器人随意运动、背景中加上烟雾等,都是输入文字指令即可实现。

 

 

图片[11]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

打开网易新闻 查看更多图片

或者是输入图像,然后修改它的动作。让蒙娜丽莎转动身体、打哈欠。

 

 

图片[12]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

以及可调整镜头动作。基本的缩放、弧线、航拍镜头都可搞定。

 

 

图片[13]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

如果想让扩充视频画面、增加视频元素,VideoPoet也能实现。

 

 

图片[14]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

值得一提的是,VideoPoet还可以根据视频配乐

这也是让不少网友感到惊讶的地方。

图片[15]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

比如先让VideoPoet生成一段小熊打架子鼓的视频,然后不给它任何文本提示,VideoPoet根据画面内容自己生成了音频。

如果想要生成更长的视频,可以通过输入视频的最后一秒画面让VideoPoet预测下一段视频,反复多次即可实现。

如下案例时长约为10秒。

 

 

图片[16]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

 

图片[7]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

用LLM零样本生成视频

 

不仅是生成效果好,VideoPoet还有一个优势在于,以LLM为基础,它能更方便利用现有大模型进行改进。

比如VideoPoet就使用了T5的编码器。

图片[18]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

不过由于大语言模型使用离散token,使得它生成视频具有一定挑战性。

与自然语言不同,人类对视觉世界尚未演化出最佳的词汇表达。

通过视频/音频tokenizer可以来克服这一问题。

它们能将视频和音频编码为离散token,也可将其转换为原始表示。

VideoPoet正是基于这一原理实现。

它利用MAGVIT V2来搞定视频图像表示,SoundStream搞定音频表示。

前者是谷歌CMU团队在今年10月提出的方法,该方法实现了语言模型首次在ImageNet基准上击败扩散模型。

后者是一个端到端神经音频解码器。

具体来看VideoPoet的框架。它支持文本、视觉、音频输入,分别可利用t5、MAGVIT V2、SoundStream的编码器。

然后再自回归生成输出。

图片[19]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

实验结果方面,在提示词与生成结果的吻合度方面,VideoPoet超过多个扩散模型。

图片[20]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

生成动作方面的优势更加明显。

图片[21]-谷歌发布新大语言模型:零样本生成10秒视频达SOTA!-开放智能

这项工作由谷歌研究带来,作者是两位软件工程师Dan Kondratyuk和David Ross。

据Dan透露,VideoPoet的论文也会马上上线。

参考链接:
[1]https://sites.research.google/videopoet/
[2]https://blog.research.google/2023/12/videopoet-large-language-model-for-zero.html

© 版权声明
THE END
喜欢就支持一下吧
点赞7 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容