英伟达让AI“演技”再上台阶:仅靠语音驱动1张照片说话,惊讶恐惧表情狠狠

财经 来源:IT之家   阅读量:17235    2022-11-29 11:53

感谢本站网友三库的线索传递!

输入一句台词让照片演技再次进阶!

这个AI直接把演技提升了一个层次表演有生气的,有开心的,也有可怜的...各种情绪都不在话下

而且,口型,眼神,头部动作也让这个AI hold住了!

甚至可以调节情绪的程度。

这是英伟达最新的AI,命名为SPACEx,全称是语音驱动人像动画,表情可控。

事实上,在英伟达推出SPACEx之前,已经有很多带有语音驱动照片的AI问世与之前的AI相比,SPACEx有什么优势

脸部动作更稳定,更注重细节。

此前,语音驱动照片最常用的人工智能有三种:PC—AVS,MakeItTalk和Wav2Lip。

但这三个AI都或多或少存在缺陷,只能对口型,或者整体面部控制较好,无法兼顾多种功能。

先说PC—AVS它在处理图像和语音的时候,会对输入的图像进行严格的切割,甚至改变姿态另外,生成的人脸动作非常不稳定

而MakeItTalk在对口型方面效果并不好,生成的视频有时会出现空白。

Wav2Lip的功能比较简单主要是配音AI,只改变嘴唇的动作,嘴唇以外的面部表情没有变化

而这些问题在SPACEx上都已经解决了。话不多说,只看他们之间的效果对比!

可以看出,无论是口型的细节,还是眼睛,还是整体的面部动作,SPACEx都会更加自然。

细分到具体功能,SPACEx整合了哪些功能。

下表给出了答案,情绪控制,面部地标标记,头部旋转,动作生成SPACEx可以把所有的事情都打理好,不会像之前的机型一样顾此失彼

值得注意的是,SPACEx生成的视频质量也提升了整整一个台阶以前同类型AI最高分辨率只能达到384,而SPACEx这次已经达到512X512

SPACEx是如何通过如此多的功能生成高质量的视频的。

具体原则

其中很大一部分功劳是由face贡献的——vid 2 vid,这是英伟达两年前发布的一个AI算法。

既能压缩视频的流量,又能保证视频的质量。

而且face—vid2vid还能让视频中的人物随意扭头。

从SPACEx视频生成的过程来看,可以分为三个阶段。

第一阶段可以概括为Speech2Landmarks,即从输入语音中预测出每个音节对应的标准面部界标。

在预测的过程中,也会插入相应的情感标签。

预测完面部界标后,进入第二步:Landmarks2Latents,输入每张图像的face—vid2vid关键点,控制整个面部表情。

然后,这些关键点被映射到前一步骤中输出的标准面部标志。

最后一步是通过face—vid2vid生成器生成视频。

另一方面,当然SPACEx也不是全能选手当输入具有大的头部旋转时,现有的方法不能很好地执行

但还是值得一试。有兴趣的可以戳下面的链接~

论文地址:

参考链接:

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

友情合作