一点排行网
当前位置:一点排行网 > 动漫 > 正文

大叔也能“变”萌妹?1张动漫头像就可以说话唱歌样样行

不仅如此,动漫头像还能模拟你的口型和头部动作,实时“唱”出想要的效果来(作者亲自上场):

简直是老二刺螈玩家的福音。而且,不想露面的主播,也有了新的免费“虚拟主播”可选择。

这个模型最核心的思想,就是将图片和姿态参数输入系统,来“改变”输入图片中动漫人物的姿态。听起来非常简单,但实际上并不容易实现。其一,对应的数据集不好找;其二,网络的体系结构和训练不容易搭建。

大叔也能“变”萌妹?1张动漫头像就可以说话唱歌样样行插图

经过思考,作者选择采用大量3D模型(约8000个)对网络进行训练,因为这些3D模型的参数,是可控的。除此之外,也还需要设计模型注释,以“圈”出模型的头部、发型和配饰等“需要旋转”的地方。而动漫人物经过变化的眼睛和嘴型,也需要单独提取出来,用于考虑各种人物表情的变化。

根据3D人物的实际动画效果,就能设计出对应的网络了:从人物最主要的两个动作,即改变表情和旋转脸部,来让人物“动起来”。也就是说,首先需要控制眼睛和嘴张开的程度,然后,再想办法让动漫人物的头部“转起来”。

大叔也能“变”萌妹?1张动漫头像就可以说话唱歌样样行插图1

大叔也能“变”萌妹?1张动漫头像就可以说话唱歌样样行插图2

先是改变表情。这一步骤相对简单,只需要找到一个张嘴、睁眼的动漫头像,就能用算法,让主角眨眼睛、改变嘴型。

大叔也能“变”萌妹?1张动漫头像就可以说话唱歌样样行插图3

但控制脸部旋转的算法,则要更复杂一些,因为伴随着脸部转动的,虽然只有头部,但还要连同发型和配饰一同转动。

大叔也能“变”萌妹?1张动漫头像就可以说话唱歌样样行插图4

首先找到需要旋转的部分、完成旋转,然后将输出图像的颜色控制与输入像素对应,最后将效果进行结合。

大叔也能“变”萌妹?1张动漫头像就可以说话唱歌样样行插图5

大叔也能“变”萌妹?1张动漫头像就可以说话唱歌样样行插图6

在对算法进行优化后,最新的模型,不仅能惟妙惟肖地做出生气、厌恶、沮丧的表情来,还能改变瞳孔和眉毛的形状,人物看起来也更逼真了。

不过,单从3D模型的渲染效果来看,偶尔会出现一些失误,需要适当进行调整。

大叔也能“变”萌妹?1张动漫头像就可以说话唱歌样样行插图7

大叔也能“变”萌妹?1张动漫头像就可以说话唱歌样样行插图8

尽管头部的旋转已经非常完美,不过,本该在背后的剑,却也随着头部转动了起来……

大叔也能“变”萌妹?1张动漫头像就可以说话唱歌样样行插图9

作者本人也提到了这些细节,而且也指出,对于某些发型比较特殊的动漫人物来说,的确会出现不那么完美的情况。

大叔也能“变”萌妹?1张动漫头像就可以说话唱歌样样行插图10

例如,随着头部转动,出现辫子被“割断”的情况:不过,这些也都还是细节上的问题。

大叔也能“变”萌妹?1张动漫头像就可以说话唱歌样样行插图11

也就是说,如果训练数据与角色外观差异较大(例如兽人),就会出现这种情况:如果你是兽人玩家,可能还需要自行准备数据集,再训练一个模型出来。

Pramook Khungurn,本硕毕业于MIT,博士就读于康奈尔大学计算机科学系,目前在谷歌日本(Google Japan)工作,专注于渲染算法和外观建模的研究。

大叔也能“变”萌妹?1张动漫头像就可以说话唱歌样样行插图12

读书期间,他也有不少计算机系的论文发表在SIGGRAPH等顶会上。(而且,还拥有比满分更高的GPA)

未经允许不得转载:一点排行网 » 大叔也能“变”萌妹?1张动漫头像就可以说话唱歌样样行

赞 (0)
分享到:更多 ()

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址