从1小时到3.5分钟,Meta新算法一部手机搞定3D人脸数据采集

从1小时到3.5分钟,Meta新算法一部手机搞定3D人脸数据采集

首页休闲益智全部都搞定3D更新时间:2024-07-13

鱼羊 发自 凹非寺

量子位 | 公众号 QbitAI

搞定这样的人脸3D建模需要几步?

在数据采集的阶段,答案是:一部手机 3.5分钟。

没错,仅凭这3.5分钟的数据,就足以生成高保真可驱动的真实3D人脸头像。

这项研究来自Meta Reality Labs——就是扎克伯格元宇宙计划里的那个核心部门。论文已经被SIGGRAPH 2022接收。

作者提到,这一方法适用于VR应用。

也就是说,在VR的世界里,以后你可能就不必顶着一张卡通脸登场了。

而是可以方便地与胖友们“真身”相见。

方法原理

实现这一结果的方法框架如下图所示:

具体而言,分为三个部分。

首先,是要用大型多视角人脸数据集训练一个超网络,这个超网络可以通过神经网络解码器产生专属于个人的头像参数。

数据集中的人脸由多视角捕捉系统采集,包括255位不同年龄、性别和种族参与者的面部图像数据。

△左为图像捕获设备;右为采集到的人脸

这个捕获3D人脸的巨型装置是Meta在2019年研发的,其中配备171个高分辨率摄像头,每秒能记录180GB数据。采集时间在1个小时左右。

值得一提的是,在这个超网络中,解码器的基本组成模块是带有bias map的卷积上采样层。

这些bias map会被用来生成体积单元,进而通过射线追踪来渲染头像。

另外,该解码器结构能够将视线与其他面部活动区分开,这在VR应用中意味着能够更直接地利用眼动跟踪系统。

其次,是轻量级人脸表情捕捉

在这项研究中,采集人脸只需要用到一部带有深度摄像头的智能手机。

实验中,研究人员采用的是iPhone 12。

采集过程就像这样:

采集到的数据要进行如下处理:

在进一步完善模型的过程中,还需要采集65种特定的表情:

最后,该方法输出的3D人脸头像不仅能与用户外观高度匹配,通过全局表情空间,还能对其进行进一步的驱动、控制。

研究人员表示,整个采集过程大概要花费3.5分钟

不过需要说明的是,建模的过程不是实时的,数据处理还要花费数小时的时间。

实验结果

说了这么多,效果如何,我们还是来看实验结果。

与Pinscreen提出的“一张照片构建3D数字化身”(CVPR 2021)的方法相比,该方法能生成更具真实感的人脸模型。

而与海德堡大学、慕尼黑工业大学、马普所等研究机构在Neural Head Avatars from Monocular RGB Videos一文中提出的方法相比,该方法能生成保真度更高的结果。

不过,作者也指出了该方法的局限性:hold不太住长发和眼镜,容易产生伪影。另外,该方法对于光照条件也有一定要求。

参考链接:
[1]论文:https://drive.google.com/file/d/1i4NJKAggS82wqMamCJ1OHRGgViuyoY6R/view
[2]Demo:https://www.youtube.com/watch?v=t7_TMD7v0Xs

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

查看全文
大家还看了
也许喜欢
更多游戏

Copyright © 2024 妖气游戏网 www.17u1u.com All Rights Reserved