面部动作捕捉,又称“面部表情捕捉”,是动作捕捉的一个分支。最早的相关文献见于:Performance-Driven Facial Animation.Lance Williams.1990
最早的面部动作捕捉依靠机械装置测量面部运动。这种机械通过关节中的角传感器监视角度变化,通过连接杆的长度计算固定点(嘴眼等关键位置)的空间运动轨迹和位置。虽然精度高,但是使用起来相当不便,现已退役。
现在的面部动作捕捉设备多基于光学:
1.二维光捕捉。通过机器学习等方式分析镜头输入的图像,以捕捉面部表情。是一种简单易用且低成本的方式,但精度较低。
2.三维光捕捉。
2.1 相机阵列 将相机部署在不同的角度,获得二维以外的第三维——深度。精度高、效果好,但是成本高,人物不能随意移动。算法如:主观表现模型(AAM)、主成分分析(PCA)。系统如:MOVA, Dynamixyz等。
2.2 结构光 通过光学镜头以外的设备(红外、泛光照明灯、反光感应元件、点阵投影器等)获得深度信息。某些手机(iPhone系列、华为小米的个别高端机型)装载了点阵投影器,可以向脸部投射不可见光点阵,红外镜头读取变化后的点阵数据,结合光学图像,通过内置算法生成三维数据。
2.3 标记点 通过放置在面部的标记点(绘制、粘贴,甚至直接涂抹荧光材料),为设备提供三维信息。
较为成熟的应用:iPhone(一个手机)、Faceware(头盔式单相机)、Cara(多相机、标记点)、Face/Off(向脸部投影)、 MOVA(涂抹荧光材料)