计算机科学家致力于增加增强的功能，以使虚拟现实(VR)环境中的“真实性”更加可信。VR的一个关键方面是实现远程社交互动，并使其比以往任何电信媒体都更具沉浸感。Facebook Reality Labs(FRL)的研究人员开发了一种革命性的系统，称为Codec Avatars，该系统使VR用户可以与其他人进行交互，同时使用实时精确动画的逼真的虚拟人物来代表自己。研究人员旨在通过为VR世界中的用户提供尽可能多的社交参与体验，来构建虚拟现实内部连接的未来，并最终实现增强现实。

迄今为止，已经实现了实时渲染的高度照片级逼真的化身并将其频繁地用于计算机动画中，从而使演员配备了传感器，该传感器被放置在最佳位置，以计算方式捕获其面部和面部表情的几何细节。但是，该传感器技术与现有的VR头戴式耳机设计或平台不兼容，并且典型的VR头戴式耳机会遮挡脸部的不同部位，因此很难使用完整的面部捕捉技术。因此，这些系统更适合单向表演，而不是两个或两个以上都戴着VR耳机的双向互动。

“我们的工作表明，有可能从紧密安装在VR头戴式摄像机上的摄像机中精确逼真的头像动画，” Facebook的主要作者Shih-En Wei说。Wei和合作者已经配置了带有最少传感器的头戴式耳机，用于面部捕捉，他们的系统支持在VR中进行双向，真实的社交互动。

Wei和来自Facebook的同事将在7月28日至8月1日在洛杉矶举行的SIGGRAPH 2019上展示他们的VR实时面部动画系统。这次年度聚会展示了在计算机图形和交互技术领域最前沿的世界领先的专业人士，学者和创造力。

在这项工作中，研究人员提出了一种系统，该系统可以通过使用最少的一组头戴式摄像头(C)来精确跟踪用户的实时面部表情，从而以高度详细的个人头像为头像头像进行动画处理。它们解决了两个关键挑战：在C上难以获得摄像机视角，以及从头戴式摄像机摄像头捕获的图像与人物逼真的头像之间的巨大外观差异。

该团队开发了一个“训练”耳机原型，该原型不仅在常规跟踪耳机上配备了摄像头以进行实时动画，而且还在更宽容的位置配备了摄像头，以实现理想的面部跟踪。研究人员提出了一种基于生成对抗网络(GAN)的人工智能技术，该技术执行一致的多视图图像样式转换，以自动将C红外图像转换为看起来像呈现化身但具有相同人脸表情的图像。

魏说：“通过使用每个像素(不仅仅是稀疏的面部特征)和3D化身的渲染来比较这些转换后的图像，” Wei指出，“我们可以在跟踪耳机的图像和3D化身的状态之间精确映射。通过可区分的渲染。在建立映射之后，我们训练了一个神经网络，可以从最少的一组相机图像中实时预测人脸参数。”

他们展示了这项工作中的各种示例，并且能够证明他们的方法可以找到高质量的映射，即使是在难以捕获的上脸(从头戴式摄像机的摄像头角度)上的微妙面部表情上也是如此。歪斜，太靠近主题。研究人员还显示了极其详细的面部捕捉信息，包括舌头，牙齿和眼睛的细微差别，而化身没有详细的几何形状。

除了在VR中为虚拟形象制作动画外，FRL团队还正在构建系统，有一天可以使人们仅通过几张图像或视频即可快速轻松地创建自己的虚拟形象。虽然当今的编解码器化身是自动创建的，但此过程需要使用大型摄像机和麦克风系统来捕获个人。FRL的目标还在于创建和动画化人体，以表达更完整的社交信号。尽管这项技术距离普及消费者耳机尚有数年的时间，但研究小组已经在研究可能的解决方案，以确保化身数据的安全并确保化身只能由其代表的人员访问。