3D Points Splatting for Real-Time Dynamic Hand Reconstruction
地址：https://arxiv.org/pdf/2312.13770.pdf
标题：实时动态手部重建的3D点喷洒技术
摘要：我们提出了一种名为3D Points Splatting Hand Reconstruction（3D-PSHR）的实时、照片逼真的手部重建方法。我们提出了一种自适应的规范点上采样策略，以实现高分辨率的手部几何表示。接着采用自适应变形将手部从规范空间变形到目标姿势，以适应规范点的动态变化。与常见的细分MANO模型的做法相比，这种方法提供了更大的灵活性，结果是改善的几何拟合。为了建模纹理，我们将外观颜色分解为固有的反照率和姿势感知的阴影，通过Context-Attention模块学习。此外，我们的方法允许几何和外观模型同时进行端到端的训练。我们证明了我们的方法能够使用多个数据集产生可动画、照片逼真和可重新照明的手部重建，包括使用手持智能手机捕捉的单目视频和包含各种手部姿势的大规模多视角视频。我们还证明了我们的方法在保持卓越性能的同时实现了实时渲染速度，与现有的最先进方法相比表现更为优越。
解决的问题：
该论文主要解决的是在提高手部重建的准确性和真实性的同时，克服效率挑战的问题。为此，该论文提出了一个3D Points Splatting（3PS）框架，该框架可以在保证高质量视觉效果的同时，显著提高渲染效率。此外，该论文还提出了一种双重的策略，通过自我适应的规范点上采样（SAU）和自我适应的变形（SAD），实现了对高分辨率手部几何和姿态的适应。此外，该论文还解决了颜色外观的分解问题，将颜色分解为内在的反射率和法线变形，通过上下文注意力模块进行学习。最后，该论文通过大量的实验证明了其方法在实时渲染速度和性能上均优于现有的最先进技术。
实现方法：
- 定义一组可学习的点PC，这些点表示标准手形，每个点坐标通过优化计算得出。点数NC是动态调整的，每经过e个周期数量增加，e的值根据经验设定为5。
- 初始阶段，使用MANO模板来初始化这些标准手形的点。
- 在接下来的周期中，通过在先前上采样步骤中生成的球形区域中心进行上采样来增加点数，同时减小这些点的半径。
- 为了解决生成的表面不够平滑的问题，论文提出了一种对隐含表面进行正则化的方法，即通过训练多层感知机（MLP）来近似一个带符号的距离函数（SDF）。
- 定义正则化损失，通过将每个标准手形点的坐标作为输入，训练MLP来近似SDF。
- 在渲染阶段，使用3D点涂抹技术实现真实且逼真的手部渲染。
- 利用Context-Attention机制学习手部的内在反光度和基于姿态的着色，以模拟手部纹理。
- 论文还提出了一种自适应的变形方法，可以将标准手形点变形为目标姿态。
- 训练可以在无姿态和无视角的手部数据集上进行，以实现鲁棒的性能。该方法可以在单目或多视图视频上训练，并实现实时和逼真的手部重建。
创新点：
- 提出了一种新的实时和照片级的真实手部重建方法，称为3D-PSHR。该方法使用可变点云来表示手部，并利用3D点涂抹技术进行渲染。它还包括一个自我适应的标准点上采样策略，以动态地增强手部拓扑结构的分辨率，捕获更精细的纹理细节。
- 提出了一个自我适应的变形方法，将标准点变形为目标姿态。为了模拟手的纹理，利用了内在的反射率和基于姿态的明暗处理，这些都是通过上下文注意力模块学到的。
- 提出了一种新的3D点涂抹框架，用于照片级的真实手部重建。与现有的神经渲染方法相比，它在视觉质量和效率方面都表现出优越的性能。
- 提出了一种双重方法，通过自我适应的标准点上采样和自我适应的变形，实现了高分辨率的手部几何和姿态适配。这种方法不需要知道手部的具体姿态，就能实现手部重建。
- 把手部的外观颜色分解为内在的反射率和基于正常变形的明暗处理，这是通过上下文注意力模块学到的。这种颜色分解方法能更好地处理复杂的手部姿态和光照条件，提高了手部重建的准确性。
- 论文中还进行了大量的实验，证明该方法能够实现实时渲染速度，并具有优越的性能，超过了现有的最先进的技术。
系统架构：
结果：
结论：
我们提出了3D-PSHR，一种新颖的实时照片逼真手部重建方法，通过可变形点云表示手部并通过3D点喷洒实现渲染。我们的方法采用自适应规范点上采样策略，动态增强手的拓扑结构分辨率，捕捉更精细的纹理细节。此外，我们提出了一种自适应变形方法，将规范点变形到目标姿势。为了建模手部纹理，我们利用通过Context-Attention学习的固有反照率和姿势感知阴影。值得注意的是，我们的方法可以在无姿势和无视角的手部数据集上进行训练。在使用单目或多视角视频进行训练时，它表现出强大的性能，实现了具有卓越结果的实时渲染速度。此外，我们的方法支持使用Phoen或自影模型进行重新照明。
实际应用价值：
- 实时性和逼真性：该论文提出了一种基于可变形点云和3D点喷射的实时、逼真的手部重建方法，可以用于实时动画、虚拟现实、增强现实等领域，提高用户体验的真实感。
- 动态分辨率增强：该方法通过自适应的标定点上采样策略，动态地增强手部拓扑结构的分辨率，从而捕捉更精细的纹理细节。这种技术可以应用于需要精细手部纹理的领域，如游戏设计、电影制作等。
- 姿态和光照变化：该方法支持通过Phoen或自阴影模型进行重新照明，这使得手部可以在不同的姿态和光照条件下进行渲染，提高了手部模型的灵活性和实用性。
- 无需姿态和视图限制的训练：该方法可以在没有姿态和视图限制的手部数据集上进行训练，这意味着它可以适应各种不同的手部形状和姿态，从而具有更广泛的应用范围。
- 自动化和实用性：该方法自动化程度高，无需过多的手动调整，同时具有较好的实用性，可以用于各种需要手部模型的应用领域，如人机交互、机器人控制、虚拟现实等。
