作者：历飞雨 | 来源：3DCV
在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接
添加*dddvisiona，备注：NeRF SLAM，拉你入群。文末附行业细分群
我们提出了一种从单个输入图像 生成具有一致、高分辨率外观的人的 360 度视图的方法。
NeRF 及其变体通常需要来自不同视角的视频或图像。大多数采用单眼输入的现有方法要么依赖真实3D扫描进行监督，要么缺乏3D一致性。虽然最近的3D生成模型显示了3D一致的人体数字化的前景，但这些方法不能很好地推广到不同的服装外观，并且结果缺乏真实感。
与现有工作不同，我们利用针对一般图像合成任务预先训练的高容量二维扩散模型作为穿着人类的外观先验。为了在保留输入身份的同时实现更好的3D一致性，我们通过以轮廓和表面法线为条件的形状引导扩散修复缺失区域，逐步合成输入图像中人体的多个视图。然后，我们通过逆向渲染融合这些合成的多视图图像，以获得给定人物的完全纹理化的高分辨率 3D 网格。实验表明，我们的方法优于之前的方法，并且可以从单个图像中实现对各种具有复杂纹理的穿着人类的真实感360度合成。
我们首次证明，为一般图像合成而训练的2D扩散模型可用于从单个图像进行3D纹理人体数字化。
我们的方法通过使用法线贴图和轮廓来指导扩散模型，从而保留了底层3D结构的形状和结构细节。
我们通过将合成的多视图图像融合到共享的UV纹理图中来实现3D一致的纹理重建
为了从单个图像 生成一个人的360度视图，我们首先合成该人的多视图图像。我们使用现成的方法来推断3D几何形状并合成人的初始后视图作为指导。我们将输入视图和合成的初始后视图添加到我们的支持集中。为了生成新视图，我们通过混合RGB颜色来聚合支持集中的所有可见像素，并根据可见性、视角和到缺失区域的距离进行加权。为了产生看不见的外观并合成视图，我们使用由形状线索（法线图和轮廓图）引导的预训练修复扩散模型。我们将生成的视图包含在我们的支持集中，并对所有剩余的视图重复此过程。
然后，我们融合这些合成的多视图图像以获得带纹理的3D人体网格。我们使用计算出的UV参数化来优化几何形状固定的UV纹理贴图。在每次迭代中，我们在视图集中的每个合成视图中以不同的方式渲染UV纹理贴图。我们使用LPIPS损失和L1损失来最小化渲染视图和合成视图之间的重建损失。融合产生可以从任何视图渲染的纹理网格。
通过利用预训练的高容量2D扩散模型作为人类外观的先验，从而避免了依赖3D扫描进行监督训练。通过使用形状引导的扩散条件，该方法可以生成具有一致外观和高质量纹理的3D人体网格。此外，实验结果表明，该方法生成的3D人体网格具有比以往方法更详细和逼真的外观。为确保在单张图像上实现高分辨率且真实感强烈的3D人体数字化，该方法采用了以下策略：
利用高容量2D扩散模型作为人类外观的先验，使得生成的3D人体网格具有更一致的外观。
通过形状引导的扩散条件，在保留输入身份的同时提高3D一致性。
逐步合成输入图像中的人物的多个视角，通过在缺失区域进行基于形状的扩散，从而生成高质量的3D人体网格。
这些策略共同确保了在单张图像上实现高分辨率且真实感强烈的3D人体数字化。
利用形状引导的扩散条件：在保留输入身份的同时，通过在缺失区域进行基于形状的扩散，提高3D一致性。这种方法有助于在处理遮挡和部分可见区域时，生成具有较高真实感的3D人体网格。
逐步合成多个视角：通过逐步合成输入图像中的人物的多个视角，可以在缺失区域生成高质量的3D人体网格。这种方法有助于在处理遮挡和部分可见区域时，提高3D人体数字化方法的稳定性。
高容量2D扩散模型作为人类外观的先验：利用预训练的高容量2D扩散模型作为人类外观的先验，有助于在处理遮挡和部分可见区域时，生成具有较高真实感和一致性的3D人体网格。
3D几何重建：首先使用3D几何重建方法（如多视角几何估计或深度学习方法）重建输入图像中的人物的3D几何形状。这有助于在处理遮挡和部分可见区域时，提高3D人体数字化方法的准确性。
利用预训练的高容量2D扩散模型作为人类外观的先验：通过使用预训练的高容量2D扩散模型，该方法可以在不同姿态和光照条件下生成具有较高真实感和一致性的3D人体网格。这有助于提高3D人体数字化方法的通用性和适应性。
逐步合成多个视角：通过逐步合成输入图像中的人物的多个视角，可以在不同姿态和光照条件下生成高质量的3D人体网格。这种方法有助于提高3D人体数字化方法的适应性。
形状引导的扩散条件：在保留输入身份的同时，通过在缺失区域进行基于形状的扩散，提高3D一致性。这种方法有助于在处理不同姿态和光照条件下的图像时，生成具有较高真实感的3D人体网格。
对抗性训练和数据增强：为了提高3D人体数字化方法在不同姿态和光照条件下的泛化能力，可以采用对抗性训练和数据增强技术。这些技术有助于提高方法在不同姿态和光照条件下的适应性。
采用多视角图像融合：通过将多视角图像进行融合，可以在不同姿态和光照条件下生成具有较高真实感的3D人体网格。这有助于提高3D人体数字化方法的通用性。
该方法生成的3D人体网格具有比以往方法更详细和逼真的外观。使用了两组数据集进行评估：THuman2.0和DeepFashion。此外，还使用了Adobe Stock1中的野外图像来展示具有不同主体、服装和姿态的图像成果。
实验结果中，作者对比了他们的方法与其他基线方法，如PIFu。结果显示，他们的方法在生成360度视图方面具有更高的准确性和视觉效果。作者还进行了一项消融研究，验证了形状引导的扩散条件对生成高质量3D人体网格的重要性。通过实验结果，作者证明了他们的方法在生成360度视图的人体数字化方面具有优越性。这为单张图像上实现高分辨率且真实感强烈的3D人体数字化提供了有力支持。
我们介绍了一种简单而高效的方法，可从单张图像生成完全纹理化的三维人体网格。我们的实验表明，通过基于高容量潜在扩散模型的形状引导涂色和稳健的多视图融合方法，现在可以为遮挡视图合成高分辨率和逼真的纹理。三维人体数字化依赖于以人为中心的三维或二维数据集，而我们的方法则首次利用通用的大规模扩散模型实现了卓越的合成效果。我们相信，我们的工作将为统一三维人体数字化和其他一般二维人体数字化的数据收集工作提供启示。
