3月18日 StabilityAI
关键措施:
如今,我们正在发布一个基于稳定视频扩散的生成模型--稳定视频3D(sv3d),它推动了3D技术领域的发展,提供了大大提高了质量和视野一致性的产品。
这个版本有两个变体:sv3d_u和sv3d_p。SV3D_U在没有摄像机调节的情况下,根据单个图像输入生成轨道视频。sv3d_p通过兼顾单一图像和轨道视图来扩展功能,允许沿着指定的摄像路径创建3D视频。
稳定的3D视频现在可以用于商业目的 稳定AI成员资格 .为非商业用途。
当我们释放的时候 稳定的视频扩散 ,我们强调了我们的视频模型在各种应用中的多功能性。在这个基础上,我们兴奋地发布稳定的3D视频。这个新模型推进了3D技术领域,提供了大大改进的质量和多视图,相比之下,以前发布的 稳定的零123 以及其他开源替代方案的表现,例如 零123-XL .
这个版本有两个变体:
这个变体产生的轨道视频基于单图像输入,不需要相机调节。
SV3D_P:扩展了svd_3_U的能力,这个变体既可容纳单一图像,也可容纳轨道视图,允许沿着指定的摄像路径生成3D视频。
稳定的3D视频现在可以用于商业目的 稳定AI成员资格 .为非商业用途,你可以下载模型权重 拥抱的脸 去看我们的研究报告 在这里 .
视频扩散的好处
通过调整我们的稳定视频扩散图像视频扩散模型加上摄像机路径调节,稳定视频3D能够生成一个对象的多视图视频。使用视频扩散模型,与稳定的ZERR123中使用的图像扩散模型相比,在生成输出的泛化和视图一致性方面提供了重要的好处。此外,我们提出改进的3D优化利用这种强大的能力,稳定的视频3D生成任意轨道围绕一个物体。通过进一步实现这些技术的解纠缠照明优化和一种新的掩码蒸馏采样损失函数,稳定的视频3D能够可靠地输出质量3d网格的单图像输入。
见技术报告 在这里 欲了解更多有关稳定的3D视频模型和实验比较的细节。
小说视图生成
稳定的3D视频在3D生成方面取得了显著的进步,特别是在新的视图合成(nv)领域。与以往的方法不同的是,稳定的3D视频能够从任何特定角度提供一致的视图,并且能够熟练地推广。这种功能不仅提高了可控制性,而且还确保了在多个视图中一致的对象外观,进一步改进了现实和准确的3D代的关键方面。
三维生成
稳定的3D视频利用它的多视图一致性优化了3D神经辐射域(NERF)和网格表示,以提高直接从新视图生成的3D网格的质量。为此,我们设计了一个掩蔽分数蒸馏采样损失,以进一步提高三维质量的区域,在预测的视图不可见。此外,为了减少嵌入式照明的问题,稳定视频3D采用了一个与三维形状和纹理联合优化的解纠缠照明模型。
