Esther｜ 撰文
近日，NVIDIA与MIT CSAIL（计算机科学与人工智能实验室）发表了一篇论文，论文中阐释了一个全新的开源视频到视频合成模型：Video-to-Video Synthesis，它使用生成对抗网络（GAN）学习框架，这款模型能够生成高分辨率、时间相*逼真视频，可输入的内容格式包括分割掩模、草图和动作。
名词解释：
生成对抗网络：一种用于无监督学习的机器学习框架，这个概念最初由Ian Goodfellow提出，这种框架由神经网络构成判别器和生成器构成，通过一种互相竞争的机制组成。
时间一致性/相干性：百度百科定义：“时间一致性与波传播时间差有关，由不确定的为相差导致，只有传播时间差在一定范围内的波才具有相对固定的位相差从而一致的特性叫波的时间一致性。”
语义分割：字面的意思是让计算机根据图像的语义进行分割，理解图片的意思。
掩模（mask）：是一种图形操作，用于部分或完全隐藏对象或元素的部分，简单来讲，将掩模应用于图形对象的效果相当于图形对象通过遮罩涂在背景上，完全或部分掩盖了图形对象的各部分，遮罩内图像不会改变，在图像处理中常用掩模来提取ROI区域。
论文中写道，图像转译技术是很火的研究话题，但是极少有人去探索视频到视频合成这一领域。建模与合成动态的视觉图像对于构建AI来说非常重要，视频到视频合成技术在计算机视觉、机器人学和电脑绘图上都能得到广泛应用。
比如，在强化学习模型中，使用视频合成模型来预测动态环境，那训练AI就不需要使用那么多真实数据了。与传统的图像渲染技术不同，使用这种经过训练的视频合成模型，不需要明确设定场景几何、材料、光线和动作，就可以合成逼真的视频。
这组科研人员研究视频到视频合成的目标是，通过学习源视频的绘图原理（比如一系列语义分割掩模），利用分布匹配原理，输出能精准捕捉源视频内容的合成视频。他们发现不使用时间动态建模，而直接将现有的图像合成方法应用在源视频上，常常只会生成时间不一致的低画质低视频。
科研人员利用精心设计的生成器与识别器（生成器和识别器都是神经网络，共同组成了生成对抗网络框架。在生成器中输入随机噪音，输出目标向量，而识别器是分类器，输入向量，输出的内容是判断向量是否真实。），以对抗时空学习为目标（去模糊），在多次实验后，成功将长达30秒的街景视频合成了2048×1024分辨率的视频，效果大大超越了目前市面上最先进的其他视频合成技术。
据悉，使用者可以灵活地从多方面调整模型合成的视频，比如将街景视频中的建筑替换成树。
左上角是源视频，右下角是NVIDIA与CSAIL的模型合成效果
原理
论文中提到，为了简化视频到视频合成问题，科研人员利用了马尔科夫模型（一种统计模型，在语音识别应用广泛），一张张生成视频的每一帧，但是许多帧视频中包含大量无用的信息，如果两帧图像之间的光流（用于描述相对于观察者的运动所造成的观测目标、表面或边缘的运动）已知，就可以用这个光流去预测下一帧。从实验结果来看，模型预测遮挡区域外的图像准确率很高。
此外青亭网还了解到，这组科学人员用于实验使用的数据组包括：
Cityscapes（城市风光）：2975个、30帧、分辨率为2048x1024的德国城市街景视频。
Apolloscape：73段拍摄于北京的街景视频，帧数从100到1000不等。
Face video dataset（人脸视频数据集）：854段来自不同记者的新闻报道视频，用于训练将草图合称为面部视频的任务。
Dance video dataset（跳舞视频数据集）：一些从YouTube上下载的动作视频，用于合成人的跳舞视频，每段视频约3-4分钟，分辨率为1280x720，科研人员截取去了视频中间512x720大小的人的部分。看这段动图，很容易联想到前不久青亭网曾报道过，美国加州大学伯克利分校利用NVIDIA TITAN Xp显卡和GeForce GTX 1080 Ti显卡，制作了一款将舞蹈动作通过虚拟人像呈现出来的AI技术。
在论文中科研人员写道，虽然这款模型超越了市面上许多类似的视频到视频合成技术，但目前还有一些局限。比如，因为缺少景深地图信息，这款模型很难合成视频中转弯的车。此外，这款模型也没办法保证视频中同一个物体会从头到尾保持外观一直，有时候会有汽车逐渐改变颜色，如果从头到尾采用物体追踪技术，就能缓和这个问题。
另外一个问题是，在进行语义操纵时，比如将树变成建筑，一些被建筑和树替代的物体会改变标签形状，如果使用粗略一些的语义标签来训练模型，就可以减少其对标签形状的敏感度。
正如你看到的这样，这套技术未来可以应用在很多的领域，显而易见的是，例如苹果正在研发的自动驾驶汽车，就可以直接叠加至夜间HUD平视显示器中。
除此之外，这样技术还有很多应用场景。例如，电视/视频服务商可通过该技术模拟计算出中间帧的图像，来弥补卡顿，提升画面流畅性等；医生们则可以提高MRI核磁共振图像的清晰度、成像质量等细节；谷歌则可以提升谷歌地图、卫星地图的信息密度，让细节更加丰富。未来，还可能会扩展更多的领域。
