机器人跳舞？以后你看的动作片可能都是它演的～

今天是风*的老年迪斯科狗狗 Spot~

机器人的进化速度如此之快，以至于每次新片上映后，这些机器们都会例行带来一波世界末日的调侃。

“这可能是你人生看到的最后一段舞蹈”

“未来，他们会不会就像这样在我们坟头蹦迪？”

不过，说认真的。机器是怎样学会这些流畅动作的呢？从蹒跚学步的宝宝，到单腿跨障碍的运动健将，短短两年内，Atlas 都经历了啥？以及，它们在运动方面的学习速度，究竟能有多快呢？

说出来可能吓死你，根据 UCBerkeley（加州大学伯克利分校）的最新研究：要让 Atlas 学习新姿势，只需要一步——刷段抖音给他看！

下一秒，他就能自学成才地复制出标准动作。就像这种效果…

先说明一点，这个叫做 SFV 的增强学习框架，目前还没实际应用到波士顿动力的机器人上。但在测试中，团队用了 Atlas 的机器人模型。

至少从目前论文和视频的效果看，人类是该发抖了。

SFV，即 Skills from Videos。全名，从视频中学习身体动作的增强学习框架。

我们常看的科幻片里，每个栩栩如生的虚拟人物背后，都有一个真人演员。使用特效技术捕捉到演员的动作，再同步到电脑中的虚拟角色上。但这种系统用起来相当麻烦，不仅需要大量的辅助仪器，还只能在室内用。

但有了 SFV 框架，就省钱省力多了。结合计算机视觉和强化学习技术，模拟角色就能学会各种姿势，无需任何手动姿势注释。

看个视频，学会 20 种杂技动作不是梦。侧手翻，前手翻，直体后空翻…简直是要做体操运动员的节奏啊，或许不久的将来可以举办人工智能奥运会了。

那么如此逆天的框架是怎么进行的呢？

要让 Atlas 学会后空翻，必须分三步：姿势估计、动作重建和动作模仿。

SFV框架的运作阶段

输入视频首先接受段姿势估计的处理，预测每一帧中角色的姿势。接下来，动作重建阶段将姿势估计结果固化为参考动作，并修复姿势估计结果可能带来的失真。最后，将参考动作输入到动作模仿阶段，利用强化学习训练模拟角色模仿动作。

我们详细来说~

姿势估计就像是照相机。在一个给定的视频中，基于视觉的姿势，估计器会预测动作执行者在每一帧的姿势，并且脑补出该运动如何执行合理的结果。

基于视觉的姿势器估计用于预测人物在每一帧的姿势

直体后空翻。由上到下：视频片段，3D姿势估计，2D姿势估计，模拟人物

动作重建

由于在上一阶段，每一帧的预测都是独立进行的，所以简单地将姿势进行排序，会导致各帧之间的预测不一致，出现抖动伪影。这些伪影呈现出来，就是一段抖动的鬼畜…

而动作重建阶段，就是要减轻这些伪影，从而生成更逼真可行的参照，使模拟角色更加容易模仿。

来看重建前后的对比效果~

动作重建前后的对比

动作模仿

得到了动作执行者的动作之后，我们就可以对模拟角色进行训练了。模拟角色可以通过强化学习的方法学习视频中动作执行者的各种动作，这样它也就学会了各种杂技技巧。

模拟角色模仿动作执行者的动作

更神奇的是，这些模型还能适应新的模型和新的环境，并且产生合理的应对策略。

举个栗子，同一个动作，用火柴人和 Atlas 模型做出来的效果~

视频里小哥哥在平坦的草地上表演侧空翻，但一旦模型遇到凹凸不平的地面呢，岂不要摔死？

并不！看这个在斜坡上翻跟头的模型，踩在不平整的地面上时，懂得先稳住阵脚；一步踏空，这踉踉跄跄、摇头晃脑的姿势有没有看到记几的影子？

和此前论文里的应对策略做个对比~可以说很优秀了。

既然我们训练的模拟角色学会了如此多的技能，那么展示出他的才能，让他替代杨超越，C 位出道有何不可呢？

但…等等！

虽然学习能力已经足够强大，但遇到一些复杂的连贯性动作时，SFV 框架还是有些力不从心。

这段已经 out 很久的江南 Style，模型的表现就很不尽如人意。中间是开发人员脑中的“买家秀”，而最右则是 SFV 框架下的“买家秀”。模型只能笨拙得摆动着身体，手脚动作完全不协调，更不要说跳跃的姿态了。

这个 SFV 框架，可能会让不少人想起 DeepMind 去年的“火腿肠机器人模型”。DeepMind 成功教 AI 智能体完成一条有落崖、障碍和墙壁的跑酷路线。

不过，还是那个问题~ 不管是 SFV，还是 DeepMind 的跑酷智能体，除了能快速量产出一批技多不压身的杂技演员外，这些研究还有什么卵用？

事实上，这些学到的技能可以用到很多不同的领域。

在模拟环境中，研究人员就成功训练人工智能完成了一系列任务，拾取东西、诊断阿尔茨海默氏病的阶段。

这篇论文 SFV: Reinforcement Learning of Physical Skills from Videos 入选了今年的 SIGGRAPH Asia。视频发布会，小伙伴们也纷纷献上了膝盖。

Hackenews 的网友 tintor：“我迫不及待想看看这个应用和现实杂技演员的合作”

otakucode：“你的意思是，我们都要在旋转跳跃的竞争中自取其辱了？太吓人了…”

想想未来的某一天，Atlas：“我想看个功夫片…”

卒。

最后，一起欣赏下论文的全套效果视频吧~

https://v.qq.com/x/page/b074773dkuc.html

有兴趣和耐心看全文的人类，可以移步以下链接，或后台回复关键词“人工智能杂技”查看全文~

涉及到的论文：SFV: Reinforcement Learning of Physical Skills from Videos

论文地址：

https://arxiv.org/pdf/1810.03599.pdf