摩擦栗 发自 凹非寺 量子位 出品 | 公众号 QbitAI
听说，互相摩擦，有助于快速学习。
如果，模拟器里只有一个强化学习智能体，它可能活得很自在。
天大地大，虚拟机器人做个空翻、回旋踢之类，都不是稀有的技能，只是需要艰苦训练罢了。
那么，要是让几千个人形智能体，一起在模拟器里跑呢？
它们就会相互摩擦，亲昵地扭打在一起，形成一幅不可开交的美妙图景。
这不是重点，关键是智能体在摩擦的过程中，学起技能来，会比孤独的时候快很多。
英伟达就想用这种方法来加速学习，于是开发了自己的物理模拟器。
在那里，人类跑步的姿势，智能体不用20分钟便可解锁。且只要一个CPU核心，不要成百上千。
相互摩擦，是最美的英伟达开发的是一个GPU加速模拟器，支持千百只人形智能体，在同一个世界愉快地互动。
并且，只要一个Tesla V100 GPU，加上一个CPU核，就够了。
为了智能体更好地学习人类技能，团队为四种技能设定了Benchmark，由易而难：
一是，只用两条腿、但是像蚂蚁那样跑步 (不是说好的人类技能啊) ：
二是，依然用两条腿、但像人类那样跑步：
三是障碍跑，遇到球球会站不稳，重点是重新找到平衡，不要摔倒：
四也是障碍跑，不过地形复杂，还是要在站不稳的时候努力保持平衡：
在复杂地形下训练过的智能体，会拥有随机应变的能力。
即便是在从未见过的环境里，从超过一人高的平台跳下也能迅速站稳，继续奔跑。
放进现实里，大概就是这个样子：
现在，来和前辈们对比一下时间和硬件成本：
一个CPU核心，抵得上一千个？
是有了GPU加持之后，模拟器每秒可以生成6万帧，帧时间 (Frame Time) 能降到0.02毫秒以下。也就是说，帧延迟小到几乎可以忽略。
那么，就算智能体的数量从5个增加到5,000个，也不会有什么压力。
由此，即便只用一个CPU核心，学习效率也可以得到保障。
这项研究，是在英伟达的物理引擎FleX里面完成的。
很快，团队就要在CoRL 2018大会上，介绍研究成果了。
在那之前，大家可以欣赏一下论文：
GPU-Accelerated Robotic Simulation for Distributed Reinforcement Learning
https://arxiv.org/pdf/1810.05762.pdf
— 完 —
诚挚招聘
量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
