编者按：本文来自于微信公众号 “量子位”（*QbitAI）， 动点科技经授权发布。
来自德国弗莱堡大学的研究团队，最近有了一个好玩的发现。
AI 又在打游戏时掌握了新技能。
“向死而生”
这个游戏是雅达利平台上的经典游戏 Qbert：一个伪 3D 游戏，玩家需要控制角色（橙色章鱼）在立方体金字塔中跳跃，每成功一次，立方体就会变色。全部变色之后，就会进入下一关。而在这个过程中，需要躲避开障碍物和敌人。
研究团队开发的 AI 智能体（agent）玩这个游戏时，开始还是普通玩法，按照规则累积积分。然后，智能体突然对过关失去兴趣。
相反，智能体开始“钓鱼”：站住不动，吸引敌人（紫色小球）来到身边，然后智能体操纵角色跳到敌人头上。这是一种*敌的方法，也是自*的方法。但是主动*敌之后，能够产生足够多的分数来获得额外的生命奖励。
于是智能体开始一遍遍的重复这种向死而生的手法，如上图所示。
不止如此。
AI 智能体还发现了一个 Bug。在完成第一关之后，智能体操纵角色从一个立方体跳到另一个立方体，这似乎是一种随机的跳跃。但由于某种人类不了解的原因，游戏没有进入下一关，整个立方体金字塔开始闪烁。
然后智能体平白无故开始获得大量积分。如下图所示。
同样有意思的是，智能体也不是每次都能利用好这个 bug。嗯，不是每次都能成。
当然还有其他的好玩的事儿，暂时按下不表。
不虚强化学习
当然，搞研究不是为了好玩。
弗莱堡大学的这个研究，主要关注的是进化策略（ES）。而且是一种非常基本的进化策略算法，没用镜像采样，没有衰减参数，没有任何高级优化。
在研究实验中，基于 OpenAI Gym 评估了八个雅达利游戏中的性能表现，这些游戏难度等级不同，简单的如 Pong（乒乓）和 Breakout（打砖块），复杂的如 Qbert、Alien。此前，强化学习也都是在这些游戏上取得惊人的进展。
这个基于 ES 算法的 AI，网络结构与原始 DQN 相同。变化之处，是把激活函数从 ReLU 变成了 ELU，并增加了批量标准化层。
详细的研究过程，可以参考如下论文：Back to Basics: Benchmarking Canonical Evolution Strategies for Playing Atari
https://arxiv.org/abs/1802.08842
总之，研究团队得出结论：即便是非常基础的规范 ES 算法，也能实现和强化学习相同甚至更好的性能。
而且他们还定性地证明了，ES 算法与传统的强化学习算法相比，也有非常不同的性能特征。在某些游戏中，ES 算法能更好的学会探索环境，并能更好的执行任务。
当然在另外的一些游戏中，ES 算法有可能陷入次优局部最小值。
研究团队表示，如果能把 ES 算法与传统强化学习算法结合，可能会出现强强联手的局面，并推动现有人工智能相关技术的新进展。
基于 ES 算法搭建的 AI 智能体，在上述几个游戏中的表现，可以在下面这个视频中感受一下，除了开头提到的一些案例，期间也有其他有趣的游戏策略出现。
附一个剧透：0:00 Alien，0:29 BeamRider，2:30 Breakout，3:15 Enduro，4:44 Pong，5:38，Qbert exploit，6:12 Qbert bug，6:47 Seaquest，8:36 SpaceInvaders。
曾被 LeCun 硬怼
这次弗莱堡大学的研究，基于 OpenAI 此前发布的 ES 算法。当然，弗莱堡大学公布的成绩表明，他们的 AI 玩游戏更胜一筹。并且用了一张表进行了详细的对比。
他们把相关代码也公布在了 GitHub 上，地址如下：https://github.com/PatrykChrabaszcz/Canonical_ES_Atari
进化策略（ES）是一种已经发展了数十年的优化技术，去年 OpenAI 发表论文 Evolution Strategies as a Scalable Alternative to Reinforcement Learning 中指出，ES 算法可以与强化学习方法媲美，耗时更少而且代码简单。
对这个理论感兴趣的同学，阅读论文请前往：https://arxiv.org/abs/1703.03864，以及 GitHub 地址在此：https://github.com/openai/evolution-strategies-starter 。
不过，当时这个理论遭遇 Yann LeCun 的正面硬刚。
大意是说：
1、基于梯度的优化，远比黑箱优化更有效率
2、黑箱优化应该是最后的办法，无法基于梯度优化时才用
3、对于知道强化学习和黑箱优化的人来说，OpenAI 这篇东西没什么用
不知道你们怎么看。
- TAGS
- AI
- 游戏
- 算法
