少年,这有套《街霸2》AI速成心法,想传授于你……

少年,这有套《街霸2》AI速成心法,想传授于你……

首页动作格斗街头霸王2更新时间:2024-05-09

千平 发自 LZYY

量子位 出品 | 公众号 QbitAI

“ 少年,我看你骨骼精奇,是万中无一的武学奇才。我这有套《街霸2》心法,见与你有缘,就十块钱卖……”

慢!

苦练《街霸2》可能已经没前途了。

因为AI来了。

少年,不如修习如何炼制一枚格斗游戏AI吧。量子位这有套西方来的《街霸2》AI速成心法,见与你有缘,就免费转送了……

AI心法

这套心法,乃是“宅肉死抠破”(Gyroscope)所创。基于超任平台(Super Nintendo)。所用乃是强化学习之方法。依靠强化学习,AI观察世界、选择行动方式,目标是最大限度的获得奖励。

在游戏中也是一样。想要炼制一枚《街霸2》AI,需教会这个神经网络每个角色如何跳跃、移动、出招,还得教会它观察血量和剩余时间。我们需要把游戏中的种种信息,提炼成AI能看懂的格式,称之曰:观察空间。

观察空间

为了达到速成的目的,节省训练时间,这套心法在使用强化学习时,使用了手动定义观察空间的方式。具体来说,这个观察空间包括:

这个观察空间非常庞大。至少有数万亿个参数。

动作空间

AI观察环境之后,必须立刻进行下一步动作。表征可用动作最简单的方法,是使用超任手柄上的按钮:上、下、左、右、A、B、X、Y、L、R。如果考虑按钮同时按下的情况,就有1024中不同的可能。

考虑动作空间的另一种方法是建立可用的动作集,例如高踢、抱摔、上切等。把一个动作转变为对应的按钮组合。这里为了节省训练时间,心法将动作空间简化为一个方向键 一个出招键的组合,例如“上 A”。

这样就把动作空间简化到35种可能性。当然,如果时间允许,我们也 可以尝试更复杂的组合方式。

奖励

一旦采取了行动,就得让AI得到奖励/惩罚。

在《街霸2》种,出招合理与否有个简单的衡量方式:血量。AI要做的就是,却把血量的最大化。如果脚踢对手,能造成10个点的伤害,那么系统就奖励AI同样的得分。

如果下次观察后,AI没有行动,只要能保持血量的差距,仍然会获得10分奖励。当然,如果表现不好,也会被扣分。

这是街霸中Dhalsim(印度)训练中的奖励情况

AI训练AI

在训练AI这件事上,Gyroscope有一套算法,可以自动搞定哪个问题用什么算法最好。在《街霸2》这件事上,简化使用了这个方法,并且选择了DQN作为强化学习的方法,当然也做了一些调整。

DQN使用模型来预测哪些动作是最优选择。至于具体的做法,这里卖个关子,稍后会在另一篇心法中详述。

模拟器

想要训练AI,得把它带到《街霸2》的世界里。问题是,手头上没有超任的SDK。幸运的是,还是找到了解决的办法。

BizHawk,支持多种模拟器内核,包括超任。BizHawk提供了一系列关键工具:

BizHawk源代码在此:

https://github.com/TASVideos/BizHawk

有了Lua界面,就可以在《街霸2》中控制按钮、读取内存位置以及控制模拟器内核。内存探测器让AI可以直接读取对手的血量、动作等数据。

注意,这里只让AI读取了玩家能看到的信息,没有读取额外内容。

侵入内存

我们需要从内存中读取一些关键数据,来构成观察空间。在开头我们也提到过,比方角色的位置、血量、行动、时间等。这些都放在内存中的某个地方。

到底在哪呢?这时就可以用BizHawk的工具,来监测内存数值的变化,进而发现内存中被改变的地方。Gyroscope花了几个小时,最终确定了所有数据在内存中的位置,建立了从内存到观察空间的映射。

举个栗子,比方像下面这样:

public int get_p1_health() { return _currentDomain.PeekByte(0x000530); } public int get_p2_health() { return _currentDomain.PeekByte(0x000730); }搞定代码

BizHawk内嵌了Lua脚本引擎,所以Gyroscope初步尝试在Lua里写SDK。那是一个Lua库,用于访问所有的内存位置。

不过问题在于,Lua接口不支持任何网络I/O。由于服务在云端运行,所以这是一个大问题。可以借助Python从中转送,但会带来同步和速度等方面的问题。

解决的办法是放弃Lua,直接使用原生BizHawk工具,这些工具是用C#编写的。之前写的Python代码仍然保留,当做一个简单的接口,给它起了个名字叫EmulatorController。

最后的结果是,对于游戏中的每一帧画面,获得一个观察结果,然后发送给EmulatorController,这个控制器再去询问AI,得到行动指令后,返回下一帧予以执行。

这个方法的速度够快,是时候开始正式训练了~

训练AI

随着一切准备就绪,针对AI的训练立即开始。每个角色训练了8个小时,大概3000场比赛。

在训练过程中,Gyroscope尝试了观察空间、动作空间、奖励函数、DQN参数的各种不同组合,直到找到一个胜率较高的AI配置。

除了标准的调优技术和良好的习惯(一次只改变一个参数),训练AI中最关键的发现是按方向键和按出招键的不均衡权重。

对于每一帧,方向键造成的影响很小,而出招键会引发一系列重大变化。例如,出拳需要很多帧才能完成。也就是说,一帧中的动作会在后续很多帧中继续产生影响。所以,AI被训练为在下一步行动前,会在20帧内持续按下出招键。

换句话说,AI不是逐帧采取行动,而是每⅓秒观察和行动一次。

很多人会问,为什么没把最终赢得胜利作为奖励?简单地说,那样的话会让训练更加困难和冗长。

训练之初,AI对三星级(街霸的星级系统)对手的胜率是20%,训练到最后,胜率已经达到90%。如果训练的时间再长,应该可以获得更好的成绩。

街霸2争霸大赛

这个《街霸2》AI第一次亮相,是在刚刚结束的三星开发者大赛上。

Gyroscope搞了一个《街霸2》AI争霸大赛!

一共四位AI选手出战,每个AI控制两个角色。对战表如下图所示。

最终的决赛,在M.Bison和Dhalsim之间展开。好吧,M.Bison简直是个bug级的存在,他获得了最后的胜利。

然后换了一组角色,再次展开捉对厮*。

决赛中,Sagat击败本田,赢得冠军。

快取走这套心法

好吧,讲到这里,再指一条明路。Gyroscope把修改的模拟器放在GitHub上了,地址在此:

https://github.com/GyroscopeHQ/BizHawk

好吧,这套心法讲完了。今天就到这里,休息休息一下。

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI

վ'ᴗ' ի 追踪AI技术和产品新动态

查看全文
大家还看了
也许喜欢
更多游戏

Copyright © 2024 妖气游戏网 www.17u1u.com All Rights Reserved