机器之心报道
机器之心编辑部
机器狗不仅能跑能跳，踢足球、当守门员都很行。
让一个机器狗担当足球守门员，靠谱吗？靠不靠谱，我们先看看效果在下结论。
工作人员一次很温和的进攻，机器狗拦住了球：
加点难度，来个抛物线进球，也不再话下：
用手抛球有作弊嫌疑？用脚试试，机器狗也能把球门守的死死的
有趣的是，该研究还尝试让一只机器狗踢球，另一只当守门员，两只机器狗自己也能玩挺好：
看完效果，感觉机器狗当守门员还挺靠谱。这款机器狗是 MIT 在 2019 年研发的 Mini Cheetah，现在来自加州大学伯克利分校等机构的研究者为 Mini Cheetah 部署了一个新的强化学习框架，让它完成足球守门任务，守门成功率高达 87.5%。
论文地址：https://arxiv.org/pdf/2210.04435.pdf
4 米开外踢球
Mini Cheetah 仅用不到 1 秒成功守门
让 Mini Cheetah 学会守门还是一件比较难的事，因为这涉及物体（例如球）抛出的高度以及动态移动的位置，具体而言，一方操纵一个快速移动的球，球的方向和位置不确定，而另一方需要迅速判断球的位置以阻止进球。想要完成这一任务，需要教会机器人动态移动它的身体，同时确保它的脚 (或脸) 到达它们需要及时阻挡球的地方，这基本上是将两个难题结合在一起。
该研究的解决办法是将运动控制器与末端执行器轨迹规划相结合，这样一来就可以找到最佳的方法让 Mini Cheetah 在球到达目标不到一秒的时间内，进行阻挡。
完成上述过程，还需要训练 Mini Cheetah 掌握一套有用的守门员技能，例如 Mini Cheetah 需要掌握在地面附近和靠近地面的地方对球进行侧身拦截、掌握俯冲到达球门的下角技术、跳跃到球门的顶部和上角。做完这些动作，Mini Cheetah 都可以恢复并最终安全着陆。每个技能的参考动作都是手动编程的，在模拟中进行训练，然后直接迁移到机器人上。
Mini Cheetah 防守的球门宽 1.5m，高 0.9m，球（3 号）从约 4m 外踢出，球被外部跟踪，然后 Mini Cheetah 拦球。让这么小的机器狗完成拦球动作，其表现是令人印象深刻的。
该研究表明，这款机器狗系统可以将在仿真中学习到的动态动作和守门员技能迁移到一个真正的四足机器人上，在现实世界中，对随机射门的守门成功率为 87.5%。而人类足球守门员的平均成功率是 69%。研究人员表示，他们所提出的框架可以扩展到其他场景，例如多技能足球。
下面我们来看看支持这款机器狗的背后框架。
分层强化学习框架
首先，让四足机器人做足球守门员是一个很有挑战性的问题，因为它必须要同时解决预测物体运动轨迹和机器人捕获非抓握物体（球体）两个实际问题。机器人需要在很短的时间内（通常不到一秒）对空中飞行的球做出反应并拦截。
为了完成这个挑战，研究团队提出了一个分层无模型强化学习 (RL) 框架。该框架包含一个针对不同运动技能的多个控制策略，覆盖了目标的不同区域。
这些控制策略让机器人能够跟踪随机参数化末端执行器的轨迹，同时执行特定的运动技能，例如跳跃拦球、扑球和顺势拦住地面滚动的球。
RL 框架中包含一个高级规划器，它帮助机器人确定所需的运动技能和规划末端执行器轨迹，以拦截飞向不同目标区域的球。
该研究在 MIT 2019 年提出的 Mini Cheetah 四足机器人上部署了上述 RL 框架，实验表明这种 RL 框架能够让四足机器人有效拦截现实世界中快速移动的球。
此前对四足机器人 RL 框架的研究主要集中在低级运动控制上，例如让机器人按要求速度步行、模仿参考运动。而该研究提出的框架将学习到的运动技能扩展到更高级别的任务上，成功使用高级规划让四足机器人以敏捷的动作精确拦截快速移动的足球。这对四足机器人的高级规划控制具有重要意义。
参考链接：https://spectrum.ieee.org/football-robot-mini-cheetah
