音效作为塑造游戏沉浸感必不可少的环节，往往被大家所忽略。但在以音效闻名的《孤岛惊魂》系列中，玩家却“不得不”被动进入故事，化身游戏主人公，感受一场又一场“声”临其境的大戏。而在其最新作《孤岛惊魂6》中，这种真实感则更进一步地被游戏中的小细节放大——主角会随着车内收音机的歌声唱歌附和，街头的音乐人为我们复刻了南美大陆的风土人情，融合了多种口音的自创“方言”……让这个虚幻的“雅拉岛国”仿佛真实存在。
这些音效细节的背后，是拥有着30年行业经验的阿根廷-加拿大籍音频专家Eduardo Vaisman对于故土情结的文化皈依。如今，他在育碧多伦多工作室担任音频总监。这次，让我们听听Eduardo Vaisman在由腾讯游戏学堂举办的TGDC2022腾讯游戏开发者大会上，为我们分享的声效技术创新心得。
以下是演讲实录：
我是Eduardo Vaisman，目前任职育碧多伦多工作室的音频总监，今天我会探讨技术创新如何与文化代表性携手并进，帮助创建《孤岛惊魂6》中的虚拟国度：雅拉（Yara）。
首先请允许我对自己做一个简单的职场回顾。1992年 ，我开始专业从事影视音频工作，先后参与了60多部故事片和电视节目的制作，足迹遍及6个国家，经历过各个岗位，包括音效剪辑师、对白剪辑师和混录师。
2010年，我有幸加入育碧多伦多工作室，从此开启了游戏音频生涯。我在多伦多工作室以音效设计师的身份参与了《细胞分裂：黑名单》的制作。在那之后，我开始负责为《孤岛惊魂》系列制作音效，先后参与制作了《孤岛惊魂4》《孤岛惊魂：野蛮纪源》《孤岛惊魂5》等游戏作品，在过去三年半时间里，我在《孤岛惊魂6》中担任音频总监。
对于不熟悉《孤岛惊魂》系列的人来说，这是一款开放世界第一人称射击类动作冒险游戏，该系列已因其高质量音频而闻名遐迩。而在我担任《孤岛惊魂6》音频总监后，想在原本优秀的音效基础上做出一些技术创新，通过营造氛围来实现更好的效果。为此，我们使用了无损音频格式，也更新了车内立体声的驱动引擎，改进了游戏内的广播系统和广告系统，使得在游戏世界中也可以使用虚拟仪表和3D仪表。
但我们做的远不止如此。《孤岛惊魂6》的具体场景设定在拉丁美洲加勒比海的雅拉岛国，这个国家中有加勒比海岸各国的影子。
作为一个拉美人，我希望游戏中能适当体现拉美文化。可在如今的游戏和流行媒体中，拉美人的通常形象不是毒枭便是疯狂的将领，而我想呈现拉美文化更丰富的一面。我想呈现音乐、语言、文化特征、色彩，这些也是代表拉美文化有的知名元素。因此我的初衷是利用技术创新来强调这些元素。
在《孤岛惊魂6》中，系列首次塑造了一个在雅拉土生土长的英雄主角丹尼。我认为，主角在雅拉度过了童年和少年时代，对当地歌曲了如指掌。因此当车内收音机播放他们最爱听的歌曲时，丹尼就会随口唱起来。请大家看一个网络上关于丹尼随口应和收音机唱歌的剪辑视频。
可以看到，在玩家的视频中，当主角唱起歌来，握着控制杆的玩家也会跟着节奏开心舞动起来。这让我不禁想到：“唱歌条件反射”在《孤岛惊魂6》中竟然能够起到如此重要的作用——
这能让玩家与主角产生联系，让丹尼具有真实感和代入感。听到雅拉本土的音乐，玩家也能沉浸在雅拉的幻境之中，感觉与世界相连。通过语言和曲目，还能强化拉美文化的代表性，让玩家从黑暗氛围中得到放松，何乐而不为呢？毕竟在这个充斥着大量激烈战况的游戏中，玩家往往会感到沉重，而在车上载歌载舞刚好能让玩家释放压力。
其实早在游戏早期开发时，我们就意识到了这一点。彼时我们正在审查这个特性，当时有一位导演在玩这款游戏，突然女丹尼唱起了来歌，导演转身问“嘿，是我在唱吗？”就在那一刻我明白：如果连一名讲英语的男性都认为自己就是游戏中讲西班牙语的女性角色，那这便是连接玩家和游戏的最佳方法，它能打破任何障碍！
我们是如何实现唱歌条件反射的？在特定情形下，只要满足一些先决条件，唱歌条件反射就会发生。这些先决条件包括了丹尼需要在车上，而不是在作战，不在警戒区内，也没有遇到意外等等，满足了所有先决条件后，广播中又刚好播放着应景歌曲时，丹尼便会自然而然地唱起来。在解决了技术问题后，我们需要考虑为游戏背景增添叙事路径。因为在某些任务中我们不希望丹尼随时想唱便唱，这会将人物与主要叙事弧线割裂开来。最后，我们当然需要育碧音乐在法律和曲目层面提供大力支持。
屏幕右侧呈现的是“Oasis”，这是一款用来书写所有叙述性对话和歌声内部工具。其中记录了人物触发条件反射的规则列表。人物或NPC可以对游戏世界做出的反应，包括唱歌条件反射。我们把歌曲称为“主题”，在每个主题内的每行歌词都可以被细分为“时刻”，角色在任何时刻都能停止唱歌，也可以在停止唱歌后的某个时刻重新开唱。
那么，我们是如何我们如何让这个特性实现同步的？我们将歌词逐行分割来完成，在Reaper会话中创建标记（Reaper是本款游戏所用数字价值工作站），然后将每行歌词开头的标记纳入Wwise音频解决方案（Wwise是我们游戏中所用的进程中音频引擎），而在这之后，我们需要事先做好录制策划以及如何编辑歌词。因此，我们没有重叠的歌词，也可以为每一句歌词配上合适的表演形式。
至于说那些歌唱环节，我们选用了两名可以使用流利西班牙语唱歌的演员，不是为男丹尼和女丹尼配音的那两位。随后，我们还添加了更多随唱歌曲，让玩家通过寻找游戏世界中的U盘来解锁更多曲目。
因为《孤岛惊魂6》支持双人联机，这涉及到有两名男丹尼或两名女丹尼时怎样协调处理的问题。我们发现有两名男丹尼或两名女丹妮时，声音听起来有点奇怪，就像同一个人唱了两遍。所以在双人合作时，我们会强制让两名玩家一名扮演男丹尼，另一位扮演女丹尼。
因为并不是在每个国家都能找到合适的演员既能用母语扮演角色，又能用西班牙语来演唱，于是我们决定让他们哼唱。如果玩家玩日语版本，角色会跟着歌曲哼唱，而不唱出歌词。但在葡萄牙语和拉美西班牙语版本中，玩家会体验到完整的歌唱。
顺带一提，在游戏中，这套系统在游戏中也有应用。变装皇后罗莎·梅尔·帕克特在唱歌时可以在任何时候被打断——这真不是剧透。
不少拉美裔作曲家参与到了主游戏原声带的制作中，也主要承担了雅拉人的配音。我们有幸请到巴西里约热内卢的音乐家佩德罗·布罗夫曼担任首席作曲家，还有古巴裔爵士乐大师希拉里奥·杜兰来创作歌曲，此外，来自委内瑞拉、阿根廷等拉美国家的多位音乐家为我们提供了不少歌曲。
在这款游戏中，不仅有多种音乐风格，我们也考虑到文化的多样性与性别认同多样性、原籍国与族裔多样性。另外，有约90名演员阵容参与到游戏的制作中来，几乎覆盖拉丁美洲各国，我为他们感到骄傲。
接下来的部分，我想谈谈雅拉的街头音乐人。
如果你造访过古巴、多米尼加共和国或拉美及加勒比海地区，你就会发现街头音乐人几乎随处可见。因此，我希望雅拉能有这样真正的音乐人以团体的形式演奏传统曲目，并与音乐同步。
街头音乐人的设计可以让世界更有个性，让构建世界的体验更有特色，那在《孤岛惊魂6》中，我们是如何设计街头音乐人的呢？
要做到这一点，我们需要规避非常严格的技术限制。因为以前的《孤岛惊魂》中没有让一群音乐人同步演奏的代码，系列以往的街头音乐人往往只是拿着吉他在路边伴奏，充其量只能算作是个乐器。为了实现合奏的效果，并且尽可能减少对内存资源的占用，我们最终决定采用三重奏的方式。
要让音乐和动画紧密同步，需要由音乐来驱动动画。这种技术我们内部称之为“节律化”，即将每首歌曲中的每件乐器划分为不同节律，其长度小于300帧的动画，因此动画节律时长少于10秒，可以重复或交错进行。
举例来说，我们有打击乐器演奏tic-a-tac节律，我们将其列入可以识别的东西，放入特定动画里不断重复。例如某一首歌的排列方式可能是aaabbaaccaaddd。每一个节律都配有相应的动画，我们试图让这些节律与节拍和动作相联系。因为是动画而不是旋律或某些音符，因此，剪辑工作是重要的一环。
我将在下面的视频中向你展示我们使用的REPrecision软件在其中一个节律化环节的具体表现。大家可以看到用不同颜色编码的节律，看到这些节律如何重复或交替。
在使用节律动画作为音乐拼接的方式后，我们还需要使用额外的动画来融合，让节律动画之间的过渡更为顺畅。并且在音乐人没有演奏时，也需要提供闲置动画（比如聆听其他伙伴演奏）。最后，我们还为这些街头音乐人提供了一项额外特性，即当玩家在游戏中给音乐人小费，音乐人会鞠躬致谢。
最后，请允许我向这个游戏背后的团队执以谢意，包括游戏的叙事团队！如果没有他们，我们将无法创造一个如此生灵活现、栩栩如生的雅拉国度。
举例来说，游戏中的“雅拉口音”是我们与方言教练卡洛斯·迪亚兹打造了一个混合口音，融合了拉美裔口音特征，让玩家无法分辨这到底是来自古巴、多米尼加共和国，还是巴拿马。
希望大家有机会，一起去“雅拉”短暂独家，强烈推荐感受一番这片热情大陆上的风土人情！
