导读：
“清晨阳光明媚，鸟儿快乐地在树梢唱歌”，可能许多人都在小学作文里写过类似的句子。你是否好奇过：鸟儿为什么要唱歌？它们是生下来就会唱歌吗？它们唱歌的时候会不会在乎听众的感受？
这些问题看起来很幼稚，但有一群科学家，一直保持着这份好奇，通过研究鸟儿唱歌的行为，做出了非常有趣且深刻的发现，比如，雄鸟面对心仪的雌鸟，渴着也要唱歌。
科学研究中最难能可贵的就是理念上的进展（conceptual advance），也就是改变人们固有认知的发现。但大多数时候，它们并不是科学家一拍脑门想到的，而是对司空见惯的事物，提出了角度独特的问题，再加上技术上的进步（methodological advance），才能在既有框架上有所突破。
这个过程中有激动人心的时刻，也有挫败、迂回和坚持。本文要讲的就是发生在作者实验室的一个例子。
赵志磊 ｜ 撰文
鸟儿唱歌有多神奇？鸟儿为什么要唱歌，这个问题不妨换一个角度：小猫会喵喵，小狗会汪汪，但是它们为什么就不会唱歌？其实不止小猫小狗，地球上绝大多数动物都不会唱歌。因为不同于喵喵或汪汪这样简单的叫声，唱歌需要精确控制发声器官，来产生在频率维度（音调）和时间维度（节奏）上复杂变化的声音模式。
这样的能力并非与生俱来，需要后天学习来获得。一个物种需要具备语音学习（vocal production learning）的能力，也就是通过学习来改变自身发音的能力，才能学会唱歌。
在几百万种动物里，目前公认只有八类动物具备语音学习的能力，包括五类哺乳动物：人类、大象、蝙蝠、鲸目（鲸鱼海豚等）和鳍足类(海豹等），以及三类鸟：鸣禽（oscine songbirds）、鹦鹉和蜂鸟。
为什么只有这些动物能够语音学习，它们的大脑有何独特之处，就成了非常有趣的科研问题。但这和我们日常生活有什么关系呢？关系其实非常密切，因为人类最重要的行为——语言，就是建立在语音学习的基础上的。我们小时候听到大人说话，就咿咿呀呀地跟着模仿，这就是语音学习。假如我们的祖先没有进化出语音学习的能力，那么语言和文明可能就不存在了，我们现在也许只能通过手势和表情来交流。
研究的主角：珍珠鸟这几类动物中，只有鸟类是比较适合在实验室里饲养的，也就自然而然地成了研究语音学习的模式生物。其中最主要的就是鸣禽类的珍珠鸟（zebra finch）。
图1：珍珠鸟 | 来源
珍珠鸟的体型非常小巧，成鸟只有十多克重。作家冯骥才曾写过一篇随笔来记录他饲养的珍珠鸟，说它们的叫声“笛儿般又细又亮”。它们语音学习的行为非常清晰明确，这也是研究者选中这个物种的一个原因。
珍珠鸟只有雄鸟会唱歌，因为它们需要通过唱歌向雌鸟表达爱意。当然，雄鸟并不是生下来就会唱歌，幼鸟要从已经会唱歌的成鸟，通常是父鸟那里学唱首歌。它们学习的过程持续大约三个月，可以分为几个阶段：最开始的时候幼鸟只是在认真地听，把父鸟唱的歌记在脑子里；到一个月左右大的时候，它们开始牙牙学语（babbling），发出一些随机的声音；在接下来的两个月里，它们不断练习调整，歌声也越来越规律、越来越像父鸟唱的歌；到三个月大的时候，它们的歌声就固化了（crystalized），余生都少有变化。
图2：珍珠鸟学习唱歌的不同阶段 | 来源
大家可以看到，珍珠鸟学唱歌的过程，其实就是人类小孩学说话的简化版。因此研究这个过程中它们的大脑如何逐步实现语音学习的目标，可以帮助理解我们的大脑是如何学习语言的。
未解之谜我们在学外语的时候总会碰到一个问题：怎么评估我们刚刚的发音是好是坏？珍珠鸟在学唱歌的时候也会遇到同样的问题，而这也是语音学习的核心问题。因为不断练习调整发音的过程，其实就是一个不断试错（trial-and-error）的过程：好的发音继续保持，坏的发音立即更改。
但幼鸟的“外语老师”是没有“责任心”的，它们只提供歌声的模板，并不会监测幼鸟的发音并提出指导意见。幼鸟学唱歌是自发的，它们必须自己评估发音的好坏并做出调整。评估是否及时与准确，直接决定了语音学习的速度和质量。
这个评估机制在大脑中是如何实现的，一直是未解之谜。
与哺乳动物的大脑不同，鸟脑中没有明显的皮层结构，而是由核团（nuclei），一团团具有相似生物学特性和功能的神经细胞，相互连接组成。珍珠鸟的大脑中有一整套复杂的唱歌核团系统（song system），来实现语音学习，而不会唱歌的鸟则没有这套核团。
图3：珍珠鸟脑中的唱歌核团系统
但这套系统中具体由哪个部分来负责评估唱歌发音的好坏？对此研究者提出了不同的假说，但一直没有实质性的进展。难点在于传统的方法，比如人为损坏唱歌核团中的一部分，并不能很好地回答这个问题，因为最后观察到的实验结果就是珍珠鸟失去了学习唱歌的能力，并不能特异性地证明是评估系统出了问题。
这个问题的解决需要新的实验范式。
“我真的唱错了？”直到2007年，加州大学旧金山分校的Michael Brainard实验室发表了一个非常巧妙的方法。这个方法采取的是一个迂回的策略。
首先，虽然唱歌学习主要发生在幼年阶段，但是幼鸟的歌声太不规律、变化太快了，很难去定量地刻画和研究。之前提到，珍珠鸟的歌声在三个月左右就会固化，但之后并不是一成不变，也会有细微的变化。研究者推断成鸟歌声中的这些细微变化，和幼鸟学唱歌时的快速变化，在大脑机理上可能有一定的共性，因此或许可以在成鸟中研究语音学习。因为成鸟的歌声很规律，实验可操作性就大大提高了。
其次，对于评估系统，最重要的信息就是它对于唱歌发音的好和坏是如何反应的。也就是说，研究者需要比较鸟儿唱对或唱错时这个评估系统的反应。但是已经学会唱歌的成鸟，几乎不会犯错。那要怎么研究？接下来就是整个方法的精髓：我们或许可以人为创造条件来让正在唱歌的鸟儿误以为自己唱错了！
具体操作是这样的：研究者通过麦克风记录鸟儿的歌声，然后使用算法进行实时分析，当它刚开始唱到某个特定音节时，设定一个阈值，如果音节的起始频率低于阈值，就立即通过扬声器播放一个很短的噪声，让鸟儿误以为自己刚刚唱错了；如果频率高于阈值，就跳过噪声的播放。研究者惊喜地发现，即使是歌声已经固化的成鸟也会逐步提高唱这个音节时的频率，以减少“被唱错”的次数。这说明它们对刚刚唱的音节进行了评估，并在接下来的练习里根据反馈做出了调整。
强化学习
有了这样可控的实验方法，寻找评估唱歌质量的核团就有了清晰的思路：这个核团应该在“被唱错”和“被唱对”时有完全不同的反应。虽然思路清晰了，但是具体的发现过程却也充满了曲折。
研究者首先把目标放在了最被寄予厚望的一个核团（LMAN）。早期的研究发现如果LMAN受损，成鸟的唱歌能力不受影响，但是幼鸟会失去学习唱歌的能力，说明LMAN与学习过程中的某一个环节有关。但是当研究者使用这个新的实验范式，通过电极记录LMAN的神经活动时，发现在“被唱错”和“被唱对”两种条件下并没有显著的差异，说明它的主要功能并不是评估唱歌的质量。
LMAN被排除之后，需要新的思路。这时候一些大胆的联想和类比起了关键作用。有学者指出虽然鸟儿学唱歌的行为很特别，但它的本质可能类似于另外一个学习算法——强化学习（reinforcement learning）。强化学习指的是个体通过不断试错来让自己的行为得到最大的奖励值。这种学习方式很普遍，比如我们训练狗狗“坐下”，它刚开始听到我们的指令时可能不知所措，会做出各种动作，尝试几次之后可能碰巧做对了，得到了我们的奖励。慢慢地它就会把“坐下”的指令和动作关联起来，让自己得到最多的奖励。
鸟儿学唱歌可能也类似：它们不断尝试新的发音，直到某个发音和记忆中的模板相匹配。然而细心的读者可能立刻就会注意到这两者的关键区别：狗狗学动作是为了得到外部（我们）的奖励，鸟儿学唱歌时可能会对自己的某个发音“感到满意”，但是并没有得到外部的奖励。
其实我们日常生活中很多行为都像鸟儿学唱歌一样，是由内在动力驱动的，没有外部的奖励。在这种情况下，强化学习的方式是否还适用就成了一个普遍且重要的问题。
多巴胺评估唱歌质量当时已经知道，由外部奖励驱动的强化学习在大脑中主要是由多巴胺系统介导的。大名鼎鼎的多巴胺被称为“快乐分子”，因为它常常和各种奖励联系在一起。饿的时候吃到好吃的，渴的时候喝到水，甚至是愉快的社交活动，都会引发多巴胺的释放。1998年Wolfram Schultz发表的经典实验表明，多巴胺神经元负责计算奖励预期误差（reward prediction error）：当实际得到的奖励比预期中要多时就会增加多巴胺的释放，反之就会减少释放，从而达到强化学习的目的。
那么当没有外部奖励时，多巴胺是否还会参与到学习中呢？
2011年Jesse Goldberg和他当时的导师Michale Fee大胆提出，珍珠鸟唱歌核团中的多巴胺神经元可能就是那个大家久久寻之而不得的评估系统。具体来说，这些位于中脑的多巴胺神经元，会把轴突投射到纹状体（striatum）中的核团Area X，根据唱歌发音的好坏来释放多巴胺，指导发音的练习和调整。
这个假设理论上是可行的，但是缺乏实打实的证据。当时Jesse刚刚结束博士后训练，来到康奈尔大学建立自己的实验室。刚独立的研究者一般倾向于风险较小的课题来站稳脚跟，他却决定把研究多巴胺在唱歌学习中的作用作为一个主攻方向，让自己的第一个博士后Vikram Gadagkar来做这个课题。更为有趣的是，Vikram是物理学博士，之前并没有受过系统的生物学训练。
这是一个很有挑战性的课题：他们需要使用电生理记录珍珠鸟“被唱错”和“被唱对”时多巴胺神经元的活动，并且不是任意的、而是专门投射到Area X的多巴胺神经元。因为多巴胺神经元有多样性，会投射到不同的脑区，发挥不同的功能，而他们关心的是和学习唱歌相关的亚群。
电生理实验常常被比喻为“钓鱼”，因为电极就像鱼竿，进入脑中后多少神经元愿意“上钩”有运气成分。他们要做的实验则更为困难。做个类比，假如一个小湖有好几条支流汇入，他们要做的不仅是把湖中的鱼钓上来，而且还得是来自特定支流的鱼。怎么确定某条鱼来自特定的支流？可以往某条支流里扔个“石头”，再把那些受惊吓刺激游到湖里的鱼给钓上来。这样的难度可想而知。
在接下来的几年时间里，Vikram在实验小屋里孜孜不倦地“钓”珍珠鸟脑中的多巴胺神经元，常常是连续几个星期没有任何收获。但是功夫不负有心人，他最终记录到了十四个特定投射到Area X的多巴胺神经元。令人欣喜的是，这些神经元在珍珠鸟“被唱错”时活动减弱，而在“被唱对”时活动增强，和理论预测完全一致，说明多巴胺负责评估唱歌发音的质量。研究者在数十年的苦寻之后，终于找到了鸟儿脑中的这个评估系统！
这费尽周折得到的十四个神经元，不仅让论文得以于2016年在杂志发表，更重要的是推动了理念上的进步——在此之前，人们只知道多巴胺介导由外部奖励驱动的强化学习，而这项研究证明它也负责评估内在驱动的行为的质量，为研究多巴胺的功能开拓了新的方向。
她说好才是真的好但是故事并没有到此就结束，一个问题的解决往往意味着新问题的开始。如果深入思考上文描述的结果，就会产生一个疑惑：我们的同一个行为，在某些时刻可能是内在驱动的，但是在另外的时刻却会受到外界评估，多巴胺系统能否针对同一行为灵活地切换不同的评价标准？
举例来说，我们学习一个外语发音，独自一人练习的时候会根据自己内在的标准来评价发音的好坏，从而进行调整，但是在老师面前展示的时候，老师的评估决定了我们应该怎么来调整发音。我们和老师的标准可能是不一致的，这就要求多巴胺系统根据不同的场景来切换评价标准。
珍珠鸟也面临同样的情景：雄鸟独自练习唱歌时会自己评估发音的好坏，但是在心仪的对象面前表演时，评估者变成了雌鸟，它们对听到的歌声是否满意成了最重要的评价标准，直接决定了雄鸟能否“脱单”。
因此多巴胺系统在练习和表演这两种模式下，对同一行为（唱歌）应该有不同的评价标准。在练习模式下，有没有唱错是关注点；但是在表演模式下，雌鸟怎么反应才是关注重点。
为了验证这个假设是否正确，Vikram和研究生Andrea Roeser首先记录了雄鸟独自练习时多巴胺神经元的活动，之后立刻把雌鸟放到它们面前，记录同一个多巴胺神经元在表演模式下的活动。这个切换需要很迅速，因为如果动作慢了，这个好不容易钓到的神经元可能“脱钩”了。
他们惊奇地发现，同一个多巴胺神经元居然能在很短时间内切换评价标准：在独自练习时，有没有唱错决定了多巴胺的释放，但是在雌鸟面前表演时，有没有唱错变得不重要了，多巴胺释放主要取决于雌鸟的反应。
雄鸟在唱歌求偶时仿佛心里在乎的只有雌鸟！自己内在的评价标准已经不重要了。那么外界的奖励呢？如果在雄鸟求偶的同时，给它们得到外部奖励的机会，它们怎么选？为了回答这个问题，Vikram和Andrea给正在唱歌求偶但是口渴的雄鸟喝水的机会，观察是喝水还是求偶更有吸引力。他们发现，在心仪的雌鸟面前，喝水也不重要了，渴着也要唱！
那么这个过程中，多巴胺的释放是怎么变化的呢？这个问题如果放在几年前会很难回答，因为需要长时间记录多巴胺的释放量。但是最近新技术的突破，让研究这个问题变得可能。更可喜的是这项突破主要是由北大李毓龙老师的实验室推动的，他们发明的荧光探针可以长时间记录多巴胺在不同行为下的释放。
Vikram和Andrea通过荧光记录的方法发现，在没有雌鸟时，喝水对口渴的雄鸟是一个很强的奖励，会决定多巴胺的释放，但是雌鸟一旦出现，喝水对多巴胺的刺激就显著下降了，取而代之的是雌鸟在雄鸟唱歌时候的反应！
图5：雌鸟出现后，喝水对多巴胺释放的刺激显著降低 | 来源：Roeser et al 2023
这些有趣的结果让我们窥探到多巴胺系统是多么的神奇：它不仅参与外部奖励驱动的强化学习，评估内在驱动的行为的质量，同时还能根据不同的行为场景灵活地切换评价标准。而这又是一个理念上的进展。这项耗时多年的研究于2023年9月27日发表于Nature杂志。
结语早期神经科学的发展得益于多样化的研究对象，之后逐步收拢于几种模式生物，而最近新技术的不断进步，使得研究对象的多样化成为一个新的趋势。相比于果蝇、小鼠和猴子这样的模式生物，研究鸟的行为和大脑的实验室要少得多。但是因为它们具有独特的行为，我们可以提出一些非常有趣的科研问题。研究这些有趣的行为和背后的大脑机制，可能会提供更普适的、超越这个物种本身的洞见，就像本文所展示的那样。
作者简介：
赵志磊，康奈尔大学神经生物学与行为学系博士后，研究鹦鹉学习语言的神经机理。
参考文献：
1. Fee, M. S., & Goldberg, J. H. (2011). A hypothesis for basal ganglia-dependent reinforcement learning in the songbird. Neuroscience,198, 152–170.
2. Gadagkar, V., Puzerey, P. A., Chen, R., Baird-Daniel, E., Farhang, A. R., & Goldberg, J. H. (2016). Dopamine neurons encode performance error in singing birds.Science,354(6317), 1278–1282.
3. Jarvis, E. D. (2019). Evolution of vocal learning and spoken language.Science,366(6461), 50–54.
4. Roeser, A., Gadagkar, V., Das, A., Puzerey, P. A., Kardon, B., & Goldberg, J. H. (2023). Dopaminergic error signals retune to social feedback during courtship. Nature, 1–6.
5. Sánchez-Valpuesta, M., Suzuki, Y., Shibata, Y., Toji, N., Ji, Y., Afrin, N., Asogwa, C. N., Kojima, I., Mizuguchi, D., Kojima, S., Okanoya, K., Okado, H., Kobayashi, K., & Wada, K. (2019). Corticobasal ganglia projecting neurons are required for juvenile vocal learning but not for adult vocal plasticity in songbirds. Proceedings of the National Academy of Sciences of the United States of America, 116(45), 22833–22843.
6. Schultz, W. (1998). Predictive reward signal of dopamine neurons.Journal of Neurophysiology,80(1), 1–27.
7. Tumer, E. C., & Brainard, M. S. (2007). Performance variability enables adaptive plasticity of “crystallized” adult birdsong.Nature,450(7173), 1240–1244.
转载内容仅代表作者观点
不代表中科院物理所立场
如需转载请联系原公众号
来源：赛先生
编辑：雪影
