https://www.quantamagazine.org/how-claude-shannons-information-theory-invented-the-future-20201222/
David Tse
编译：文龙
科学是在寻求自然界的基本规律，数学是在原有定理的基础上寻找新的定理，工程学是在构建解决人类需求的系统。这三个学科虽相互依存但又截然不同。因此，很少有人能够同时为这三个学科做出重大贡献，而克劳德·香农（Claude Shannon）就是其中之一。你可能从未听过Claude Shannon这个名字，但我们现在所处的信息化时代背后的整个通信基础架构，正是基于他七十多年前发表的一篇富有开创性的论文。
1916年，Shannon在密歇根州出生，他的父母是当地的商人和教师。从密歇根大学获得电子工程和数学双学士学位后，Shannon进入麻省理工学院开始了研究生的学习。在其硕士论文中，他将布尔代数这一数学方法应用到电子领域中的开关电路的分析和综合问题中。正是这一变革性的工作，将电路设计从一门艺术变成了一门科学，被认为是数字电路的开端。
在此之后，Shannon将目光投向了一个更大的领域：通信。通信是人类最基本的需求之一。从烽火预警到飞鸽传书，再到电话、电视、网络的出现，人类一直在探索能够让信息传递得更远、更快、更可靠的通信方式。但是，无论哪种方式，通信系统总是与信号来源以及物理介质相关联。Shannon却想打破这一限制，探寻通信的大一统理论。他在1939年给导师Vannevar Bush的信中概述了自己的一些初步设想，并最终在1948年发表了著名的论文，“关于通信的数学理论（A Mathematical Theory of Communication）“。
Shannon通信模型的示意图，取自他的论文。
Shannon提出的理论的核心是一个简单却十分通用的通信模型：发送器将信息编码为信号，该信号会受噪声影响，然后由接收器解码。模型虽然简单但却包含了两个十分关键的要素：将信号源和噪声源从要设计的通信系统中剥离，并对这两个源分别进行概率建模。
在Shannon的理论提出之前，通信问题通常被视为确定性信号的重建问题：如何转换受物理介质扭曲的接收信号，以尽可能准确地重建原始信号。而Shannon的才智体现在他认为通信的关键是信号的不确定性。他假设信号源会生成许多种可能的信息进行通信，每条信息都有一定的概率；而概率噪声进一步增加了接收器解码的随机性。正是这一假设将通信问题从物理层面转移到了抽象的数学层面，使得Shannon可以使用概率对不确定性进行建模。所以不确定性才是通信的魅力。毕竟，如果我在写这篇专栏的时候你已经知道我要写什么了，那一切便失去了意义。
在这篇具有里程碑意义的论文中，Shannon分三部分系统地给出了通信的基本限制。有一个概念贯穿始终，那就是“bit（比特）”：用来描述不确定性的基本单位，可以是1或0。尽管Shannon表示这一单词是由数学家John Tukey（约翰·图基）在其备忘录中首先使用的，但他仍是第一个在论文中提出并使用这个词的人。
首先，Shannon提出了一个用于表示信息的每秒最小比特数的公式，他称之为entropy rate（熵率）， H。该数量化了特定信号源将生成哪种消息的不确定程度。熵率越低，不确定性就越小，因此更容易将信息压缩成更短的东西。例如，以每分钟100个英文字母的速度发短信意味着每分钟发送
条可能的消息，每条消息由100个字母序列表示。
，因此，人们可以将所有的这些可能性编码成470比特。如果序列的可能性相同，那么由Shannon的公式可以得出熵率是每分钟470比特。实际上，某些序列比其他序列出现的可能性要大得多，熵率也低得多，从而可以进行更大程度上的压缩。
其次，Shannon给出了一个可以在有噪声情况下进行可靠通信的每秒最大比特数的公式，他称之为系统的容量， C。该数表示接收器可以解析信息不确定性的最大速率，可以视为通信的速度极限。
最后，Shannon表示，只有当H<C时，来自信号源的信息才能在有噪声的情况下进行可靠的通信。我们可以将信息类比成水流，只有当水流的流速小于管道的容量时，水流才能在管道内正常地流通，信息也是一样。
Shannon在工作中也有好玩的一面，图为Shannon与他为电子鼠建造的迷宫（Theseus）的合影
以上理论虽然是一种通信理论，但同时也是信息产生和传输的理论。因此，Shannon也被认为是"信息论之父"。
Shannon的理论也得出了一些与直觉相悖的结论。假设你在一个非常嘈杂的环境说话，确保你的信息传达的最佳方法是什么？你的第一反应或许是重复多次，但事实证明，这不是很有效。当然，重复的次数越多，信息传达越可靠。但是，为了可靠性，你牺牲了速度。Shannon的理论告诉我们：重复信息是使用代码传输信息的示例，通过使用不同且更复杂的代码，可以在保持给定可靠性的同时快速通信（直到达到速度极限C）。实际上，目前推出的5G标准使用的是两套实用的代码，证实可以达到Shannon的速度极限。
Shannon的理论得出的另一个结论是，无论信息的性质是什么，在传输之前，将其编码为比特总是最有效的。因此，在无线电系统中，即使原始声音和通过空中发送的电磁信号都是模拟波形式，Shannon的理论告诉我们，最好先将声波数字化成比特，然后再将这些比特映射到电磁波中。这一意想不到的结论正是现代数字信息时代的基石，在这个时代，比特早已成为信息的通用货币。
Shannon是一名科学家，他的理论像物理定律一样具有根本性；Shannon也是一名数学家，他创造了新的数学概念来阐述通信原理，并且这些思想已广泛应用于数学的其他分支当中；Shannon更是一名工程师，他的理论是受到实际的工程问题的启发，并且这一理论已经成为现代通信系统的基础框架。
尽管Shannon于2001年去世，但他遗留的财富仍然存在于构成我们现代世界的技术和他创造的设备（如图中这种远程控制线）中。
“最好的研究是修剪已有的知识树而不是去发展它。”尽管在70多年前，Shannon的理论对于绝大部分工程师来说是难以理解的，但是现在，这一理论已经成为现代通信系统的基础框架。他是如何做到的呢？通过坚持不懈地专注于问题的基本特征，而不是问题的各个方面；通过专注于可能的事情，而不是立即可行的事情。Shannon这一统一工作将通信领域的知识枝条修剪成了一棵连贯且整齐的知识树，为后面几代科学家、数学家、工程师带来了累累硕果。
