科学 |你已经知道比特币，但你知道“比特”是从哪里来的吗？

编者按：本文来自链闻，作者：老练哥。 36氪获授权发布。

克劳德·艾尔伍德·香农，人称香农，美国数学家、电子工程师和密码学家，被誉为信息论的奠基人，在智力上与爱因斯坦和牛顿相当。但你可能不知道的是，托马斯·阿尔瓦·爱迪生是爱迪生的远房亲戚，爱迪生的祖父发明了洗衣机和许多农业机械。

克劳德·埃尔伍德·香农于 1916 年 4 月 30 日出生于美国密歇根州的盖洛德。他从小就对密码学很感兴趣，尤其是埃德加·爱伦·坡的短篇小说《The Gold Bug》翻译成中文为“The Gold Bug”，破译了一张神秘的地图，主人公找到了宝藏。

Claude Elwood Shannon，1916-2001，被认为是有史以来最伟大的电气工程英雄之一，Stanley Rowin 摄

他最著名和最有影响力的论文是《通信的数学理论》，它是信息论的基础工作，准确地定义了信源编码和信道编码的概念。然而，这幅宏伟的作品在当时也遭到了拒绝。审稿人的回复大致是：电报已经存在一百年了，没有什么可以继续突破的。我劝作者试着研究一下刚刚出现的电视。

给编辑的机密评论：

这篇论文唯一绝对错误的地方是它与研究界认为令人兴奋的内容并没有完全“共鸣”。在任何时候，都有性感的话题和不性感的话题：

如今，电视很性感，彩色电视更性感。符号数量有限的离散信道对电报很有用，但电报已有 100 年的历史，算不上一个好的研究课题。

“通信的数学理论”没有评论者的回应

事实上，我们一直生活在 Claude Elwood Shannon 的信息论的影响下。但是你有没有想过，你真的了解信息“信息”吗？你可能通过比特币了解比特，或者你可能听说过比特，但你知道比特是最小的信息单位吗？

香农和图灵，人工智能的思想

二战期间，克劳德·埃尔伍德·香农加入贝尔实验室，研究火控系统和密码学，相关课题由国防研究委员会直接领导。

在贝尔实验室，他与信息技术史上的另外两位先驱 Barney Oliver 和 John Pierce 保持着良好的关系，因为他周围都是他钦佩的高度聪明、富有创造力的人 Shannon。从这个过程中受益，变得更聪明、更有创造力。也可以看出，克劳德·艾尔伍德·香农对友谊的态度主要是看内容，而不仅仅是关系。

贝尔实验室的克劳德·埃尔伍德·香农

1943年，英国数学家、密码学家艾伦·图灵前往华盛顿与美国海军交换破译德国北大西洋潜艇舰队密码的结果，并参观了贝尔实验室。二战期间，图灵和香农都负责通信的加密和解密。

期间，图灵和香农进行了热烈的知识交流，讨论了人工思维机器的想法，这与我们今天所说的人工智能很接近。图灵向香农介绍了通用图灵机的概念，香农告诉图灵，他不仅满足于将数据输入到这个“大脑”中，还希望给它灌输文化的东西。这个不可思议的想法连图灵都震惊了。

图灵比香农大 4 岁。

信息，从情报到信息

“信息论”信息论，即“信息论”。信息极大地释放了人类的能量，创造的价值超过了前五千年财富的总和，但“信息”仍然是一个熟悉而又模糊的词。

克劳德·埃尔伍德·香农对信息论的巨大贡献在于，信息量可以用数学公式严格定义，反映了信息表达的统计特性。

20世纪初，信息的载体无处不在。信件、电话、声音和图像，信息在世界各地源源不断地流动。根据美国人口普查局的数据，截至 1948 年，每天有 1.25 亿个电话通过 2.22 亿公里的电缆和 3100 万部电话在美国传输。还有 3186 个广播电台、15000 份报纸和 4000 亿封信件。

信息流这么多，应该如何衡量信息？邮局可以对信件和包裹进行计数，但是贝尔系统传输的信息应该以什么单位进行计数呢？当时没有一个词可以准确地概括所有这些事情。在 1939 年给 Vannevar Bush 的一封信中，Claude Elwood Shannon 提到他正在间歇性地研究一般系统中信息智能的一些基本属性。

谈及智能一词，托马斯·埃利奥特爵士在 16 世纪总结道，“智能是通过相互交换信件或文字达成的协议或协议的优雅术语”。但现在我们指的是与当时所谓的智能越来越不同的信息。

1948 年 7 月贝尔科学杂志，C. E. Shannon “数学传播理论”

后来，一些贝尔实验室的工程师开始更多地使用信息一词来表达一些技术概念，例如信息量、度量等。克劳德·埃尔伍德·香农就是其中之一，后来在《信息论》中采用了信息一词”。从此，信息逐渐成为主流。

回首过去，当物理学的发展遇到瓶颈时，牛顿也重新定义了一些传统但定义模糊的术语，如力、时间、质量等，开启了物理学的新纪元。是牛顿将这些词量化并放入数学公式中。

那么，如何将信息放入数学公式中？

定义了信息单元“Bit”

传播学是系统研究信息论的第一门学科。在信息论提出之前，数字通信发展中的一些重大事件：

1837，莫尔斯：电报；

1875，Emile Baudot：定长电报码；

1924, Nyquist: 给定带宽电报信道上没有符号间干扰的最大可用信号速率；

1939-1942，Kolmogorov 和 Wiener：最好的线性 Kolmogorov-Wiener 滤波器；

1947，Kotelnikov：基于几何方法的各种相干解调。

1948年，贝尔实验室：研制出小型电子半导体器件“晶体管”； Claude Elwood Shannon 发表了一篇专题论文“通信的数学理论”。

一种非常简单的“晶体管”设备，比真空管更高效，更小且更易于集成。 “晶体管”这个名称是由跨导（transconductance）和压敏电阻（varistor（varistor））两个词组合而成，至今仍在使用。贝尔实验室表示，“晶体管”将对电子和电信行业产生深远的影响。然后，晶体管引发了电子领域的科学革命，半导体技术已经小型化和普及化。但这只是这场电子工业革命的硬件部分。

“晶体管”晶体管的发明者威廉·布拉德福德·肖克利、约翰·巴丁和沃尔特·布拉顿获得了 1956 年诺贝尔物理学奖

同样是在 1948 年，克劳德·埃尔伍德·香农的专着“通信的数学理论”可能具有更大的价值。该论文的唯一作者，32 岁的 Claude Elwood Shannon 自己定义了一个新词——bit“位”。

Claude Elwood Shannon 认为，信息与长度和重量等物理属性一样是可测量和可指定的。如今，比特作为衡量信息量的单位，与米、公斤、分钟并列为什么发明比特币，成为日常生活中最常见的维度之一。

如果以比特来衡量，人们会发现信息几乎无处不在。比特比特的出现后来导致了计算机、网络、摩尔定律，以及今天发达的信息产业、比特币和区块链。

同时，Claude Elwood Shannon 提出使用熵熵来量化衡量信息的大小，并为信息编码提供了理论上的最优值。

他从理论上证明，只要通信速率低于信道容量，总能找到一种使误码概率接近于零的编码方法。信道容量可以根据信道的带宽和噪声特性通过香农公式简单计算。这一结论震惊了整个传播理论界，并从此开创了“信息论”这一伟大学科。

克劳德·艾尔伍德·香农骑着独轮车

密码学从艺术走向科学

1949年，克劳德·埃尔伍德·香农根据他1945年在贝尔实验室完成的机密报告《密码学的数学理论》发表了《保密系统的通信理论》一文，开辟了用信息论研究的新思路密码学。据《波士顿环球报》报道，“这一发现将密码学从艺术变成了科学。”论文发表后，香农被美国政府聘为政府密码顾问。

“密码学的数学理论”

让克劳德·埃尔伍德·香农成为现代密码学的创始人和先驱

可以说，《保密系统的通信理论》奠定了现代密码学理论的基础。他提出，“从密码分析家的角度来看，安全系统几乎是一个通信系统”。密码系统中消息加密的作用类似于消息中的噪声。密钥的随机性就是密钥。

这使得“信息论”成为密码学研究和分析的重要理论基础，密码学从艺术走向科学。通信系统中的信息传输、处理、检测和接收过程，密码系统中的加密、解密、分析和解密过程，都可以从信息论的角度进行统一的分析和研究。

Claude Elwood Shannon 曾在论文中指出，高质量密码系统的设计问题，本质上就是要找到一个难题的解决方案，因此破译一个密码就相当于解决一个已知的数学问题。受此思想启发为什么发明比特币，Bailey W. Diffie 和 Martin E. Hellman 于 1976 年在《IEEE Transactions on Information Theory》上发表论文《密码学的新方向》，解释密码学的新方向，同时标志着密码学的诞生。公钥密码学、Diffie 和 Hellman 也在 2016 年获得了图灵奖。

在铁器时代和蒸汽时代之后，人们进入了信息时代。马歇尔·麦克卢汉（Marshall McLuhan）在 1964 年评论说：人们曾经靠收集食物为生，现在他们又开始收集信息了。信息远不止限于通信行业，已经渗透到各个科学领域。

正如著名信息论学者理查德·布拉胡特在两三百年后美国密歇根州盖洛德香农雕像落成典礼上所说的那样，当人们回顾我们的时代时，他们可能不会记得谁是美国总统，谁是电影明星，谁是歌手。但可能知道 Shannon Shannon，因为“信息论”仍在学校教授。