用一个数字衡量惊讶
一枚硬币、一个市场,或者一片雨林,到底该让你多惊讶?
Shannon(1948)给了我们一个数,一次回答三个问题。单位是比特。
下面是一台小机器。四根彩色柱子是四种结果的概率。 抓住任一根柱子上下拖 —— 你就在改写几率。样本会立刻开始喷出。 每颗弹出的彩色小球上方会显示一个“+1.42 比特”的小牌: 那就是这个样本该让你惊讶多少。稀有的事件弹出时牌子更大。 许多样本之后,平均牌子大小就是 Shannon 所说的 熵 —— 一个用比特计量的数字,回答“这个过程有多不可预测”。
拖动柱子 · 看每次采样带来的惊讶
同样的数学,第二份工作 —— 多样性
生态学家把它叫做 Shannon–Wiener 指数,用来给一片森林的物种多样性打分。 经济学家把 $e^H$ 叫做有效品牌数,用来衡量市场的多样性。 同一个公式,三种术语。一个纯松林的熵接近零;一片雨林的熵接近 $\log_2 K$。 一家品牌独大?低。所有生态位均匀被填满?高。
同样的数学,第三份工作 —— 一个数把所有模型归入四类
观察任何东西足够久 —— 钟表、市场、流体、生态系统 —— Stephen Wolfram(2002)注意到你一定会看到四种长期行为之一。 熵就是把它们区分开的那把尺子。与其在这里给你证明,不如在最简单的游乐场里直接看: 一行像素,按一条小规则演化。
这个像素世界怎么运转。顶上一排是黑白格子。每一步,每个格子看 自己和它的两个邻居 —— 共三格。规则查表:“看到这个 3 格图样时,我该变成什么颜色?” 然后所有格子同时套用。像素行像一匹布被织下去:不同的规则 → 不同的布料。
下面是四个这样的像素世界,并排运行。它们都用你刚读到的设定 —— 三格进,一格出 —— 只是查表的规则不同。看每条规则生出什么样子,别只盯着数字。
四条规则 · 四种命运 · 实时播放
现在,设计你自己的规则
那么“规则”到底是什么?一张查找表。恰好有 8 种可能的三格输入图样 —— 从 ░░░(全灭)到 ▓▓▓(全亮)。 对每种图样,规则说“输出亮”还是“输出灭”。所以一条规则就是 8 个是/否选择 —— 总共 2⁸ = 256 条规则。 大多数制造混乱。少数制造静止。极少数会制造出没人见过第二次的结构。
下面就是你的查找表。点击 8 个输出格子中的任意一个翻转它。 实时看着你的自定义规则跑出来。或按一下预设 —— 它们就是上面那四种命运背后的规则。
设计一条 3 格规则 · 点任一输出翻转它
或浏览画廊 —— 点任意一格
熵出现在哪里
文件压缩(低熵语言每符号用更少比特)、密码学(不可预测性 = 安全性)、 机器学习(交叉熵几乎是每个分类器的损失函数)、物理学(Boltzmann 的版本和 Shannon 的只差单位)、 生态与反垄断中的多样性度量。一个数。无处不在。
相关模型
- 🎮 生命游戏与局部多数 — 把四类故事用 2D 元胞自动机讲一遍,而不是用 1D 规则。
- 🔔 正态分布 / 中心极限定理 — 给定均值和方差,正态分布是最大熵。三个经典最大熵答案之一。
- 🚶 随机漫步 — 漫步者位置的熵正好以 √t 增长,这正是随机漫步模型的核心结果。
