熵是什么意思 怎么读(熵是什么意思)

能否尽量通俗地解释什么叫做熵？

标签： 熵

物理学上最高最牛一个字的概念：熵。

熵是什么概念呢？

“熵”是一种无序程度的量度，意思是越混乱越无规律熵值就越大，反之熵值越小。举个例子：一个环境温度20摄氏度，白水温度20摄氏度，蓝钢笔水20摄氏度。然后把蓝钢笔水滴一滴到白水烧杯中，你将看到慢慢的蓝钢笔水散开了，最后，整个烧杯的白水都变蓝了，而且是均匀的。熵——就是表达这样一个分布程度的量。你可以把蓝钢笔水看做是能量，把能量注入系统后，能量向均匀分布方向发展，这时候熵增大。

如果我们把全过程录像后倒着播放（反着播放），就可以看到蓝色在聚集，最后成一滴，这就是熵在减少——这样的情况是不会发生的。不论正着播放还是反着播放，假设整个过程有60秒，每10秒为一个阶段，我们就有6个状态，熵就是用数字的形式描述这6个状态的量。

生命与负熵

热力学第二定律说道,在孤立的热力学系统中,系统的熵永不减少.无数的自然现象都在印证着熵增原理的正确性.生命现象却是个例外，生命是一个总是维持低熵的奇迹。一个生命，在它活着的时候，总是保持着一种高度有序的状态，各个器官各个细胞的运作井井有条。其秘诀是它与外界的物质能量交换，即新陈代谢。新陈代谢的本质是什么呢？答案是：从环境中不断地吸取负熵，生命以负熵为生。负熵就是熵的对立，熵代表的是无序，而负熵表示的是有序。

熵的概念源自热力学，用于表征系统的无序度（或说混乱度）。无序度越高，熵越大，系统也越稳定。在热力学中，无序是指系统所能达到的不同微观状态的数量，因为系统有一个特定的组成、体积、能量、压力和温度。

热力学第二定律表明，孤立系统总是存在从高有序度转变成低有序度的趋势，此即为熵增原理。例如，打碎的玻璃无法复原、墨水滴入清水中会逐渐分散、鲜花开放会使周围香气四溢。这些自发过程都是不可逆的，系统的混乱度会变高，即熵会增加。按照熵的定义，同一种物质在不同状态所具有的熵是以如下的顺序排列：气态>>液态>>固态。

此外，温度也会影响系统的熵。举个例子，用火加热水壶中的水，不久后，水就会沸腾。本质上，火的热量使水分子的热运动加剧。如果热源被移走，水会自发地冷却到室温。这也是由熵增引起的，因为水分子倾向于消耗掉所积累的势能，从而会把热量释放掉，最后处于一种较低势能的状态。

我们知道，从大爆炸以来，宇宙一直在不断膨胀。如果我们的宇宙是一个孤立的系统，由于熵增原理，宇宙的无序度会随着膨胀而逐渐增加。在一定的时间之后，熵增加到最大，宇宙的无序度达到最大，最终整个宇宙达到热平衡的状态，一切演化全部终止，这是宇宙的可能归宿之一，即热寂。然而，如果宇宙中存在某种机制能够使熵减少，比如真空中的随机量子涨落，宇宙最终可能又会回到最初的奇点，进而再次大爆炸。

循着传统教科书的思路讲述熵会令人迷茫，我试图从最通俗的角度来介绍熵。

大家知道，人类有一个时期曾热衷于发明“永动机”，遭遇无数次失败后才领悟到，自然界有一条坎--能量守恒，要发明一旦启动后不需再输入能量而能源源不断对外输出功的机器是不可能的。

那么，不超越这条坎，我遵循能量守恒是不是就一定可以成功了呐？或者换一种说法：自然界中除了能量守恒外是否还有其他不能逾越的坎呢？

我们先来设想一下：我们如果能发明一种机器，能从一个系统吸取热量把它转化为功，例如，让它从一个大箱子中吸取热量，转化为功来带动洗衣机运转，这不违背能量守恒。如果能成功，这个大箱子就是一台不耗电的冰箱，洗衣机也不需消耗电能来驱动，这样的好事白痴也知道不可能。再例如：我们能不能设计这样一种机器，它能从温度较低的系统A(譬如你的房间)吸取热量，送入温度较高的系统B(譬如热水器)，这并不违背能量守恒，但如果能成功，你就获得了不耗电的空调和热水器。

这种异想天开的主意再善于空想的人都不会有，因为人类早就领悟到，自然过程是有方向性的，日如热量会自发地从高温系统传输向低温系统而不是相反、摩擦会生热(功自发转化为热量)而不是相反。这种会自发发生的过程我们称之为“正过程”，反方向的则称为“逆过程”。

一般地说，逆过程是不会自发发生的。或者，更严格地说，逆过程不是绝不可能发生，而是不会单独发生。蒸汽机、内燃机不是就是把热转化为功吗？只是它不能把从锅炉或气缸中吸取的热量全部转化为功，而是必须把大部分热量释放到温度较低的环境中。即“热转化为功”这个逆过程必须捆绑一个“把热量从高温系统传输到低温系统”这个正过程才可能发生；同样，把热量从温度较低的系统抽送到温度较高的系统也是可以的，譬如空调、冰箱，但这必须用电或其他动力驱动制冷机(外界作功，这些功最后变成热)。也就是说，要想完成把热量从低温系统送入高温系统这个逆过程，必须捆绑一个把功变成热的正过程才能实现。

进一步的思考和研究表明，捆绑的正过程必须强于我们需要的逆过程，使得捆绑后的总过程还是正过程，这样目标才能实现。这里有一个问题：如何判断一个过程的强弱呢？

物理学家发现，一个热力学系统处在某一状态，就具有与这个状态对应的量(状态函数)--熵，状态变化了，系统的熵也改变。系统发生正过程它的熵增加，逆过程熵减少。在封闭系统内发生的过程，只能朝熵增加的方向发展。或者换种更通俗的说法：任何变化过程中，与这个变化有关的所有物体的总熵只会增加。

到这时，人们对熵的认识是系统的每一个状态对应着一个量(状态函数)--熵，它决定着系统能向哪个方向发展。这就像重力场中的物体处在某一个位置，都对应着一个量(状态函数)--势能，它决定着这个物体能够向哪个方向运动。

熵是一个新的概念，中文中原来也没有相对应的字。由于熵的计算由热量与系统温度相除所得的商有关，所以物理学家就创造了一个新字“熵”，意思是与热量与温度的商有关，又因为这是热学中的一个概念，所以加上火字傍。

到这里，人们主要关注的是系统状态变化后熵的改变量，但它处在某状态是熵到底是多少？其更本质的物理意义是什么呢？

与物理学的其他分支不同，热学其实有从不同的出发点建立的两套理论：一是热力学，这是从宏观角度出发，观察测量系统的宏观参量从而总结出其中的规律；另一套理论从宏观系统都是由大量作不规则运动的分子组成，显然我们不能精准地跟踪所有分子的运动，但可以用统计方法加以研究，从而得出系统在宏观上应该表现出的规律，这套理论叫“统计物理学”(他的初级课程即分子运动论)。要了解熵的本质，必须从微观入手。

有个叫布尔兹曼的科学家研究后认为，一个宏观热力学系统的熵与它所包含的微观态数量有关，所包含微观态个数越多，系统的熵就越大。因为系统包含的微观态数量越多，系统就越“混乱”，所以可把熵称作表征系统混乱(无序)程度的物理量。

任意一个热力循环，用一系列定熵线（直白点也叫绝热线，尽管二者有不同）分割成很多小循环，当定熵线的数量趋于无穷时，这些小循环都可以近似成卡诺循环，因为相邻定熵线之间的过程近似为定温过程，两个定温过程和两个定熵过程组成卡诺循环。对每一个小循环写出热效率，由于是任意循环，存在不可逆因素，所以热效率一定小于卡诺效率，整理成热量除以温度，并且按符号规则写出，都变成加号，对整个循环求和，也就是对循环路径积分，所有的定熵线在积分时正反向互相抵消，最后得到：循环微元热量与温度的商对循环路径的积分小于等于0，当且仅当循环可逆时取等。可逆时，对循环路径的积分等于0，这一点满足状态参数的充要条件，于是把微元热量与温度的比值，δq/T，定义为熵，是一个状态参数，即只取决于工质的状态。物理意义是系统混乱程度的度量。

翩若惊鸿的惊艳女孩名字，让你一眼就心动

俗话说，人如其名，可见名字对一个人的重要性，特别是对于女孩来说，名字不仅能彰显自己的外在气质，而且还能给自己的形象加分。那今天本着只为一个好名字的起名网就为大家推荐一些翩若惊鸿的惊艳女孩名字，不知道你最喜欢的是哪一个呢？

晚舒

“晚”字是指夜晚，当这个字用作人名时，既可以指女孩美丽贤淑、温文尔雅，又还有青出于蓝的寓意。“舒”字代表着伸展、舒展的意思，从字义上看，为孩子起这个字，是希望其以后能够生活得开开心心，过着安然恬静、无忧无虑的生活。

浅伊

“浅”出自“低吟浅唱”中，这个字的本意是淡的意思，当用作人名时，可以用来形容温婉动人的女孩。，在诗词中，“所谓伊人在水一方”，是我们对女孩的描述，所以，“伊”字很有气质，可以用来形容身姿美丽，举止文雅的女孩。所以，“浅伊”适合女孩取名。

诗暮

“诗暮”中的诗字是出自“诗礼之家”中，所以，这个字可以指出生在书香门第的女孩，既有良好的家教，又有美好的气质。“暮”字出自“暮礼晨参”中，这个字指的是晚上，因此，这个字很有意境感。因此，“诗暮”这个名字不仅有诗意感，而且很符合女孩形象。

月西

“月”是指皎洁的月亮，是一个与女孩相关的字，当这个字用来形容女孩时，是爱与美的象征，也可以形容女孩冰清玉洁、美丽动人。“西”字本义是方向的意思，并且这个字寓意也很好，寓指威名远播、大家风范。所以，这个名字不仅很美，而且还很有气度。

锦宜

“锦”是鲜艳华美的意思，所以，把这个字用在起名上，可以指孩子未来不仅生活富足，而且前程似锦，是一个很有寓意的字。“宜”是适当和合适的意思，也有温和的意思，因此，这个字可以指女孩温柔大方，有很好的性格品质。

雨嘉

“雨”字是下雨的意思，这个字有滋润万物的意思，所以，其可以指孩子有无私奉献的精神品质，这个字也充满了恩泽恩惠。“嘉”是赞许、表扬、善美的意思，同时，这个字也寓意着孩子不仅善解人意，而且性格乐观开明。

潇焓

“潇”字指的是行为举止自然大方，不拘束，所以，这个字不仅有一种潇洒的感觉，而且还可以形容人气宇轩昂、风度翩翩，因此，这是一个很酷的字。“焓”字本义是热能的意思，用在起名中，可以指孩子朝气蓬勃、热情似火，对未来满怀激情。

茹缘

“茹”是柔软和包含的意思，当用作人名，可以引申为孩子有宽容的精神品质。并且这个字也可以形容钟灵毓秀的女孩。“缘”是缘分、沿、顺着的意思，用作起名用字时，有生机勃勃，突飞猛进的美好寓意。

更多女孩名字推荐：

柏媛 怡茹 梦惠 碧雅

幽茜 醉波 倪云 琳珺

芷卉 诗媛 紫安 柳菲

钰桐 舞晴 柏华 熙珊

本文为起名网首发，禁止转载。

什么是熵？

雷锋网 AI 科技评论按：「熵」大概是统计学、信息学里最让初学者愁肠百结的基本概念之一。我们都知道熵可以用来描述含有的信息丰富程度的多少，但是具体是怎么回事呢？这篇文章中雷锋网 AI 科技评论将带大家重新系统认识一下「熵」倒是在讲什么。

假设你在医生办公室中与三个等待的病人交流。三个病人都刚刚完成药物测试，他们面临着两种可能的结果：患病或者未患病。假设这三个病人都充满好奇心而且数学好。他们提前各自研究得到了自己患病的风险，并且想通过这些来确认自己的诊断结果。

病人 A 知道他自己有 95% 的可能会患病。对于病人 B，患病概率为 30%，病人 C 的患病未患病的概率都为 50%。

病房中的不确定性

首先我们专注于一个简单的问题。在其他条件都相同的情况下，这三个病人中的哪个面临着最大的不确定性？

这个问题的答案是显而易见的，病人 C。他所面临的是在这种情况下可能呢存在的最大程度的不确定性：就像医疗版本的抛硬币试验一样。

对于病人 A 来说，虽然他的情况不容乐观，但是至少他对于是否患病这个问题有最小的不确定性。对于病人 B，他的不确定性在病人 A 和病人 C 之间。

这就是为什么要引入熵这个概念的原因：描述一个状况下的不确定性为在xx和xx之间，在日常生活环境下这种精细程度可能足够了，但是对于机器学习任务来说，这种描述太宽泛了。

熵允许我们对于生活中的一个重要问题：事情最终会发展到什么样的结果，进行精确度量和计算。

换种说法，熵是一种不确定性的度量。

在本篇文章中，熵都是指代香农熵（Shannon entropy）。其实还有几种其他类型的熵，但是在自然语言处理或者机器学习领域中，我们提到的熵都是香农熵。

所以在没有特意说明的情况下，下面就是熵的公式。对于事件X，有n种可能结果，且概率分别为p_1, ... p_n，公式为：

如果你是第一次看到这个公式，你可能会提出一个问题：为什么要用对数？为什么这个公式就能够度量不确定性？当然，还有为什么要用字母H来表示熵？（表面上这个英文字母H是从希腊大写字母Eta上演变过来的，但实际上为什么采用了字母H来表示，还是有一段复杂的历史的，感兴趣的可以看这个问题：Why use H for entropy?)

对于很多情况下的问题，我认为从以下两点切入是很好的选择：（1）我所面对的这个数学结构有那些理想的属性？（2）是否有其他结构也能够满足所有这些理想的属性？

对于香农熵作为不确定性的度量来说，这两个问题的答案分别是：（1）很多，（2）没有。

我们来一个一个看我们希望熵的公式应该具有哪些性质。

如果你的目标是减小不确定性，那么一定要远离均匀概率分布。

简单回顾一下概率分布：概率分布是一个函数，对于每个可能的结果都有一个概率，且所有的概率相加等于 1。当所有可能的结果具有相同的可能性时，该分布为均匀分布。例如：抛硬币实验（50% 和 50% 的概率）， 均匀的骰子（每个面朝上的概率都为六分之一）。

均匀分布具有最大的熵

一个好的不确定性度量会在均匀分布时达到最大的值。熵满足这个要求。给定 n 个可能的结果，最大的熵在所有结果的概率相同时得到。

下面是对于伯努利试验中熵的图像。（伯努利试验有两种可能的结果：p和1-p）：

在伯努利试验中，当p=0.5时，熵达到最大

假设 A 和 B 是独立事件。换句话讲，知道事件 A 的结果并不会丝毫影响 B 的结果。

关于这两个事件的不确定性应该是两个事件单独的不确定性的和，这也是我们希望熵的公式应该具备的性质。

对于独立事件，不确定性是可加的

让我们使用抛两个硬币的试验作为例子来使这个概念更加具体。我们既可以两个硬币同时抛，也可以先抛一个硬币再抛另一个硬币。在两种情况下，不确定性是相同的。

考虑两个特殊的硬币，第一个硬币正面朝上 (H, Head) 的概率为80%，背面朝上 (T, Tail) 的概率为 20%。另一个硬币的正面朝上和反面朝上的概率分别为 60% 和 40%。如果我们同事抛两枚硬币，那么有四种可能：正正，正反，反正，反反。对应的概率分别为[0.48, 0.32, 0.12, 0.08]。

两个独立事件的联合熵等于独立事件的熵的和

将这些概率带入到熵的公式中，我们能够看到：

就跟我们设想的一样，两个独立事件的联合熵等于各个独立事件的熵的和。

假设有一个游戏，获胜条件如下：（a）只要#1号结果出现，你就赢了。（b）你可以在两个概率分布 A 和 B 中选一个进行游戏。分布 A 有两种可能，#1号结果为 80% 概率，#2号结果为 20% 概率。分布 B 有三种结果，#1号结果80%，#2号结果20%，#3号结果0%.

增加第三个概率为0的结果并不会有什么不同

给定 A 和 B 两个选择，你会选哪个？可能正确的反应应该是耸耸肩或白个眼。第三个结果的加入并没有增加或减少这个游戏的不确定性。谁关心到底是用A还是B呀，因为用哪个都是一样的。

熵的公式也满足这个性质：

即，增加一个概率为0的结果，并不会影响对于不确定性的度量。

最后一个基本性质是连续性。

连续性的最直观的解释就是没有断开或者空洞。更精确的解释是：输出（在我们的场景下是不确定性）中任意小的变化，都可以由输入（概率）中足够小的变化得到。

对数函数在定义域上每个点都是连续的。在子集上有限数量函数的和和乘积也是连续的。由此可能得出熵函数也是连续的。

唯一性定理

Khinchin（1957）证明，满足上述四种基本属性的唯一函数族具有如下形式：

其中λ是正常数。Khinchin称之为唯一性定理。将λ设为1，并使用以2为底的对数就得到了香农熵。

重申一下，使用熵作为不确定性度量是因为它具有我们期望的属性，并且是从满足上面提到的四个属性的函数族中做出的很自然的选择。

除了上述用于Khinchin的唯一性定理中的四个基本属性，熵还具有一些其他的性质，下面就介绍其中的一些。

比如你可以在抛硬币试验和抛骰子试验中做出一个选择，如果硬币正面朝上或者骰子1那面朝上就算赢。你会选择那个试验？如果你想最大化收入，肯定会选择硬币。如果只是想体验下不确定性，那可能就会选骰子。

随着等概率结果的数量的增加，不确定性的度量也应该增加。

这正是熵所做的：H（1/6， 1/6， 1/6， 1/6， 1/6， 1/6）> H（0.5， 0.5）

一般来说，L(k)为具有K个结果的均匀分布的熵，我们能够得到：

对于m>n，有

你知道什么是负的不确定性吗？反正我也不知道。

对于一个用户友好的不确定性度量来说，无论输入是什么，应该总会返回一个非负的结果。

熵的公式同样满足这个性质，我们来看一下公式：

概率是定义在0-1的范围内的，因此是非负的。所以概率的对数是负的。概率乘概率的对数不会改变符号。因此求和之后应该是负的，最终负负得正。所以对于所有的输入，熵都是非负的。

假设你拥有一个魔法硬币，无论你怎么抛，硬币总是正面朝上。

你会怎么量化这个魔法硬币的不确定性，或者其他情况下有确定结果的事件的不确定性？这中情况下就没有不确定性，所以结果也很自然，不确定性为0。

熵的定义也满足这个性质。

假设结果i一定会发生，即p_i=1， 所以H(X)为：

即，确定事件的熵为0。

这是另一个显而易见的理想性质。考虑两种情况，第一个，抛硬币正面朝上的概率和背面朝上的概率分别为80%和20%。第二个情况里概率正好相反：正面朝上和背面朝上的概率分别为20%和80%。

两种抛硬币试验都有相同的熵，即H(0.8, 0.2) = H(0.2, 0.8)。

更通用的形式，对于个结果的试验，我们有：

实际上这对于有任何数量结果的试验都适用。我们可以以任意的方式调整参数的顺序，而所有的结果都是一样的。

回顾一下，香农熵是一种不确定性的度量。

它被广泛的适用，因为它满足了我们想要的一些标准（同时也是因为我们生活中充满了不确定性）。唯一性定理告诉我们，只有一个函数族具有我们想要的四种基本性质。香农熵是这个函数族的一个很自然的选择。

熵的性质有（1）对于均匀分布有最大的熵；（2）对于独立事件熵是可加的；（3）具有非零概率的结果数量增加，熵也会增加；（4）连续性；（5）非负性；（6）确定事件的熵为0；（7）参数排列不变性。

via TowardsDatascience，雷锋网 AI 科技评论编译

什么是熵增定律？科学家：它能决定宇宙的命运，人类也受支配

夜晚的星星，有些从太阳系还是一片尘埃时就存在于宇宙中了，有些哪怕等到50亿年后，太阳熄灭了它们都不会熄灭。

地球上的人总是把太阳当作永恒的象征，并且把太阳这一类天体也冠以了恒星的名号，仿佛它们就是宇宙中永恒的存在，但随着科学的进步，人们开始逐渐明白，包括太阳在内，宇宙中没有什么东西是永恒的。

目前的宇宙学理论认为，我们的宇宙起源于138.2亿年前的一次大爆炸，当时没有时间也没有空间，在人类大脑根本无法想象出画面的那个“存在”中，只有一个奇点，这个奇点可以看作是宇宙的种子，是时间和空间的开端，是所有物理定律的开端，同时也是组成恒星和人类的所有物质的开端。

不知道什么原因，奇点在138.2亿年前的某一刻发生了爆炸，在短时间内迅速膨胀到了一个相当大的体积，时空和物质也在膨胀中成型，大爆炸后30万年，光子开始在宇宙中飞行，星云开始凝聚成第一代恒星，然后是含有重元素的第二代恒星，我们的太阳就是一颗典型的第二代黄矮星，而地球以及地球上的我们，都是恒星的孩子。

时至今日，在天文学家的观测中，我们的宇宙仍在加速膨胀中，且这一速度在距离地球145亿光年外的地方正式超过光速，也就是说，145亿光年之外的星系退行速度已经超过了光速，人类永远看不见它们。

物理学家是最先意识到宇宙拥有生命极限的人，因为在研究永动机的路上，热力学中出现了熵增定律，通俗来说就是在一个封闭的系统内，系统的混乱程度总是会不断上升的，而永远不可能自发下降。

因此一间屋子没人打扫就只能落灰，而不会自动变得越来越干净，同理，一个已经碎了的杯子也不可能自发再还原成杯子的模样。

把上面这两个例子代入宇宙后不难发现：太阳总有一天会熄灭，黑洞在漫长的时间过后也会蒸发殆尽，虽然现在还有新的恒星在不断诞生，但宇宙中的物质总量归根结底也是有限的，恒星不可能无限产生，因此总有一天，在熵增定律的影响下，宇宙中所有的恒星都会熄灭，宇宙将变成一片死寂。

宇宙中所有物质都由微小粒子组成，这些粒子在一刻不停地做着无规则运动，运动速度越快，物质温度越高，但同时也代表着内部粒子运动的无序度越高，即“熵”值越大。

在两杯温度不同的水之间，热水中的高熵粒子会主动转移到冷水中的低熵粒子，直到两者之间粒子运动速度相同，熵值相同，在这个过程中，原本熵值较低的凉水已经升高了，内部的无序度也增大了。

再进一步探究熵增的本质：在一个封闭系统中，事物只会自发地从低熵向高熵行进，且过程不可逆，而我们的宇宙就是最大的封闭系统，因为目前没有任何证据表明其他宇宙是存在的，也就是说，宇宙内的熵增无法避免。

50亿年后，太阳内部的氢元素耗尽，体积将是现在的200倍，届时将会吞没水星、金星、直至地球，当氦元素燃烧完后，百亿年的核聚变停止，太阳在一次大爆炸中变成白矮星，此时它不再拥有耀眼的光芒，而是发散着幽幽的白光。

这幽幽白光也会在几十亿年内逐渐熄灭，最后看不见任何光亮，天文学家将这种天体称之为黑矮星。

另外一些超大质量恒星将会在核聚变中止后发生大爆炸，形成中子星或黑洞，中子星会在一刻不停地高速自转中从两极发射高能量脉冲，通常只有较短的几亿年寿命。

超大质量黑洞或许是宇宙最后还存在的天体，它会吞噬掉所有已经消亡的恒星。但即便是魔鬼一样的黑洞，在吸收物质的同时也在蒸发着自身的质量，在漫长的时间中走向衰变，最后在一次大爆炸后迎接死亡。

以上这些事件都发生后，宇宙中就达到了热平衡，茫茫宇宙将只剩下绝对的黑暗，唯一有希望避免这一结局的办法，只有找到其他宇宙。因为一旦其他宇宙存在，我们宇宙的熵增就能转移过去，就像热水的温度会逐渐转移到冷水一样。

反倒是人类自己，一直都在不断对抗熵增，时间之箭，指向荒芜，人的一生就是一个不断抵抗熵增的过程，只有我们不断为自己注入新的能量，才不会走向混乱无为的人生。