物理研究与机器学习(薛定谔的滚与深度学习中的物理)
物理研究与机器学习(薛定谔的滚与深度学习中的物理)
2024-11-08 09:20:58  作者:鲂肆青春  网址:https://m.xinb2b.cn/know/fva427369.html


1 新智元专栏


最近朋友圈里有大神分享薛定谔的滚,一下子火了,“当一个妹子叫你滚的时候,你永远不知道她是在叫你滚还是叫你过来抱紧”,这确实是一种十分纠结的状态,而薛定谔是搞不清楚的,他连自己的猫是怎么回事还没有弄清楚。虽然人们对于薛定谔头脑中那只被放射性物质残害的猫的生死一直众说纷纭,斯特恩·盖拉赫却在实验中,实实在在看到了,我们身处的这个物理世界的量子性,也就是既生又死、既真又假、既梦又醒、既粒又波、既此又彼的存在,按照老子的说法是,玄之又玄,众妙之门。

量子性是这个世界已知的基本特征,未来的世界是我们的,也是你们的,但归根结底是量子的:通讯将是量子的,计算将是量子的,人工智能也将是量子的。这个物理世界运行的基本逻辑,决定了我们身边的一切。不要再纠结是庄周做梦变成了蝴蝶、还是蝴蝶做梦变成了庄周,不要再迷惑南科大朱老师的物质意识的鸡与蛋的问题,拿起你的手机使劲往地上一摔,你就知道这个世界是客观的还是主观的了。

当然量子性不一定是终极真理,还有许多神秘的现象需要解释,比如有鬼魅般超距作用的量子纠缠。但要相信,从牛顿到麦克斯韦,从爱因斯坦到波尔,人类不断了解和认知这个世界的本质,比如能量守恒,比如不可逆的熵增,比如质能方程,比如量子性。这些物理的本质渗透到周遭的方方面面,而火热的深度学习,学的就是现实生活的事物,通过观测推演获取这些事物的内在逻辑,因而是处处遵从这些物理原理的。

大部分的现代神经网络算法都是利用最大似然法(Maximum Likelyhood)训练的,IanGoodfellow 与Yoshua Bengio更是在他们著的《深度学习》一书中详述了利用香农的信息熵构建深度学习损失函数的通用形式:

这些神经网络“似”的什么“然”呢?损失函数中的条件概率、信息熵向我们传达一个怎样的思想呢?在《迷人的数据与香农的视角》(http://mp.weixin.qq.com/s/qgWU6qbEsgXP6GKTVvE6Hg)一文中,我曾经讨论过香农熵与热力学熵的关系:“每一个热力学系统对外表现出宏观的特征,温度、压力、体积等”,“而其内部却是由无数不确定位置、速度、形态的分子原子组成”,“那些无约束,充分发展了的随机变量,达到了势能最低的稳定状态”,对外展现的信息由此势能最低状态的概率分布决定。换种形式,可以将该状态的概率分布的对数,定义为此系统携带的信息量,也就是香农熵。所以这里“似”的“然”就是一种最低势能状态,或者说对外展现出最大信息熵的状态。

而这个最大似然,不是没有条件的,注意到“充分发展”这个说法了吗?“充分发展”的系统是一种相对稳定的系统。我在《站在香农与玻尔兹曼肩上,看深度学习的术与道》(http://mp.weixin.qq.com/s/T6YWQY2yUto4eZa3lEgY3Q)文中强调过,“通过训练寻找这些概率分布函数,其中隐含着一个基本假设,就是系统是处于相对稳定状态的,一个急速演进中的开放系统,概率的方法应该是不适合的”,“又比如玻尔兹曼机,基于哈密尔顿自由能的分布其实都是有隐含的系统相对稳定假设的(玻尔兹曼分布是“平衡态”气体分子的能量分布律)。对于非稳定系统,就得求助于普利高津了”。所以使用诸如RBM(Restricted Boltzmann Machines)之类的深度学习算法的时候,我们首先需要研究一下问题域是不是相对稳定的。

上文中提到的“玻尔兹曼分布”,是描述理想气体在受保守外力作用、或保守外力场的作用不可忽略时,处于热平衡态下的气体分子按能量的分布规律:

这里的 q 叫做配分函数(Partition Function),就是系统中粒子在不同能量级上的分布,它是连接微观粒子状态与宏观状态的桥梁,是整个统计力学的核心。不仅对于气体粒子,玻尔兹曼分布同样被证实适用其他微观到宏观的状态演化,比如著名的Ising Model。Ising Model最初是用来解释铁磁物质的相变(磁铁加热到一定温度以上出现磁性消失)的,模型标定每个小磁针两个状态( 1 -1),所有N个粒子的状态组合是一个"配置",则系统共有2的N次方个"配置",该系统的数量众多“配置”的不同能量级分布服从“玻尔兹曼分布”:

因模型简单与高度抽象,IsingModel被广泛应用于自然科学与社会科学等众多领域。如果将小磁针看作神经元,磁针状态看作激发与抑制,Ising Model 也可以用来构建深度学习的Hopfield模型,或者玻尔兹曼机 。Hopfield Associative Memory (HAM)是经典的神经网络,它仅包含显式神经单元,给这些单元赋予能量,经过推导,我们可以得到这个神经网络的配分函数和自由能表达式,看起来是不是似曾相识?

不过HAM模型有不少显而易见的缺点(无法一层层提取潜变量的信息),Hinton因而创造了有隐含神经元的RBM。

在《迷人的数据与香农的视角》与《站在香农与玻尔兹曼肩上,看深度学习的术与道》两文中,我反复介绍了自己的“顿悟”:“事物由不同层次的随机变量展现出来的信息来表达,不同层次上的随机变量携带不同的信息,共同组合影响上一层的随机变量的信息表达,而随机变量对外表达的信息则取决于该随机变量的条件概率分布”。如果要给这个“顿悟”找个科学的解释,最合适就是尺度重整化(ScaleRenormalization)了。Charles H Martin博士2015年在其文章 《Why Deep Learning Works II: theRenormalization Group》提到,在神经网络中引入隐含节点就是尺度重整化。

每次尺度变换后,我们计算系统有效的哈密尔顿能量,作用在新的特征空间(潜变量空间),合理的尺度重整化保持了系统哈密尔顿自由能的不变性。注意这里的能量守恒,它确保了尺度重整化的合理性。每一次尺度变换后,自由能保持不变。F =-lnZ, 这里Z是配分函数(上文的q),是一个能量(不同能级上粒子数)的概率分布,Z不变,即能量的概率分布不变,就是要求潜变量的特征空间中的大尺度“粒子”能满足原来能量的概率分布。重整化群给出了损失函数,也就是不同层的F自由能的差异, 训练就是来最小化这个差异。

这么多的基础理论,展现了深度学习中的无处不在的物理本质。我还可以举几个大家熟悉的例子,激发思考:CNN 中卷积的意义是什么,平滑输入特征对最终的模型为什么是有效的,为什么池化(pooling)很实用?动量(Momentum)优化方法为什么比普通的SGD快,而且适用高曲率的场合? 为什么Dropout是高效、低能耗的 规则化(Regularization)方法?为何Lecun新提出的EBGAN有更好的收敛模式和生成高分辨率图像的可扩展性?不一而足,深度学习实验室应该多欢迎一些物理背景的学者参与进来啊!

人法地,地法天,天法道,道法自然。在女生节、女神节里,对身边可爱、聪慧、善良、温婉、贤惠与伟大的女性同胞多一声祝福,衷心希望男同胞不要收到“薛定谔的滚”!用智慧的头脑,不断重整化我们的认知、态度,让和谐与美好成为最大似然。

作者简介

王庆法,阳光保险集团大数据中心副总经理兼首席架构师、平台部总经理,首席数据官联盟专家组成员,16年在数据库、分布式系统、机器学习以及云计算等领域,从事软件开发、架构设计、产品创新与管理。热衷于基于市场的数据产品的创新与落地。

©️版权声明:本文为新智元原创作品,未经授权请勿转载。如需转载请在后台回复“转载”查看规则。


  • 临沧市城市建成区(临沧市我国边疆多民族欠发达可持续发展示范区)
  • 2024-11-08临沧市我国边疆多民族欠发达可持续发展示范区作者:陈灿近日,省委、省政府出台《关于贯彻新发展理念推动各州市高质量跨越式发展的指导意见》,提出了临沧发展的三个目标定位,分别是乡村振兴示范区、兴边富民示范区和国家可持续发展示范区截至目前,临沧是国务。
  • 9个民生大礼包请查收(快看这些大家伙)
  • 2024-11-08快看这些大家伙建筑垃圾、大件垃圾堆放在公共区域芬芳的绿化带成了腐臭的垃圾场废旧桌椅、沙发、杂物柜堆放在楼梯间居民进进出出好似翻山越岭……垃圾分类如火如荼进行可这些“大家伙”却让居民们犯了难近日,明园森林都市滴翠苑通。
  • 六爻代表的风水(列中庭之左右曰位)
  • 2024-11-08列中庭之左右曰位声明:此文由赵庚白原创,复制转载请注明作者及出处揭【列中庭之左右曰位】之意,晓易经【爻位】说之拗自汉以来人们对《易经》中的“位”误解最大,影响最深,使众多读者深陷其困,达二千多年据笔者统计,在《易经》。
  • 66评车吉利博瑞(多些鼓励会更好)
  • 2024-11-08多些鼓励会更好作者辜雪记得在2011年的上海车展上,沃尔沃展台上一辆名为“天地”的概念车给我留下了很深的印象直到几年后见到这台吉利博瑞,才回想起这第一眼的“惊艳”出于何处一直以来,自主品牌在车型设计上的表现总是饱受。
  • 以家人之名大结局周淼被开除(以家人之名大结局)
  • 2024-11-08以家人之名大结局虽然说《以家人之名》这部剧从开播到现在的争议一直都非常的大,但是到了快结局的时候,大家还是很期待可以有一个让人称心如意的结尾而且相较于其他人,大家更加关心的还是李家三兄妹最后的结局,不过当真正知道大结。
  • 推动创新塑造品牌(脚踏实地促进品牌升级)
  • 2024-11-08脚踏实地促进品牌升级来源:人民网-人民日报图①:冠珠瓷砖“美居计划”的实践案例图②:2021年中国国际高新技术成果交易会上的慕思展厅图③:兴业银行福建三明分行绿色金融服务中心图④:恒安集团位于福建晋江的智能化生产线图⑤:。
  • 天文学和哲学的不同点:数学以及天文学发展
  • 2024-11-08天文学和哲学的不同点:数学以及天文学发展一、帝国、哲学和社会自公元前221年第一次政治统一以来,中国就建立了由官僚精英组成的政府,当时秦始皇对国家进行了中央集权化、军事化和(原则上)统一秦始皇通过负责每个省和地区的文武官员的等级制度进行统治。
  • 你在哪里结局40集(你在哪里团圆大结局)
  • 2024-11-08你在哪里团圆大结局由王迎执导,朱金晨编剧,著名演员王雷、秦海璐、张铎等领衔主演的现实题材家庭关怀剧《亲爱的,你在哪里》在经历了一系列的曲折剧情之后,终于迎来圆满大结局该剧通过小女孩媛媛的离家出走所引发的家庭矛盾和冲突,。
  • 雷克萨斯rx小改款正式登台(全新雷克萨斯RX来了)
  • 2024-11-08全新雷克萨斯RX来了在豪华中大型SUV市场中,奔驰GLE、宝马X5、还有奥迪Q7,算得上是领跑者,不过,在今年2月份的进口豪华中大型SUV销量排行榜中,GLE仅以2000多辆的月销量,成为该排行榜的亚军,X5则以2000。
  • 土拨鼠会不会有鼠疫(网红啊的土拨鼠)
  • 2024-11-08网红啊的土拨鼠相信很多朋友都是通过那个大喊一声的网红土拨鼠表情而认识它的,刷到的很多搞笑视频中都有它的剪辑,不过那个拟人声是人声配音,当然我们并不在意它是怎么折腾出来,只关心这个视频是不是特好玩!其实土拨鼠大家早有。
  • 三观不合一般指哪三观(为什么叫三观不合)
  • 2024-11-08为什么叫三观不合为什么叫三观不合,为什么不是四观不合或者是五观不合呢?这还得从头说起起,先来说说三观,我们和人相处,首先叫我们心动的是对方的长相,也就是五官不管是帅男的还是美女,我们看了都饱眼福,还不自觉地自言自语一。