复杂性科学之信息论
及在创新中的作用

王晓钰

2019年12月06日

为什么学习信息论?

组织-文化-创新-AI-管理……

  • 一切都是信息
  • 想不明白的时候,回到根上追问信息的本质

niucodata_cloud_chart1

在做各位的共性

  • 精神哲学:将哲学视角,推进到科学视角
  • 信息大爆炸:引发焦虑
  • 复杂性科学:信息论的高阶学科

科技引爆信息量

  • 互联网、移动互联网、物联网……
信息量暴增
信息量暴增

人类进化缓慢,越来越焦虑

奇点来临
奇点来临

AI时代的基础理论

工业时代 20世纪
40年代
20世纪
60年代
21世纪
机械论 系统论 耗散结构论
还原论 控制论 协同论 复杂性科学
线性系统 信息论 突变论

提纲

  • 科普篇:信息论的通俗解释
  • 理论篇:信息论前沿
  • 实战篇:信息论在创新中的作用

科普篇
信息论的通俗解释

什么是知道?

  • 知道是两个人的事
  • 但是知音难觅

子非鱼

经典信息论模型

image-20191206112823610
image-20191206112823610

信息的描述性

  • (客体)用以消除随机不定性的东西——C.E.Shannon
  • (关系)信息是系统内部和系统之间通过相互联系、相互作用而实现和保留的某一事物的形态、结构、属性和含义的表征。

量化信息:可能性的概率

  • 量化度量:信息浓度,可能性的概率: − log2p

  • 多次信息可以叠加:(通过log,变乘法为加法)

image-20191205221028273

信息传递:不能对牛弹琴

  • 不能践行的传授,是无效的
  • 信息传递 = 产生改变,即控制
  • 信息论 = 控制论

对牛弹琴

算法信息论

不是我们的消息对听众起到了什么作用,而是听众根据我们的消息做了什么——休·麦凯《好听众》

  • 信息不是不同对象的固有属性,而(关联于使用、提取以及产生这个信息的)算法

  • 一个系统受另一个系统的作用,并在自己的系统中留下另一个系统的影响和‘痕迹’,这意味着前一物质系统接受和保留了后一物质系统的信息。

算法信息论

如何判断一段话信息量是大是小?

  • 在香农那里,可以用“克服了多少不确定性”来描述。
  • 而在柯尔莫哥洛夫那里,要看“用多长的代码能生成这句话”。

  • 柯氏复杂度(Kolmogorov,1965)

  • **100100100100100100100100100100100100100100100100100100100100

  • 2,3,5,7,11,13,17,19,23,29,31,37,41,43,47,53,59,61,67,71,73,79,83,89,97
  • 3838627486878325473579680183468291898745981708710670140

信息论视角看“复杂”

信息量与信息复杂度
信息量与信息复杂度

提纲

  • 科普篇:信息论的通俗解释
  • 理论篇:信息论前沿
  • 实战篇:信息论在创新中的作用

理论篇
信息论前沿

信息:是能量?是物质?

  • (守恒定律?)有限的物质具有有限的质量、有限的能量和有限的信息(复杂程度、熵)
  • (熵增定律?)它们不可增殖,但是可以互相转化
img
img

麦克斯韦妖

Maxwell's_demon

兰道尔原理:擦除信息的能量

  • 1960年,IBM兰道尔:
  • 任何对于信息的逻辑上不可逆的操作,比如删除,一定伴随着信息载体以外的系统的熵增(1bit耗费能量kTln2 ≈ 10 − 21J)。
image-20191205233348397
image-20191205233348397

测不准原理

v2-cc649a4d85a4f924e4c4bd93b9a96af4_hd

信息与能量的关系

非认知能力的信息

  • 情感智能
  • 不具备情感的AI,不可能产生类人的智慧

信息哲学:世界三元组

  • 物质世界里的信息是能量
  • 精神世界里的信息是精神能量
  • 结构世界里的信息,是严格意义上的信息本身,如认知信息

image-20191205225557490

提纲

  • 科普篇:信息论的通俗解释
  • 理论篇:信息论前沿
  • 实战篇:信息论在创新中的作用

实战篇
信息论在创新中的作用

信息论的应用视角

从信息论的角度,认识清楚繁杂现象的本质

  • 思维模型究竟是什么
  • 创新究竟是什么
  • 无用之学究竟是什么
  • 数字化、智能化转型究竟是什么

思维模型

  • 我们有代替体力的工具,有没有思维的工具?
image-20191206110028358
image-20191206110028358

感应过程=共轭变换

  • 曹冲称象
    • 现实难题:称大象,无法直接称
    • 变换(转换)L:通过大船的沉浮,把大象的重量转换为石头的重量
    • 求解A:称石头的重量
    • 反变换L − 1:将石头的重量转换成大象的重量

思维模型的信息论解释

  • 感应过程 = 共轭变换
  • 共轭变换:把A的能力扩大

L − 1 * A * L

image-20191206103746431
image-20191206103746431

终极思维模型:第一性原理

image-20191206105922542
image-20191206105922542

无用之学

先生说的:

  • 务虚:建立抽象知识域的规律
  • 务实:业务建模(感,变换L,实际应用(应,反变换$L^{-1} $)

创新工具:Triz

Triz创新原理
Triz创新原理

智能制造

image-20191224092254211

智能制造/做什么

image-20191224092333758

智能制造/怎么做

image-20191224092424341

智能制造/创新思路

image-20191224092514536

不同抽象层级的思维工具链

  • 商业竞争优势
  • 创新
  • 思维模型
  • 信息论
  • 信息哲学
  • 物演通论

组织-文化-创新-AI-管理……

  • 一切都是信息
  • 想不明白的时候,回到根上追问信息的本质

niucodata_cloud_chart1

谢谢!

晓钰说