金观涛：反思“人工智能革命”

江城如画里

晨枫 发表于 2018-3-10 23:36
这一段要赞，尽管没有完全看懂。

个人对神经元和多层网络是这样理解的：这和冯·诺伊曼用二进制 ...

神经元这个S曲线，也得吐槽下，当初神经网络初期发展时，Sigmoid函数确实震服了不少人，觉得从线性到非线性，绝对是这个sigmoid函数的功劳，然后当时出了一大批论文论述，为啥sigmoid函数是科学的，大有前途的。然后当然实际应用中，慢慢毛病出来了，主要是梯度下降中收敛的太慢（所谓的梯度消失或之类的问题），才有人尝试其它形式，比如tanh（双曲正切）形式的。
然而到2006年前后，人们惊讶的发现，似乎对于大多数网络，用最简单的直线，也就是ReLU，才是最好的。ReLU，其实就是说0以下为0，0以上保持线性。当时看到结果时，简直一种吃到狗屎的感觉。和着弄了几十年，费劲心力构造激活函数，结果答案如此简单。回头去看当年汗牛充栋的解释为啥sigmoid函数好的论文，很魔幻的感觉。
对了，alphago中的残差网络中，基本上主要的激活函数用的也是ReLU，线性的。

另外，关于AI的发展，其实存在着两种不同的派别，估计晨大对这个也感兴趣。基本上类比于航空来说，一类叫鸟飞派，一类是飞机器派。
前者是原教旨主义的连接派，就是利用人工神经网络去模仿生物神经网络，认为上帝创造的东西有它的道理，类似于人去模仿鸟的飞行，弄扑翼机啥的，其实当年的sigmoid函数，就是鸟飞派的杰作。
那么飞行器派，意思是觉得人要飞不一定非得学鸟长出一对翅膀，而是要研究空气动力学，在空气动力学发展到一定程度后，自然会从头设计出飞机这个铁鸟来。用ReLU替代了sigmoid函数，其实就是这派的工作成果之一，因为它只关心怎么样效果好，不关心实际生物是不是这样的，实际生物神经网络似乎没发现过哪个生物用的是ReLU 这样的线性激活函数（方家指教打脸）。
当然现在飞行器派，也一样是步履蹒跚，前篇就说过了，目前最简单的网络其动力学特性都还没搞清，为什么要七层而不是八层，为什么这一层有255个结点而不是300个，为什么学习速率要设定成某个值。事实上目前来说，这些问题的答案都是一个，试出来的，而且所有宣称自己效果最好的都没真实的底气，因为既没有穷尽所有可能，也无法从理论上证明自己的网络设计最好。
我一直觉得神经网络这门小学科，缺少类似航空中空气动力学这样的利器。空气动力学仍然有不好解的问题，然而他至少能说明为啥铁的东西还能飞起来，神经网络从业人员现在连为啥自己的网络有作用都无法用数学的语言表达出来，所以论文看着像巫术指南。

江城如画里

晨枫 发表于 2018-3-10 23:27
金观涛不知道专业是什么？他有专业吗？不管了，我对他这篇东西的认同只要在于一个观点：现代深度学习为代 ...

对于这个，我同样也是困惑的，不敢说自己想的就是对的。其实我思考方向是反过来的，晨大和金观涛观点有一点类似的，就是认为深度学习是条件反射式的，所以不具备推理能力，而人是具备推理能力，所以应该不是深度学习的网络。
我日常也常常困惑于这个问题，但是从两个方向去想，觉得都有他们的道理。
一种观点认为，深度网络是一切的，这一派觉得，人脑就是深度网络，所谓的推理能力也能够以深度网络模拟，我仔细看看觉得金观涛的观点并没有排除这种可能性，因为他自己给的那个A，B，C集合的理论，我尽力按行业的角度去理解，认为它仍然是深度学习网络，并没有本质的变化。这里关键是并没有搞清推理是一种什么东西，从数学上也没法证明推理过程不能由深度网络实现。如果金观涛所说的这个推理，就是形式逻辑（比如证明四色定理这样的事），那么深度网络百分之百是可以干这事的，因为理论上证明过深度网络是图灵完备的，任何图灵机能干的事，深度网络一定能干（当然效率另说），而形式逻辑不超过图灵机的能力。
所以除非证明了，推理这个概念超过了图灵机，否则说深度网络无法推理这是站不住脚的。
这一派的支持者一般持这样的观点，当初人类先祖，也是生物大家庭的众人，似乎出现某种变异或者受到某种病毒入侵后，大脑的连接发生了本质变化，才发展出如此高的智能。从这个过程看，我们较普通生物似乎就是一种高级连接形式决定了我们有更高的智能的。而这些智能对于神经网络不是高不可攀的，我前段时间看过报道，说澳大利亚科学家证明了乌鸦会人为纵火，让山林烧起来，使动物烧死，自己得利。我觉得这要不能称为智能，怎么样的标准才能叫智能呢？

这一派说完，我说说悲观派吧。
悲观派也是从数学基础出发的。上面讲了，深度神经网络是图灵完备的。但是反过来说，人类早就知道，图灵完备不是一切，数学上存在着图灵机搞不定的问题，而且是一大堆。这是因为图灵机的推导从哈密顿函数开始，加入了一些可导可微条件才推导出来，那么在处处不可导或不可微的函数上，也许存在着另一个世界。
那么问题来了，人类的思维，是在图灵机这个层次？还是在图灵机以外的层次？如果真的是图灵机以外，那么深度学习网络怎么搞都是没戏的。
问题就是，我们还不知道，人类的思维能力到底扎根在哪里。
我个人当然希望，咱们是超越图灵机的存在，然而没这个本事证明

晨枫

江城如画里 发表于 2018-3-10 19:37
神经元这个S曲线，也得吐槽下，当初神经网络初期发展时，Sigmoid函数确实震服了不少人，觉得从线性到非线 ...

说得非常好！很同意。有两派，恐怕关键还是在于人类依然缺乏对人类智能的精确理解。个人甚至怀疑：人类是否可能精确理解人类智能。这有点像逻辑循环或者测不准原理那样的东西，可能在哲学层面上就是不可能精确理解的。

晨枫

江城如画里 发表于 2018-3-10 19:55
对于这个，我同样也是困惑的，不敢说自己想的就是对的。其实我思考方向是反过来的，晨大和金观涛观点有一 ...

赞就一个字。长知识了！看来人工智能正在进入像量子力学在100年前的境界：已经进入哲学境界了。要是能出一群爱因斯坦、玻尔、海森堡这样的人工智能学家，那下一个50-100年就热闹了。

晨枫

冰蚁 发表于 2018-3-10 13:46
你咋定义创造思维？Alpha go里下出围棋高手都想不到的妙手在你的定义里算是有创造思维嘛？ ...

老实说：感觉还不能算，但说不好为什么。

testjhy

晨枫 发表于 2018-3-10 23:36
这一段要赞，尽管没有完全看懂。

个人对神经元和多层网络是这样理解的：这和冯·诺伊曼用二进制 ...

哈哈，晨司机很敏感嘛，马上感觉神经元和冯诺伊曼之间有异曲同工之妙，我手上作业完成后，写一段故事，其中就有你的推测，

晨枫

testjhy 发表于 2018-3-11 03:20
哈哈，晨司机很敏感嘛，马上感觉神经元和冯诺伊曼之间有异曲同工之妙，我手上作业完成后，写一段故事，其 ...

哈哈，坐等专家对我的胡思乱想的深入批判。

捣江湖

AlphaGo 不是用的 reinforcement learning +DQN吗? 我没仔细瞧。 也就是仿生式的奖励驱动，网络会自动的获取最大远期回报而不是眼前的近期立即 的回报（下象棋的时候不是首要最迅速的把眼前的子吃掉，而是一切为了最后的胜利）。 网络也只是一种函数，即一个映射，从自变量 到因变量，从因到果。被他们忽悠的一晕一晕的，现在我还晕乎着

冰蚁

晨枫 发表于 2018-3-10 22:35
老实说：感觉还不能算，但说不好为什么。

我个人感觉是在把智能和意识混在一起。以后的通用人工智能也许可以用吃禁果以前的亚当夏娃类似。但如何从中诞生出“我”这个意识，更没人知道。

红茶冰

江城如画里 发表于 2018-3-11 09:37
神经元这个S曲线，也得吐槽下，当初神经网络初期发展时，Sigmoid函数确实震服了不少人，觉得从线性到非线 ...

抽象的东西咱就不说了，咱说实际的。公安部从863第一期开始就一直支持——给钱给库，直到863最后一期公安部彻底放弃（十二五863相关专项指南里已经明确写上生物模式识别类项目一律不予支持），差不多20年，从2个大学做，到最后5个大学、5个研究所再加上5个公司，东西完全没法拿出来说。比如说公安部某类450万人数据的大库，你选个几十万出来训练（兵强马壮的话可以全选），然后用大库来检验，结果根本没法看，要知道给定的要求不是要你一眼就把红茶冰认出来，而是选出一堆和红茶冰比较像的，最后机器来判定是不是红茶冰。而误判率部里要求不能高于千分之一 当时最好的结果是百分之十～大家想想，一个人流量二十万的港口/车站，得要多少条子来做事呢？
还有最关键的一点就是，所有参与技术人员都没法给出一个明确且行之有效的解决之道。换句话说就是所有人都是一脸懵逼不知道咋办，谁都说不清楚问题出在哪，更别说如何解决。你们可以想象下当年公安部科信的那帮子脸上是啥表情了～
对了，肯定会有人跳出来说土鳖技术差如何如何，再举个栗子，英国某华裔大咖与一所进行技术交流，在纯环境下大咖的模型无论怎么折腾精准率都不如一所的高。加入背景噪音后大咖的错误率都没法看。这样的测试不是一回两回了，每次都是一所那帮子土鳖胜出(多少让部里面的大佬挽回一丝丝颜面)
当然 也不能说深度学习之类的都是扯淡，老话说术业有专攻，高度依赖训练的技术一定是高度专用的，因为它的优化高度依赖训练库和训练环境以及某些特殊技巧。因此以此为基础不谈适应范围，而去说普适性那才真是扯淡。
PS:话说坛子里这么多生物党就没人出来吧唧几句？老外用神经网络进行药物分析分子动力模拟不是搞得挺火热的嘛。毕竟模型还是符合数学语境下的目标函数确定与约束条件给定这个关键要点。
江城 晨大你俩应该抓几个生物壮劳过来活跃下气氛嘛，像妮妮啊老关啊不就挺合适哈ᖗ( ᐛ )ᖘ

冰蚁

你是指人脸识别吗？

晨枫

红茶冰 发表于 2018-3-12 10:58
抽象的东西咱就不说了，咱说实际的。公安部从863第一期开始就一直支持——给钱给库，直到863最后一期公安 ...

谭妮、关劳他们忙着野战，没这工夫

话说，不是说TG实时人脸识别已经进入实用化，把BBC的记者在“实战试验”中准确抓出来了吗？

红茶冰

晨枫 发表于 2018-3-13 02:14
谭妮、关劳他们忙着野战，没这工夫

话说，不是说TG实时人脸识别已经进入实用化，把BBC的记者在“ ...

已公开且大规模应用的人脸识别/人工视觉/图像识别的是公安部追逃系统，因此可以存在/接受的误判率，再者 追逃系统的数据库可用来比对的数据可不仅仅是面部特征数据，还有身高两边侧脸的数据。这样一来比对的精准率就高太多了。那么 这些数据怎么来的捏？因为 追逃系统里的人很多都是两劳/公安机关处理过的人员。看过电影的都应该看过倒霉蛋都要拍照留底的～
话说 没想到老关那浓眉大眼的家伙也堕落啦？(●⊙ꀦ⊙●)

晨枫

红茶冰 发表于 2018-3-12 12:33
已公开且大规模应用的人脸识别/人工视觉/图像识别的是公安部追逃系统，因此可以存在/接受的误判率，再者  ...

切，老关那就没不堕落过

code_abc

红茶冰 发表于 2018-3-13 02:33
已公开且大规模应用的人脸识别/人工视觉/图像识别的是公安部追逃系统，因此可以存在/接受的误判率，再者  ...

那现在银行搞的刷脸取款是什么水平？

冰蚁

红茶冰 发表于 2018-3-12 11:58
抽象的东西咱就不说了，咱说实际的。公安部从863第一期开始就一直支持——给钱给库，直到863最后一期公安 ...

既然是指人脸识别系统，那么这种安保系统已经一定程度商用了吧。比如公司的门禁，机场的安检。美国去年还有人讨论美国homeland security 在一些机场试点人脸识别系统的一些问题。那套系统貌似比较实际的人脸和photo ID上的人脸。FBI 好象从2015年开始也应用了人脸识别系统。不清楚这些系统的误判率是否有千分之一。但人脸识别是最近这几年开始火，直到发展到连iphone都来凑热闹。而你说十二五以前的事情，也就是2010年以前，那会儿确实没什么突破。

红茶冰

冰蚁 发表于 2018-3-13 12:59
既然是指人脸识别系统，那么这种安保系统已经一定程度商用了吧。比如公司的门禁，机场的安检。美国去年还 ...

你所指的人脸识别其识别难度压根没法与摄像头进行人脸辨识相比。首先 刷脸机器的摄像头与人脸是平行的压根不需要后期对脸部特征进行重构模拟。监控摄像头全是大角度拍摄而且镜头本身就是广角，前期需要多次拟合。多用来比对的数据本身就有缺陷。再者光线也是个大问题。
而且现在不少刷脸厂商都采用双摄像头来实现三维化的面部数据，这样一来面部轮廓的数据更翔实 ，想不准都难。

红茶冰

红茶冰 发表于 2018-3-13 19:43
你所指的人脸识别其识别难度压根没法与摄像头进行人脸辨识相比。首先 刷脸机器的摄像头与人脸是平行的压 ...

大家看看阮童鞋多年前发的文章:http://www.ruanyifeng.com/blog/2 ... r_image_search.html

jeckforlete

晨枫 发表于 2018-3-10 23:36
这一段要赞，尽管没有完全看懂。

个人对神经元和多层网络是这样理解的：这和冯·诺伊曼用二进制 ...

我觉得现在的人工智能就是高级点的计量经济学。
个人观点：对绝大部分人来说，围棋可能更多的是一种思维模型和训练工具，可以总结出来可以用于其他博弈领域的普遍规律。而对计算机来说，是就围棋而围棋的，甚至于就数学而围棋的。相当于大家在一个迷宫里玩得不亦乐乎，人家直接开个推土机硬推过去算球。

冰蚁

jeckforlete 发表于 2018-3-14 21:57
我觉得现在的人工智能就是高级点的计量经济学。
个人观点：对绝大部分人来说，围棋可能更多的是一种思维 ...

alpha go 不是这样的。而且其算法的意义也是超越围棋的。