如果神经网络规模足够大,会产生智能吗?

作者:桔了个仔
链接:https://www.zhihu.com/question/408690594/answer/1363115251
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
 

明显不能。原因是:

神经网络模拟的是一个个大脑功能,最多是大脑的一个分区,而不是大脑本身。

这里从结构层面和技术层面两方面来讲。

结构层面

神经网络是从大脑的神经连接得到启发的。要实现真正的智能,那么就要实现和大脑差不多的结构。

而对于人对大脑的运作方式至今还未能完全搞懂,甚至可以说,大部分都还没懂。脑科学的确是突飞猛进的,对于神经基本运作原理已经很明朗了,所以也能对人工神经网络的发展进行反哺,但人脑的机制还有很多方面是人类目前未能搞清楚,或者搞清楚了但也拿它没办法的。

这里不是生物课所以不打算展开讲,放几张图只是为了解释人工神经网络模仿的是什么。

首先我们看看人脑结构。人的大脑是个复杂结构,表面覆盖了一层皮层。

人的大脑

皮层和覆盖在大脑沟壑上,如下图深紫色所示

来源维基百科,大脑皮层在外层,用深紫色描绘。

而我们的神经网络,模仿的是皮层里的神经连接方式。且不同区域的皮层负责不同部位。

即使是同一个区域的皮层,他们也不是”全连接“的,例如下图,虽然这幅图背后的含义我也未能搞懂,但就连接方式来说,他们的连接方式和神经网络的还是有差异的。

来源https://www.frontiersin.org/articles/10.3389/fnana.2010.00013/full

也就是说,一个神经网络的模仿对象是我们大脑里面的一个区域里面的连接起来的一部分神经。这里面用了很多”一个“来表现神经网络模仿的范围之小。况且还不是直接模仿,其实说模仿并不准确,说借鉴可能更准确。

技术层面

这时候有人会想了,既然神经网络只是启发于神经元链接方式,那可否发明一种不和人脑构造类似的架构,在这个架构里不停增加层数,不停增加神经元,是否就能实现神经网络越大越智能?

理论上并不是永远不可能,但短期内应该看不到这种革命性的架构被发明出来。题外话一下,在刘慈欣的科幻小说《镜子》里,超弦计算机可以查看过去,预知未来,如果人类能发展到这个程度,那什么智能都是小儿科,因为所有状态都是可预知的。不过那毕竟是科幻。

回到正题,那么我们目前的神经网络足够大,是否能产生智能?

如果你说的”智能“是某个事情上能达到和人类一样甚至更好的效果,那早就达到了,阿尔法狗通过统计方法来战胜人类,这种是不同维度的打击,未来还会一直发生,例如自动驾驶,所有人都需要警惕自己的技能是否太简单,会不会被取代。

不过我相信你说的”智能“是跨领域的能力。那么可以参考这篇论文《An Empirical Investigation of Catastrophic Forgetting in Gradient-Based Neural Networks》。链接放在参考[1]里。我这里简单概况下:

当同一个神经网络去学习若干相似的任务时,神经网络可以在这几个任务上同时得到提升,就好像我们人类的举一反三(图里显示两个相似任务,识别厨房用品与识别DVD):

横轴和纵轴分别代表旧任务和新任务的误差

而想要模型执行两个不相近的任务,那么模型表现得要么只有一个好,要么两个都不好。

其实这也很好理解,举个不恰当的比方,当一个人失明后,听觉会变得灵敏,就好像神经网络只学一样任务而不是两项任务,就会在单项任务上表现更好。

前面说的是”一个“神经网络。那么有没可能通过工程的方法,设置多个神经网络,让其各司其职,实现智能呢?对人类来说,我今天搬砖,我明天可以可以搬水管,搬的方法都一样。但是要用人工智能来做这个事,首先它需要有神经网络识别砖头和水管,然后知道”搬“这个动作的触发时机,万一明天要搬轮胎,那之前只能之别砖头和水管的网络就要重新训练。人工智能能穷尽有限状态里的可能性,但不能穷尽人类已有的知识,即使想去穷尽人类的知识,那个工程量也并不是目前能搞得定的。

后记

总结下神经网络规模再大也不能产生智能的原因:神经网络模拟的是一个个大脑功能,最多是大脑的一个分区,而不是大脑本身,且神经网络的”遗忘性“决定了单个网络无论怎么连接都不可能实现跨任务智能,跨得任务越多越”智障“。

其实还想说,并不是神经元堆砌就能产生智能的。如果规模大代表智能高,那么如果算大脑体积,蓝鲸的大脑是最大的。但显然蓝鲸并非地球上最聪明的生物。

有人想,如果模拟大脑本身,那么是不是就能实现真正的强人工智能了?理论上时的。但人类目前还没人造大脑本身的能力。如果人真的能用工程方法复现一个大脑,那么强人工智能时代才真正到来。

参考

  1. ^An Empirical Investigation of Catastrophic Forgetting in Gradient-Based Neural Networks https://arxiv.org/pdf/1312.6211.pdf

编辑于 07-26

作者:桔了个仔
链接:https://www.zhihu.com/question/408690594/answer/1363115251
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
 

明显不能。原因是:

神经网络模拟的是一个个大脑功能,最多是大脑的一个分区,而不是大脑本身。

这里从结构层面和技术层面两方面来讲。

结构层面

神经网络是从大脑的神经连接得到启发的。要实现真正的智能,那么就要实现和大脑差不多的结构。

而对于人对大脑的运作方式至今还未能完全搞懂,甚至可以说,大部分都还没懂。脑科学的确是突飞猛进的,对于神经基本运作原理已经很明朗了,所以也能对人工神经网络的发展进行反哺,但人脑的机制还有很多方面是人类目前未能搞清楚,或者搞清楚了但也拿它没办法的。

这里不是生物课所以不打算展开讲,放几张图只是为了解释人工神经网络模仿的是什么。

首先我们看看人脑结构。人的大脑是个复杂结构,表面覆盖了一层皮层。

人的大脑

皮层和覆盖在大脑沟壑上,如下图深紫色所示

来源维基百科,大脑皮层在外层,用深紫色描绘。

而我们的神经网络,模仿的是皮层里的神经连接方式。且不同区域的皮层负责不同部位。

即使是同一个区域的皮层,他们也不是”全连接“的,例如下图,虽然这幅图背后的含义我也未能搞懂,但就连接方式来说,他们的连接方式和神经网络的还是有差异的。

来源https://www.frontiersin.org/articles/10.3389/fnana.2010.00013/full

也就是说,一个神经网络的模仿对象是我们大脑里面的一个区域里面的连接起来的一部分神经。这里面用了很多”一个“来表现神经网络模仿的范围之小。况且还不是直接模仿,其实说模仿并不准确,说借鉴可能更准确。

技术层面

这时候有人会想了,既然神经网络只是启发于神经元链接方式,那可否发明一种不和人脑构造类似的架构,在这个架构里不停增加层数,不停增加神经元,是否就能实现神经网络越大越智能?

理论上并不是永远不可能,但短期内应该看不到这种革命性的架构被发明出来。题外话一下,在刘慈欣的科幻小说《镜子》里,超弦计算机可以查看过去,预知未来,如果人类能发展到这个程度,那什么智能都是小儿科,因为所有状态都是可预知的。不过那毕竟是科幻。

回到正题,那么我们目前的神经网络足够大,是否能产生智能?

如果你说的”智能“是某个事情上能达到和人类一样甚至更好的效果,那早就达到了,阿尔法狗通过统计方法来战胜人类,这种是不同维度的打击,未来还会一直发生,例如自动驾驶,所有人都需要警惕自己的技能是否太简单,会不会被取代。

不过我相信你说的”智能“是跨领域的能力。那么可以参考这篇论文《An Empirical Investigation of Catastrophic Forgetting in Gradient-Based Neural Networks》。链接放在参考[1]里。我这里简单概况下:

当同一个神经网络去学习若干相似的任务时,神经网络可以在这几个任务上同时得到提升,就好像我们人类的举一反三(图里显示两个相似任务,识别厨房用品与识别DVD):

横轴和纵轴分别代表旧任务和新任务的误差

而想要模型执行两个不相近的任务,那么模型表现得要么只有一个好,要么两个都不好。

其实这也很好理解,举个不恰当的比方,当一个人失明后,听觉会变得灵敏,就好像神经网络只学一样任务而不是两项任务,就会在单项任务上表现更好。

前面说的是”一个“神经网络。那么有没可能通过工程的方法,设置多个神经网络,让其各司其职,实现智能呢?对人类来说,我今天搬砖,我明天可以可以搬水管,搬的方法都一样。但是要用人工智能来做这个事,首先它需要有神经网络识别砖头和水管,然后知道”搬“这个动作的触发时机,万一明天要搬轮胎,那之前只能之别砖头和水管的网络就要重新训练。人工智能能穷尽有限状态里的可能性,但不能穷尽人类已有的知识,即使想去穷尽人类的知识,那个工程量也并不是目前能搞得定的。

后记

总结下神经网络规模再大也不能产生智能的原因:神经网络模拟的是一个个大脑功能,最多是大脑的一个分区,而不是大脑本身,且神经网络的”遗忘性“决定了单个网络无论怎么连接都不可能实现跨任务智能,跨得任务越多越”智障“。

其实还想说,并不是神经元堆砌就能产生智能的。如果规模大代表智能高,那么如果算大脑体积,蓝鲸的大脑是最大的。但显然蓝鲸并非地球上最聪明的生物。

有人想,如果模拟大脑本身,那么是不是就能实现真正的强人工智能了?理论上时的。但人类目前还没人造大脑本身的能力。如果人真的能用工程方法复现一个大脑,那么强人工智能时代才真正到来。

参考

  1. ^An Empirical Investigation of Catastrophic Forgetting in Gradient-Based Neural Networks https://arxiv.org/pdf/1312.6211.pdf

编辑于 07-26

作者:若羽
链接:https://www.zhihu.com/question/408690594/answer/1443267762
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
 

关于神经网络的争论。

Pros:1989年无限逼近理论证明了,神经网络可以在一个紧致集(compact set)上逼近任意连续函数。近些年,谷歌的科学家证明了,当神经网络变得无限宽时,通过高斯过程描述该集成,它的均值和方差在整个训练过程中便能被计算出来。北大的王立威教授对NTK的研究认为,网络足够宽的情况下,神经网络的非凸优化变成了类似核模型的凸优化。然后,Richard Sutton说,任何依赖先验专家知识的智能实践必然失败,以硬件支撑算力的暴力美学才是出路。

Cons:一大批生物认知智能的科学家和包括朱松纯在内的计算机科学家都认为传统算法(包括神经网络算法)的视觉实践遇到了“性能墙”,必须先把生物智能作为一个阶段性的求解目标。贝叶斯网络的发明者Judeal Pearl也认为大规模的经验主义模型只是挖掘数据的相关性,而非探究因果性。最早研究神经网络的那些人如Hinton、LeCun等,希望找到不依赖反向传播的算法,也就是说Hinton已经多少动摇了年轻时候的观点,即认为隐层中间的梯度传导可以模仿大脑的神经元机制。

深度学习社区今天一直在强调System2.0,换言之,他们也在思考出路。如果智能是指高效计算以及靠存储模型记忆结构化的人类知识数据,目前的人工智能已经做得足够好了,这种成就的获得依赖于神经网络及其带动的GPU、TPU技术发展;但如果智能指的是归纳推理、哺乳动物的感官技能、形成人类社会意识形态衍生出来的道德伦理与价值取向,那是真的强行难为之事。

编辑于 08-30

作者:王华
链接:https://www.zhihu.com/question/408690594/answer/1371800429
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
 

现在的框架决定了 大概率不行。因为现在的深度学习 效果好的都是监督学习,也就是训练样本都标定好了,泛化能力时强时弱、不稳定、不受人们控制,想提高泛化能力,最有效的就是 堆训练集。

而其实人类像是半监督学习,即给定几张猫的图片训练,日后见到其他猫的品种,识别猫正确率很高。

而目前半监督学习框架 正确率远远不行。

ImageNet 1000种类别图片,监督学习需要上千万训练集,才能达到比较好的正确率(TOP5 acc 95%左右),而且遇到图片可能旋转个角度,可能就会产生判别错误或者置信度下降的情况。

来个例子,如下所示:

来个正图片,短尾猫概率最高。

来个倒置的,AI瞬间不自信了,或者就错了。

这就是监督学习的脆弱性、不确定性,让人疑惑的地方,难以控制的地方。

你不能把训练集所有图片各种旋转、裁剪、模糊都加入吧。

而人类可能几万张就够了。这就是差距,当然,毕竟大多的数据标注还是人类标注的,所以目前深度学习挺难突破太多的。

不稳定、不受控制确实挺头疼的,这就不是智能的表现。

看有没有新框架开拓者了,目前的深度学习框架感觉远远产生不了人们想象到的类似美国大片《终结者》那样的智能。

不过,目前的人工智能在各行各业已经凸显其实力,确实比传统方法效果好,生产力也是王道。

编辑于 07-30

猜你喜欢

转载自blog.csdn.net/weixin_42137700/article/details/108339136