T教授：我看目前人工智能本质

indy

（还是帮T教授发个主贴免得精彩处流失于网络洪流）

@testjhy

http://www.aswetalk.net/bbs/home ... o=blog&id=93754

indy

当前，人工智能风靡整个社会，爱坛讨论得也很热烈，@indy特意让我看这篇文章：李子暘: 人工智能是不是下一個泡沫？http://www.aswetalk.net/bbs/foru ... read&tid=160316，希望我点评其中的精彩部分。我想了想，还是从根上考虑吧，把我思考的一些观点抛出来供大家批判。

在@xiejin77解读的“大模型能够自我识别吗？”http://www.aswetalk.net/bbs/foru ... read&tid=160343中，我首先分析了目前以大模型为主的人工智能，即使有完备的知识数据(语言样本)，由于对语言样本的预处理、深度学习的强非线性和生成语言的概率性，人工智能自我识别的能力很弱。

在上述讨论中，@老票认为自我识别与认同是自我意识的关键，@xiejin77认为这套机制还不太清楚。我就从这个根上聊一聊。

我的观点，“自我意识”已经有重要的构建了，譬如说马斯洛的人类需求7个层次，这是一个维度。另一个维度就是人类成长过程中，“自我意识”也是逐步成长发展的。

我自己的看法，“自我意识”分成两大分枝，一个是生存，一个是繁殖。生存从打猎摘果发展成劳动到社会各个层面，繁殖从交配到群体到社会各个层面。如果在形成社会以前，人类还是初始过程。只有形成社会，并从平常的吼叫通信发展成语言，人类才从一般动物中区别出来，而文字的产生又大大加快了人类进化的步伐。从社会进步来看，“自我意识”是逐步加强的过程，象古代奴隶制社会，普通奴隶能有多少“自我意识”？到现代社会，自我意识大大增强，个性化，自我规划等等都能看出这个痕迹。

从个体成长来看，从孩子落生自动寻找母乳，到缠着父母“我是从哪儿来的？”，再到青春叛逆期，...，都是自我意识加强的过程。

这些与人工智能有关吗？有关，这就是上述讨论中，@老票 票老师提出的动机，或源动力，@indy在讨论中提出的探索力。

把以上讨论来对照现在的人工智能，一眼就能看出，目前的人工智能只是工具，它没有源动力，是不能与人类比较的。

不过你也不要小瞧这个工具，我们以前科技进步产生的工具更多的是改造我们的客观世界，而人工智能这个工具是可能改造我们主观世界。

先回答@indy的提出的评价要求：首先，这次人工智能的进步是突破了人机交互的困境，以前的人工智能只能是专业研究者的工具。服务于大众要么是套用干巴巴的几个模板，要么是读起来拗口的几个句型。利用Transformer技术，大模型从海量的语言样本中自动“学会”了人类的语言，打引号就是说它并不自知。其次，由于是从能保证基本正确的语言样本中通过深度学习产生的大模型“知识库”，所以它能保证大多数产生的输出是正常的。但为了实现每次回答语言或内容可适当调整，利用概率引导生成这种必然性中产生一定的可替换性。这种概率性会产生“不正常”的输出，这些不正常的输出其实包括两个方面，一是胡说八道，二说不定是一个创新型思维，我个人认为第二种有一定的概率，只是目前还没有看到这样的实例。

那么，人工智能是不是下一个泡沫呢？我个人认为不尽然，生成式人工智能还在快速发展过程中，理论方法不断迭代，现在已经有很多很好的应用。譬如，机器翻译正在从可用到好用的征途中，在这过程中带起很多泡沫或许不可避免。如果说一艘船在劈波斩浪中前进，肯定能带起起较大的浪花；如果一艘巨轮不再前进，泛起的泡泡只是腐败的过程。人工智能应用进一步渗透社会的方方面面，是这艘巨轮发展的进一步动力。

最后，回到开始讨论的自我意识问题，很多研究者包括我自己在内，呼吁人工智能研究要与智能机器人研究融合起来，实现观察--思考--执行的智能循环。我自己有一个不完全恰当的比喻，现在的人工智能就象躺在轮椅上的霍金，思想的巨人、行动的侏儒。然而具有人工智能的机器人，就必须讨论“自我意识”问题。因为作为智能机器人，它未来可能越来越“自主”工作。譬如，智能轮椅，当它坐上行动不便的老人时，遇到即将发生的交通事故，它是保护自己不管客人还是牺牲自己保护客人？现在你可能认为这还要说嘛，肯定是保护人最重要，但当智能轮椅真的非常“智能”了，你不是象现在通过程序强行这样的操作，而是包含了这样的意思的“形而上”元知识呢？这个机器人可能类似计算机里的bios，在启动时给它一个初始规范，后面的行为只是要求符合这样的规范，最著名的可能是阿西莫夫机器人三原则：

1、机器人不得伤害人类，或者目睹人类个体将遭受危险而袖手旁观。
2、机器人必须服从人类的命令，但当该命令与第一定律冲突时例外。
3、机器人在不违反第一、第二定律的情况下，要尽可能保护自己的生存。

这些是抽象的要求，譬如说被大模型的人工智能程序“习得”，到执行时会不会打折扣？更进一步，如果两个大国硬对抗下，两边的智能机器人要识别“好人”、“坏人”，要建立自己的“意识形态”，这就要未来的人工智能与人产生相似的自我意识环境。

不行，再发挥下去无边了。收回来说吧，目前以大模型为基础的人工智能是一个很好的智能工具，要赋于它自我识别、自我意识还要人工智能解决它目前的一些问题和困难，作为一个“强人工智能论”支持者，我认为人工智能进一步发展以及与机器人的有效结合，使得我们不得不考虑它的自我识别和自我意识等以前只有人类这个高等生物才特有的现象和问题。

*弱人工智能论认为人工智能只是工具，它的发展不可能超越人类；强人工智能论认为人工智能发展肯定全面超越人类的各种能力。

indy

indy: 谢谢T教授精彩评论。我转帖的文章里面有一种观点是，“现有AI不过是对已有大数据根据一定模型得出概率最大最可能与前面问题相关的词语的堆砌，虽然看起来很美，但是现在的AI并不理解这些词语堆砌起来的意义“，T老师觉得AI以后能不能发展出类似人类的美感和鉴赏力之类的能力？

indy

xiejin77: T教授的说法其实是杨立昆说的世界模型范式，同时结合了最新的概念具身智能。

但阿西莫夫三定律的设计已经远远超出了这个范畴，目前的大模型的预训练阶段得到基础模型的技术相对清晰，也比较成熟。但是后续做对齐，做RLHF，做价值观渗透的技术动作，各个厂商都还是处于一种秘而不宣状态。而这个环节其实才是最重要的。基础模型是一个具备了一定概率猜测能力的黑盒，这个能力是源自大数据语料；但是如何让这个能力能够为人类所用，才是对齐阶段最关键的技术。而对齐之后的大模型，能不能像科幻小说一样遵循阿西莫夫三定律，这更是一个也许很久都不会有答案的谜题。再加上基于杨立昆的世界模型和具身智能引入之后的基础模型持续学习，将会对于现有技术在对齐的动作上的探索认知产生颠覆性的变化。
所以，当前的大模型，更多还是工具，但是这工具让人们看到了自动化甚至是有意识的自动化的可能。

indy

indy 发表于 2024-8-12 10:39
indy: 谢谢T教授精彩评论。我转帖的文章里面有一种观点是，“现有AI不过是对已有大数据根据一定模型得出概 ...

xiejin77: 理论上来说，经过对齐的基础模型其实是具备了所谓的类似人类的美感和鉴赏力的。只是这个能力是人类观察到的而已。

说得更直白的话，就是大模型获得的类似人类的美感和鉴赏能力，来自于人类自身感知。这不就变成死亡闭环了，你以为的就是你以为大模型以为的那个样子。

indy

鳕鱼邪恶: 这个三定律或者其它定律不是人工智能的制造者赋予的吗？这么多制造者，谁知道到底赋予了啥基础定律。

所以，最后会不会出来个人造恶魔谁也不知道吧？马斯克担心的是不是这一点？

indy

@testjhy

"我自己的看法，“自我意识”分成两大分枝，一个是生存，一个是繁殖。生存从打猎摘果发展成劳动到社会各个层面，繁殖从交配到群体到社会各个层面。如果在形成社会以前，人类还是初始过程。只有形成社会，并从平常的吼叫通信发展成语言，人类才从一般动物中区别出来，而文字的产生又大大加快了人类进化的步伐。从社会进步来看，“自我意识”是逐步加强的过程，象古代奴隶制社会，普通奴隶能有多少“自我意识”？到现代社会，自我意识大大增强，个性化，自我规划等等都能看出这个痕迹。"

看到这一段的时候，作为一个曾经的生物学微生物学学生，很自然就联想到教科书里面生命（life)的两个本质特征：通过新陈代谢维持自身生存和生长，通过繁殖维持种群的延续。对比一下，如果上面引用段落里面AI的生存和繁殖都能够持续实现的话，拥有自我意识的AI就已经可以定义属于（新）生命啦。