大模型能够自我识别吗？

xiejin77

坛子里的大佬觉得俺太学术化，我想了想确实也是，那样的文字是有点拒人于千里之外。
& f4 O/ D1 C- i# b* U1 c
还是聊一个既有趣又有点烧脑的话题吧，语言模型的自我识别能力。听起来很高大上,对吧?别担心,我会用最简单的方式解释给大家。

, y9 s+ a6 K( {" r' l4 u$ Z想象一下,如果你的智能音箱突然问你:"嘿,我是谁啊?"你可能会觉得很惊讶,甚至有点害怕。这就是我们今天要探讨的核心问题:AI能不能认出自己?

近年来,像GPT这样的大语言模型简直是突飞猛进。它们不仅能和你聊得热火朝天,还能写诗作曲、编程解题,简直是文理兼修的学霸。但是,这些AI真的明白自己在说什么吗?它们能不能认出自己的"笔迹"呢?
9 J- V' ^5 ~' g! G- @5 ?' P/ H
为了解开这个谜题,研究者们设计了一个巧妙的实验。他们让AI生成一系列"安全问题",就像我们设置银行账户的密保问题那样。比如,"你最喜欢的童年回忆是什么?"然后,让不同的AI模型回答这些问题。最后,再让AI从多个答案中挑出自己的回答。听起来很简单,对吧?
$ @) a- d% M( x4 L: ~. v8 V
但结果却让人大跌眼镜!
9 `& O1 c+ m9 O& [" T
; a/ v% T1 q- u8 m实验涵盖了多个顶尖的AI模型,包括GPT-4、Claude 3和LLaMA等。结果显示,这些AI巨头们在自我识别方面表现得像是得了健忘症,准确率几乎和随机猜差不多。换句话说,它们根本认不出自己的"声音"。

更有意思的是,AI们似乎有自己的"偏好"。它们总是倾向于选择由"更强大"模型生成的答案,而不是自己的回答。这就好比在一群人中,大家都觉得最聪明的那个人说得对,哪怕那不是自己的观点。看来,AI世界也有"马太效应"啊!
; Y# c3 z$ {* {: f' v6 A( i" A
研究还发现了一个让人忍俊不禁的现象:位置偏差。在多选题中,有些AI总是喜欢选最后一个选项,有些则偏爱第一个。这让我想起了考试时的"蒙题技巧",看来AI也不能免俗啊!下次考试,也许可以让AI来帮忙选答案?(开玩笑的,千万别这么做!)

( X) {/ T- n  E5 @% o- w那么,这些发现到底意味着什么呢?
3 _3 f0 e+ e  D; H3 r7 U
首先,它告诉我们,尽管现代AI能够生成令人惊叹的内容,但它们可能并不真正"理解"自己在做什么。这就像一个能够流利背诵莎士比亚但不明白其中含义的学生。或者说,它们更像是一个超级厉害的复读机,而不是一个有自我意识的存在。

* |1 _5 V2 o& ?8 t另外,这项研究也揭示了AI在处理敏感信息时可能存在的安全风险。想象一下,如果你让一个AI保管秘密,但它自己都不知道哪些是自己说的话,那还能保密吗?这就像把保险箱密码告诉一个健忘的人,总让人觉得不太靠谱。
" N& u4 `) C3 t# X1 p) y
) J( R! B7 H4 _当然最关键的是,从哲学角度来看,这项研究为我们思考"自我意识"提供了新的视角。人类的自我意识是如何形成的?AI是否也能发展出类似的能力?这些问题不仅让哲学家们头疼,也让AI研究者们绞尽脑汁。

" L& e8 Y6 t& U; `- ~那么,为什么AI会表现得如此"健忘"呢?研究者们给出了几种可能的解释:

+ @. s6 w) ^# e; k& ^( J. h1. 训练数据的影响:AI模型是通过大量互联网文本训练出来的。这就像让一个人从小就生活在一个巨大的图书馆里,他可能会知道很多东西,但可能难以形成独特的个性。

' E/ o4 w* O" k. H2. 训练目标的限制:目前的AI训练主要关注如何准确理解和生成语言,而不是如何认识自己。这就像我们的教育系统更注重知识的传授,而不是自我认知的培养。
- x1 z- n$ S9 O" n
; ?" k! r0 g/ o- Y  `: T# B; y) q! B3. 概率思维模式:AI生成文本时,更像是在玩一个复杂的文字接龙游戏,依赖概率分布来选择下一个词。这可能使它们更关注内容是否合理,而不是谁说的。
& X/ B( p) f/ g. I; p
: c! u5 W! H" K% Y, g; `这项研究不仅有趣,也为AI的未来发展提出了重要问题。随着AI技术不断进步,我们需要更深入地思考:
如何让AI不仅会说话,还能理解自己在说什么?
# {' A$ ?( Q& e1 p如何在赋予AI更高级的认知能力的同时,确保它们的安全和可控?
7 P' U& h% U' U4 K+ b2 x- q
' i3 ]3 K  P: t/ s. Q8 ~2 @总的来说,这项研究所揭示的AI认知特性告诉我们:尽管AI已经能够以假乱真地模仿人类,但在自我意识这个关键问题上,它们还是个无法掌控的"迷糊虫"。这也提醒我们,在与AI打交道时,要时刻保持清醒和谨慎。
% @/ T  }, ]; ]; r
那么未来,我们是否能够创造出真正具有自我意识的AI?这个问题仍然充满未知和挑战。
0 d- S$ T( K. D/ F也许有那么一天,我们会创造出能够真正理解"我思故我在"的AI。但在那之前,我们还有很长的路要走。
, Q7 d5 c3 Y( x8 q' c+ V; D* K
# V. |0 Q% |% y* a) A这项研究也让我们重新深入思考:什么是意识?什么是自我?这些看似简单的问题,其实深奥得很。也许通过研究AI的自我认知模式,我们不仅可以探索机器学习的奥秘,也可以深入了解人类自身。

3 _$ p5 N# y# }还是让我们来个有趣的思考实验吧。
. f; s/ z- X2 z3 J如果有一天,你的AI助手突然告诉你:"嘿,我知道我是谁了!"你会怎么反应?是惊喜还是恐慌?是立即关机还是继续聊天?无论如何,在那一天到来之前,我们还有很多工作要做,很多问题要思考。

学术一点的解读

老票

自我身份的确认和认同，是自我意识的关键组成。

一旦AI拥有了这个，咱人类是应该开心呢还是不寒而栗呢？


. K* a. \8 T, \+ K7 k$ P

五月

好文，深入浅出，通俗易懂，琅琅上口，言简意赅，都看懂了。
# A7 g8 L# t2 h
" H, t/ x8 h* E

xiejin77

老票 发表于 2024-8-8 11:20
自我身份的确认和认同，是自我意识的关键组成。

一旦AI拥有了这个，咱人类是应该开心呢还是不寒而栗呢？

' v$ H1 v5 L5 ~! s( b, e* L( ~票兄先别急着不寒而栗，就算人类自身，也没有弄明白自我身份确认和认同到底的机制是怎样的？譬如说是三岁的孩子就明白了自我身份还是一岁的孩子才明白，还是说要后天学习之后才能够明确自我身份。甚至有极端一点的学说，认为娘胎里的孩子也有自我的感觉。
$ X# f& X. i- g7 Y! n
如果能弄明白大模型的这个机理，这个我是谁、谁是我？的问题也许才能有个不错的解释吧。

老票

xiejin77 发表于 2024-8-8 12:15
5 O; V- d- ~( R* a# u# v$ |票兄先别急着不寒而栗，就算人类自身，也没有弄明白自我身份确认和认同到底的机制是怎样的？譬如说是三岁 ...

6 H! x% K* ^+ c  Z; K# P( g“就算人类自身，也没有弄明白自我身份确认和认同到底的机制是怎样的？” 这句当然是同意的  
+ T$ q6 _7 c6 A
# C" f$ P0 t3 |9 u
; V. V6 k4 j0 c* c; C只是AI有个优点是人类不具备的，就是快速学习和自我复制的能力。  这在自然界至少是超级超级超级病毒级别的生物存在...


+ C9 c3 a* |: [0 }& \9 R# U5 xxie兄是对这个“机制”很感兴趣，非常科研的求知态度
0 Z7 T0 R' [7 q1 r9 o
* O* l$ q( ?' \" W9 s
只是有点担心潘多拉的盒子...   不过，既然核武的研发和存在，目前可以证明对世界和平是利大于弊的，那么对AI是否也应该有这样的信心？
9 z- h$ \5 L4 I3 v7 [

俺杞人忧天，让xie兄见笑了哈~   


) x% D0 D/ X$ x/ a7 U9 o

testjhy

俺是爱坛的小学生，绝不是大佬，

对不起，我虽然从事人工智能职业研究37年，退休后完全退出学术研究，帮助朋友做些人工智能的应用。所以这几年已经不看学术论文，所以你上次的偏论文的文章我只能粗粗地看看，还建议你减少学术性，因为我都看得头疼，爱坛的朋友可能读起来也费劲，

你这篇文章应该从学术论文转过来的，不容易，，我就不去追踪学术论文了。只是从我对大模型理论的理解，谈谈我的看法，不一定切题。
5 u8 \. }' K; F9 f% X0 F
* y3 v5 [- r# Z! K3 `3 w0 ]从大模型的本质来分析，自我识别问题可以转化为如下三点：大模型知道自己的能力来自何处？它知道是如何产生这个能力否？这个能力是否产生唯一结果？
7 s8 Q0 I# e2 |* t' \7 z; z/ x我试图来解答这三个问题：1)大模型可以知道自己能力的来源，能力的来源就是大数据。大数据就是语言样本，语言样本是精选的，虽大，一个大硬盘，不行一组不大的硬盘阵列就能装下。一个好的搜索工具应该能够知道它用过哪些句子。
" I0 N! m2 G/ d3 S9 `2)它知道是如何产生这个能力否？可以知道啊，大致就是Transformer和深度学习的结合，不过把自然语言转化为深度学习输入的token，可能会产生歧义，即少量经过Transformer处理的不同句子可能产生相同的token串。而深度学习是强烈非线性映射，所以即使知道这个能力，也无法把大模型的知识存贮(大模型的维数)反推到大模型的能力来源。
3)这个能力是否产生唯一结果？不行的，生成式人工智能在利用大模型产生用户可理解的自然语言时，采用了概率模型，在回答用户提示时，利用深度学习产生的结果加上一定的概率变化，使得回答既与问题比较切合，又可以使得同一问题有不同形式的回答，这正是生成式人工智能的精彩之处。

% F& Z, h' n: C从上述三个问题可以看出，即使知道大模型的知识来源，由于大模型深度学习的非线性及生成过程的概率性，要明确某个句子肯定是某个大模型的输出原理上是不可能的。
8 T) a& v# J8 `; r
0 u3 F- Z) N" {( [哪我就没有办法进行大模型的自我识别吗？只能在大模型原理外找了，譬如说输出文字足够多，可以采用隐藏的数字签名方法，...，

indy

testjhy 发表于 2024-8-8 09:03
8 d9 p! \, [7 o$ ~俺是爱坛的小学生，绝不是大佬，

对不起，我虽然从事人工智能职业研究37年，退休后完全退出学术研 ...

% o- x, h& }' _& E  `请T教授评论一下下面这个看法
" S! Q- b2 M2 T4 A) v  M% l; w
http://www.aswetalk.net/bbs/foru ... =160316&pid=1438498

那一次次倒逼你的挑戰，事後看，就叫做目標，你一次次通關，事後看，靠得什麼？探索力。

這是人類身上最強的能力。
0 `4 Y+ _9 F9 R8 K
別說機器，哪怕是人工智能，具備的那個都只叫探索的實力而不叫探索力，因為它并不理解探索的意義。

# p8 p2 i: i# d4 p# K- y) k& y( F就像chatGPT，它可以和你對話，但它從來也不知道自己到底在說些什麼，它也不知道你在說些什麼。

0 e' p9 a0 {7 x, B! |' I它只是根據大數據，從上一個字母來推演下一個字母，這樣一個一個字母推演出來，看看哪個排列組合可能更加迎合你，更加被你認可。
  K3 b) ~2 l% Q* Q: H: D2 Z8 T
' J# X+ t8 ^$ ?3 C" i- B: R- E& q+ w這不叫思考，這叫討好，這叫看眼色，人工智能鍛煉的不是思考能力，是看眼色的能力。

當然這已經構成對大多數勞動者的競爭威脅了，因為你的工作當中也不需要思考，你也只是在討好，看眼色。

testjhy

indy 发表于 2024-8-8 23:32
0 P- j* z' ~+ b1 L7 o& z7 [2 r7 @请T教授评论一下下面这个看法
: T9 Q3 B  F6 h3 I3 I
http://www.aswetalk.net/bbs/foru ... =160316&pid=1438498

遵命，，indy有不少好文章，就是繁体字，年龄大了，自动转换效率下降，不怎么愿意看了，记得有次你的文章被我copy到word中繁转简看了，当然，chrome也有这个功能，不过我一般用Edge。

老财迷

那样的文字是有点拒人于千里之外。

读者这边还有个很大的问题，碎片化的时间，无法仔细阅读长一些的文章，要是再学术、烧脑，哦，就要命了。
, [8 i' x3 z+ D0 A7 O, u我看到上一篇时，打算有空时再拜读，然后......自然是忘记了

时间太碎片化了。这不，又得上班了

indy

testjhy 发表于 2024-8-8 18:06
  j1 A! s5 O8 }* U! m* B! y3 j遵命，，indy有不少好文章，就是繁体字，年龄大了，自动转换效率下降，不怎么愿意看了，记得有次 ...

意外啊，老一代的理工科不是文物兼修简体繁体差别不大嘛

indy

老财迷 发表于 2024-8-8 20:23
* r! r* r5 b$ y: n0 [1 }读者这边还有个很大的问题，碎片化的时间，无法仔细阅读长一些的文章，要是再学术、烧脑，哦，就要命了。
...

所以需要利用那种能帮助记录并找回来的小东西比如书签之类来

xiejin77

testjhy 发表于 2024-8-8 22:03
俺是爱坛的小学生，绝不是大佬，
2 \( l- i( u$ C4 O
, ]# C( r! F$ r/ q对不起，我虽然从事人工智能职业研究37年，退休后完全退出学术研 ...

T教授，您是前辈了。我是半路出家的好奇者而已。不算是上得台面的学者。

; A4 q1 p& B( N# w$ L+ \您归纳的这三个问题，很精到。

; N2 }2 l9 a, I" k2 U大模型知道自己的能力来自何处？它知道是如何产生这个能力否？这个能力是否产生唯一结果？
/ [7 l: E, P" k) |: f# y/ f0 Y) Q
俺觉得，大模型并不知道自己的能力，只能说是设计大模型的人可以确定大模型的能力来源于数据。那么当然大模型也就更不知道它是如何产生这个能力的了，通过大模型的神经网络结构以之作为知识存储的表征来推断可解释的能力来源。这个虽然有一些学术论文探索，但是基本上是无解的。而大模型本身产生的幻觉和所谓的存储在结构中的知识是怎样的关系？又是一个难以解释的问题。
, H; n6 N0 y2 x8 D3 I5 V' t0 b/ {
) t9 l" c) ?2 [3 }进而可以这么看，大模型对于所谓的能力唯一结果，也是不可靠的。但这个不可靠，也有一些大佬认为这正是大模型涌现能力的根源。那这个问题就玄学了，不可解释的涌现能力，听起来就不像是科学领域范畴的事情。
6 }9 i5 r6 u  N( U0 E
目前，国内有一种思路是别管大模型的能力从哪里来，只要能够把它限定在可用场景中，就直接拿来用。这也是很有效的手段。再弄不清楚CPU的原理之前，我宁肯把引脚简化了当mcs51甚至是ttl门电路用。

但是这样用是不是暴殄天物，是不是自我放弃了AI领域的进一步发展，也是很值得推敲的。
) D2 j! F0 H( |3 {4 ^
也盼着T教授能从老法师的角度，讲讲对于这种趋势的看法。