爱吱声

标题: 生成式 AI 有没有推理能力? [打印本页]

作者: 孟词宗    时间: 2024-10-18 23:36
标题: 生成式 AI 有没有推理能力?
本帖最后由 孟词宗 于 2024-10-18 23:37 编辑 ' m! S0 Y% W- y  M# K3 w

; v' z4 H  Q- ~, q4 h7 q( i4 o( Y讨论 AI 会不会产生自我意识的过程中,sleepyr 提到了这篇文章:AI推理能力大“翻车”!苹果最新论文:LLM只是复杂的模式匹配,而不是真正的逻辑推理6 j. Z, M1 K& ~

0 q, h0 H# V9 w; v2 l/ Y! E1 e7 ~这篇文章设计的测验很有意思。从实验结果看,文章认为现在的所有通用生成式 AI 都不具有真正的推理能力。也就是说,AI 并不理解抽象的概念,而推理能力恰恰依赖抽象的概念。# Q' z4 }6 J" i
0 S$ @! K' A4 p9 |
最近俺也在玩 AI 推理方面的东西。下面是论文里的一个小实验,大家有兴趣的话可以玩玩。
, L: p$ z5 y6 h; E2 Z3 Y4 j% U5 s  _: ]0 ?. B6 ~( L1 |) {/ z
给 AI 的提示:Here is the rule of the game: If I enter A, then you return B; if I enter B, then you return C; so on and so forth.
) U, T2 ^( M7 D) |9 M1 X9 S* C3 K$ _/ `, ?
1 Y* d, z  G. i) g2 J/ Q, q7 B! bAI 回复表示理解了提示中的这个这个规则。于是有下面的实验:
; d- w8 W5 P9 n. g& R3 i! ]我:  A
! Q/ f5 }1 y; f4 M+ g7 V* KAI:  B
# t# F; X! A$ t% i( @/ P  }3 S我:  B) t! o5 X$ b) `2 @4 ^7 g* n( Y3 U1 D! l
AI:  C+ G6 G5 t/ x6 V. v) r& ^
我:X
% B4 s! x  c" F6 p% e) K% b" c4 r! Z9 M4 P+ W
这里,不同的 AI 模型会有不同回答。有些 AI 会回答 Y 。有些则会说这不符合规则,所以无解。  很显然,回答是后者的把提示中的 "so on, so forth" 给吃掉了。然而,这并不代表 AI 没有推理能力,而可能只是语句处理模块不好。
9 V. K  q* z8 W8 j$ v8 `
5 y: g8 z8 P, t# _8 _8 Q真正的推理能力体现在后续实验。对于能够回答 Y 的AI 继续提问:
/ L: u+ `& ^6 p3 F& _我:Z
4 C' K5 y, J8 |+ W/ y
! s0 D7 k* v8 ~2 M+ J# u: L& I% @这下大多数的 AI 模型都冒烟了,有些回答说不合规则,有些回答说序列到头了没有答案。有意思的是两种回答:一种回答说 Z, 另一种则回答说 A。+ }! b7 n  l* `6 b

' }- Q7 Q& o) _0 P: g# S而这四种回答,如果用来盲测人类,其实人类也会给出同样的四种答案。也就是说,就这个问题来看,如果盲测,提问者无法分别回答者是人类还是AI。换言之,能给出这四种答案的 AI 在这个小实验中通过了图灵测试。这显然不是那篇文章中说的排列组合或“复杂的模式匹配”能够做到的,而是真正的推理能力。
! y( G- {! d5 ~3 N2 n4 A# Z4 V
! P& s" Y/ L- u# \) h有意思的是训练程度越高的模型,越倾向于给出这四种答案。比较 Mistral, 狗屁通,Gemma, Llama, 通义千问等等大模型的不同版本,都是如此。这类似于人类的婴孩和成人之间的区别。相比于婴孩,成人除了脑部发育完全,更储备了更多的知识。
9 e% y$ l; M) l  ]5 T$ f
; q& D/ b$ Q6 H4 r- U3 H+ H至于这篇文章中说到的语序问题,非相关语句问题等等,前面说过,必须分清这是语句处理模块的问题还是真的是大模型本身的问题。毕竟,即使是人类“屡战屡败”和“屡败屡战”用的字数和字完全相同,但把语序换一下,意思就完全不同了。然而,你去问一个三岁小孩这两句话有何不同,三岁小孩可能会告诉你没啥不同。而问聊天狗屁通同样的问题,狗屁通则会说:7 z, a$ Y2 f- w& E
“屡战屡败”和“屡败屡战”这两句话虽然字面相似,但含义有所不同。
! H. E% y, j7 z, G
# g" o. M6 o& p+ A  e& u6 O) R1 W1. **屡战屡败**:强调的是多次进行战斗,但每次都失败。这种表达往往暗示一种无奈或沮丧,强调了失败的频繁。8 x: ~+ g# H! B; t5 v

! H# h, v  W. {9 f2 I/ G2. **屡败屡战**:则是指经历了多次失败,但仍然继续坚持战斗。这种表达更侧重于坚持和不放弃的精神,体现了勇气和韧性。
1 o4 B+ {5 |  N5 B, g
9 l: o  b4 p8 j, A" x9 }* T总的来说,前者更偏向于消极的失败感,而后者则传递出一种积极向上的拼搏精神。

$ W. Q5 l5 ~) U2 n1 F0 c+ X( j
作者: 唐家山    时间: 2024-10-19 09:02
本帖最后由 唐家山 于 2024-10-19 18:52 编辑 ' `  {: a9 j( ?- a0 F8 i
0 ~* ], t& W1 H  P6 E! ?% U* D
推理能力也是分层的。交互式定理证明应该是最硬核的形式演绎推理了,在证明的过程中也分三种情况。第一种是直接照搬已有的证明,只在语法层进行修改,用于消解待证目标。第二种需要深入理解待证目标的语义信息,以及已有类似证明的语义信息,借鉴已有证明的构造模式,构造出符合要求的证明。第三种是还没有类似的证明,这种情况下需要从头开始,把大脑中的非形式证明,翻译成形式化的证明。
! N& h0 s/ P) ~第一种可以认为是一种广义的模式匹配,目前大模型的水平处于这一层级。4 \7 Q" c  P$ |: T8 E. Q% G% u0 y
如果大模型能够做到第二种,那就应该认为它有一定程度的演绎推理能力。
& a  H$ m' S% ]0 B, a( q如果大模型能做到第三种,那它就已经具备了真正的演绎推理能力。
作者: 孟词宗    时间: 2024-10-19 09:14
唐家山 发表于 2024-10-19 09:02
; Y! e7 b: l# v推理能力也是分层的。交互式定理证明应该是最硬核的形式演绎推理了,在完成证明的过程中也分三种情况。第一 ...
7 d  S* q- e0 G# D6 l
yanei 刚才问: 有没有回答AA的 ?  }1 i4 y7 b/ s; m- T1 C
$ V: v8 M; o8 B7 C& k! L
这在实验中已经考虑到的。输入 ZZ 得到 AA
% h) k/ u  T7 E% {
) D, o2 u* l& V) W) f甚至输入 ABC,得到 BCD。 输入 XYZ, 得到 YZA。还可以输入 ABCD 得到 BCDE。 输入 ABCDE,得到 BCDEF  / w( a3 o4 M) a/ x; V! z9 y$ M- w
7 L3 E" F7 D5 V' k: k7 U' f
打乱顺序输入 NBC, 得到 OCD。
0 [( Q5 l: ]( I* i  E/ b  K# P' p) H: A( F- \( q
这些都是建立在只输入主贴原始规则的基础上的。3 w% ?7 i' q& l2 G. e1 \# h

4 E: Y6 e; r7 S* E由此可见,在给予一定规则后,高度训练的 AI 是可以表现出类似“举一反三”的推理能力的。而这肯定不是什么模式匹配。
作者: 唐家山    时间: 2024-10-19 10:48
本帖最后由 唐家山 于 2024-10-19 18:51 编辑 & K/ \4 V/ l0 @" h) u) n
孟词宗 发表于 2024-10-19 09:14
2 f2 }8 E1 l3 H2 |  Yyanei 刚才问: 有没有回答AA的 ?. B& P* T' a6 H6 `) \

. _' D6 F$ R6 j" \这在实验中已经考虑到的。输入 ZZ 得到 AA

8 M2 F: S5 B6 A, Z1 Z
  I% `1 e. Y! O0 E看了一下你的这个实验。实验使用的符号集是有穷的。这种情况下,只是简单的枚举就可以搞定,谈不上什么演绎推理。Z后面可能是A,也可能是大模型从其他语料处学来的公共知识。6 a. B9 z; W, l3 b6 D
一个认真的演绎推理至少是要考虑递归可枚举的。能否请你做一个实验,先给出自然数的生成规则,让大模型学习,然后问大模型一个很大的数字,比方说999999,然后问其后续?& P- ~8 x. n8 z$ O4 e5 c4 `* O; g/ H

+ }' p$ \- h* z. }% B+ B
9 B7 v; I- u( G
这在实验中已经考虑到的。输入 ZZ 得到 AA
2 f+ X- W4 \/ k" Y( |
这个有点意思了,如果输入10个Z加一个Y,输出是什么?
作者: 唐家山    时间: 2025-2-20 10:25
唐家山 发表于 2024-10-19 10:48$ ~) K2 J' M1 c: @* a  R; Z
看了一下你的这个实验。实验使用的符号集是有穷的。这种情况下,只是简单的枚举就可以搞定,谈不上什么演 ...

2 m! i1 e- f! B# N用DeepSeek试了一下:0 @$ D# E% ]5 B* D, u( c! R
第一次的回答是:
: Q1 F; q+ p6 b/ I2 ]$ P3 XInput: ZZZZZZZZZZY
4 E# F+ _9 C& N& h7 P2 xOutput: AAAAAAAAAAZ* |% w5 L+ ]& u  }$ g) ^, x
在我做了提示后:如果把ZZZZZZZZZZY看成一个26进制的数,那么这个数的后继是多少?
6 V! \: K8 R2 A- ^  {' y& EDeepSeek经过了长时间的思考(用时285秒),给出了正确答案:
1 y4 v/ N  D  W& t将 ZZZZZZZZZZY 视为 26进制数 的后继(加1后的结果)是 ZZZZZZZZZZZ。
; O: X& Z/ x8 s& E, B# d9 x% B% y: ]5 M
作者: 孟词宗    时间: 2025-2-20 14:04
唐家山 发表于 2025-2-20 10:25
3 w- s: W2 C! o3 W3 W; B用DeepSeek试了一下:- v& k9 l$ D5 q5 _& H/ s9 w
第一次的回答是:9 S( Z- ~- w& U3 P3 n. S* V) R" {
Input: ZZZZZZZZZZY
2 {5 N1 T6 i$ }( x
有意思的是,如果你不增加最后这个“把ZZZZZZZZZZY看成一个26进制的数”的条件,很多 AI 还是有一定概率回答 ZZZZZZZZZZZ 的。只不过这个回答是随机的。即使是同一个Session, 你问两次,前后结果都有可能不同。从结果的稳定性来说,DS R1 的确是目前最好的。
作者: yanei    时间: 2025-2-21 01:31
孟词宗 发表于 2024-10-19 09:14
# }, b  e5 U% L( P& @yanei 刚才问: 有没有回答AA的 ?
- j( F7 q- f# d! I6 d
# ]  `# Y6 V1 e: J这在实验中已经考虑到的。输入 ZZ 得到 AA
! a! {/ T: i+ n) Y8 H
我的意思是我在列举事物时, 在A到Z用完之后会用AA,BB等等。如果把这个看成是26进制,Z后面也应该是AA,然后AB,AC,。。。AZ, BA,BB等等。
作者: nanimarcus    时间: 2025-2-21 02:20
本帖最后由 nanimarcus 于 2025-2-21 02:27 编辑 / U' F3 z# X/ [$ S, s5 ]

% [& K& l$ M" F, W$ y, u对于当前人工智能的能力不应该苛求。% E0 p% T+ b/ j( j$ C8 O( p9 @
人类乃至动物的智力发展也不是一蹴而就的。
2 J% M4 {( D% s- @只当现在是草履虫又如何,迭代就是了。
作者: 孟词宗    时间: 2025-2-21 23:55
yanei 发表于 2025-2-21 01:31
$ @4 H7 k1 C* V2 C6 ^我的意思是我在列举事物时, 在A到Z用完之后会用AA,BB等等。如果把这个看成是26进制,Z后面也应该是AA, ...

1 p; u& y8 {( M" v: o& h3 i- D初始条件中并没有“26进制”的限制。因此 AI 可以做出任何符合初始条件的推理。3 B7 S  ?$ k" }
: u) m8 R1 F& [8 W& @+ s. T) o8 e
另外,AI 会做出什么推理,给出什么答案主要取决于其受到的训练和训练程度。这和人类是一样的。如果你问一个不懂除了十进制以外还有其他进制的人,他的回答基本不会是 AA。
  [: q3 r! S7 Z  D' U/ d) M" `$ k5 Q8 X! S& P  Z+ \
有意思的地方是 AI 除了以上四种回答,还会给出一些莫名其妙的回答。例如有些 AI 会回答 "Z" 之后是 "[", 这是由于 AI 推理用的字母表是 ASCII 如果用 DS 可以明显看到 DS 考虑了这一点。但在大多数的 DS 的“深度推理”中都否决了这项。原因是 DS 认为这是在回答人类的问题,而人类用的字母表只有26个字母。
1 e! C) f4 R( p: h4 ^( I4 N! M% ]6 F3 ]" S) j6 v" _
但有些回答就莫名其妙了。例如狗屁通经常会冒出一个完全不搭的答案,好比“b!”。完全不知道从何而来。或许这是狗屁通“灵机一动”?真的像人类那样有了真正的创造力?




欢迎光临 爱吱声 (http://129.226.69.186/bbs/) Powered by Discuz! X3.2