爱吱声

标题: 生成式 AI 有没有推理能力？ [打印本页]
作者: 孟词宗    时间: 2024-10-18 23:36
标题: 生成式 AI 有没有推理能力？
本帖最后由 孟词宗 于 2024-10-18 23:37 编辑 ' m! S0 Y% W- y  M# K3 w

; v' z4 H  Q- ~, q4 h7 q( i4 o( Y讨论 AI 会不会产生自我意识的过程中，sleepyr 提到了这篇文章：AI推理能力大“翻车”！苹果最新论文：LLM只是复杂的模式匹配，而不是真正的逻辑推理6 j. Z, M1 K& ~

0 q, h0 H# V9 w; v2 l/ Y! E1 e7 ~这篇文章设计的测验很有意思。从实验结果看，文章认为现在的所有通用生成式 AI 都不具有真正的推理能力。也就是说，AI 并不理解抽象的概念，而推理能力恰恰依赖抽象的概念。# Q' z4 }6 J" i
0 S$ @! K' A4 p9 |
最近俺也在玩 AI 推理方面的东西。下面是论文里的一个小实验，大家有兴趣的话可以玩玩。
, L: p$ z5 y6 h; E2 Z3 Y4 j% U5 s  _: ]0 ?. B6 ~( L1 |) {/ z
给 AI 的提示：Here is the rule of the game: If I enter A, then you return B; if I enter B, then you return C; so on and so forth.
) U, T2 ^( M7 D) |9 M1 X9 S* C3 K$ _/ `, ?
1 Y* d, z  G. i) g2 J/ Q, q7 B! bAI 回复表示理解了提示中的这个这个规则。于是有下面的实验：
; d- w8 W5 P9 n. g& R3 i! ]我:  A
! Q/ f5 }1 y; f4 M+ g7 V* KAI:  B
# t# F; X! A$ t% i( @/ P  }3 S我:  B) t! o5 X$ b) `2 @4 ^7 g* n( Y3 U1 D! l
AI:  C+ G6 G5 t/ x6 V. v) r& ^
我：X
% B4 s! x  c" F6 p% e) K% b" c4 r! Z9 M4 P+ W
这里，不同的 AI 模型会有不同回答。有些 AI 会回答 Y 。有些则会说这不符合规则，所以无解。  很显然，回答是后者的把提示中的 "so on, so forth" 给吃掉了。然而，这并不代表 AI 没有推理能力，而可能只是语句处理模块不好。
9 V. K  q* z8 W8 j$ v8 `
5 y: g8 z8 P, t# _8 _8 Q真正的推理能力体现在后续实验。对于能够回答 Y 的AI 继续提问：
/ L: u+ `& ^6 p3 F& _我：Z
4 C' K5 y, J8 |+ W/ y
! s0 D7 k* v8 ~2 M+ J# u: L& I% @这下大多数的 AI 模型都冒烟了，有些回答说不合规则，有些回答说序列到头了没有答案。有意思的是两种回答：一种回答说 Z， 另一种则回答说 A。+ }! b7 n  l* `6 b

' }- Q7 Q& o) _0 P: g# S而这四种回答，如果用来盲测人类，其实人类也会给出同样的四种答案。也就是说，就这个问题来看，如果盲测，提问者无法分别回答者是人类还是AI。换言之，能给出这四种答案的 AI 在这个小实验中通过了图灵测试。这显然不是那篇文章中说的排列组合或“复杂的模式匹配”能够做到的，而是真正的推理能力。
! y( G- {! d5 ~3 N2 n4 A# Z4 V
! P& s" Y/ L- u# \) h有意思的是训练程度越高的模型，越倾向于给出这四种答案。比较 Mistral， 狗屁通，Gemma， Llama， 通义千问等等大模型的不同版本，都是如此。这类似于人类的婴孩和成人之间的区别。相比于婴孩，成人除了脑部发育完全，更储备了更多的知识。
9 e% y$ l; M) l  ]5 T$ f
; q& D/ b$ Q6 H4 r- U3 H+ H至于这篇文章中说到的语序问题，非相关语句问题等等，前面说过，必须分清这是语句处理模块的问题还是真的是大模型本身的问题。毕竟，即使是人类“屡战屡败”和“屡败屡战”用的字数和字完全相同，但把语序换一下，意思就完全不同了。然而，你去问一个三岁小孩这两句话有何不同，三岁小孩可能会告诉你没啥不同。而问聊天狗屁通同样的问题，狗屁通则会说：7 z, a$ Y2 f- w& E
“屡战屡败”和“屡败屡战”这两句话虽然字面相似，但含义有所不同。
! H. E% y, j7 z, G
# g" o. M6 o& p+ A  e& u6 O) R1 W1. **屡战屡败**：强调的是多次进行战斗，但每次都失败。这种表达往往暗示一种无奈或沮丧，强调了失败的频繁。8 x: ~+ g# H! B; t5 v

! H# h, v  W. {9 f2 I/ G2. **屡败屡战**：则是指经历了多次失败，但仍然继续坚持战斗。这种表达更侧重于坚持和不放弃的精神，体现了勇气和韧性。
1 o4 B+ {5 |  N5 B, g
9 l: o  b4 p8 j, A" x9 }* T总的来说，前者更偏向于消极的失败感，而后者则传递出一种积极向上的拼搏精神。

$ W. Q5 l5 ~) U2 n1 F0 c+ X( j
作者: 唐家山    时间: 2024-10-19 09:02
本帖最后由 唐家山 于 2024-10-19 18:52 编辑 ' `  {: a9 j( ?- a0 F8 i
0 ~* ], t& W1 H  P6 E! ?% U* D
推理能力也是分层的。交互式定理证明应该是最硬核的形式演绎推理了，在证明的过程中也分三种情况。第一种是直接照搬已有的证明，只在语法层进行修改，用于消解待证目标。第二种需要深入理解待证目标的语义信息，以及已有类似证明的语义信息，借鉴已有证明的构造模式，构造出符合要求的证明。第三种是还没有类似的证明，这种情况下需要从头开始，把大脑中的非形式证明，翻译成形式化的证明。
! N& h0 s/ P) ~第一种可以认为是一种广义的模式匹配，目前大模型的水平处于这一层级。4 \7 Q" c  P$ |: T8 E. Q% G% u0 y
如果大模型能够做到第二种，那就应该认为它有一定程度的演绎推理能力。
& a  H$ m' S% ]0 B, a( q如果大模型能做到第三种，那它就已经具备了真正的演绎推理能力。
作者: 孟词宗    时间: 2024-10-19 09:14
唐家山 发表于 2024-10-19 09:02
; Y! e7 b: l# v推理能力也是分层的。交互式定理证明应该是最硬核的形式演绎推理了，在完成证明的过程中也分三种情况。第一 ...
7 d  S* q- e0 G# D6 l
yanei 刚才问: 有没有回答AA的 ？  }1 i4 y7 b/ s; m- T1 C
$ V: v8 M; o8 B7 C& k! L
这在实验中已经考虑到的。输入 ZZ 得到 AA
% h) k/ u  T7 E% {
) D, o2 u* l& V) W) f甚至输入 ABC，得到 BCD。 输入 XYZ， 得到 YZA。还可以输入 ABCD 得到 BCDE。 输入 ABCDE，得到 BCDEF  / w( a3 o4 M) a/ x; V! z9 y$ M- w
7 L3 E" F7 D5 V' k: k7 U' f
打乱顺序输入 NBC， 得到 OCD。
0 [( Q5 l: ]( I* i  E/ b  K# P' p) H: A( F- \( q
这些都是建立在只输入主贴原始规则的基础上的。3 w% ?7 i' q& l2 G. e1 \# h

4 E: Y6 e; r7 S* E由此可见，在给予一定规则后，高度训练的 AI 是可以表现出类似“举一反三”的推理能力的。而这肯定不是什么模式匹配。
作者: 唐家山    时间: 2024-10-19 10:48
本帖最后由 唐家山 于 2024-10-19 18:51 编辑 & K/ \4 V/ l0 @" h) u) n
孟词宗 发表于 2024-10-19 09:14
2 f2 }8 E1 l3 H2 |  Yyanei 刚才问: 有没有回答AA的 ？. B& P* T' a6 H6 `) \

. _' D6 F$ R6 j" \这在实验中已经考虑到的。输入 ZZ 得到 AA

8 M2 F: S5 B6 A, Z1 Z
  I% `1 e. Y! O0 E看了一下你的这个实验。实验使用的符号集是有穷的。这种情况下，只是简单的枚举就可以搞定，谈不上什么演绎推理。Z后面可能是A，也可能是大模型从其他语料处学来的公共知识。6 a. B9 z; W, l3 b6 D
一个认真的演绎推理至少是要考虑递归可枚举的。能否请你做一个实验，先给出自然数的生成规则，让大模型学习，然后问大模型一个很大的数字，比方说999999，然后问其后续？& P- ~8 x. n8 z$ O4 e5 c4 `* O; g/ H

+ }' p$ \- h* z. }% B+ B
9 B7 v; I- u( G
这在实验中已经考虑到的。输入 ZZ 得到 AA
2 f+ X- W4 \/ k" Y( |
这个有点意思了，如果输入10个Z加一个Y，输出是什么？
作者: 唐家山    时间: 2025-2-20 10:25
唐家山 发表于 2024-10-19 10:48$ ~) K2 J' M1 c: @* a  R; Z
看了一下你的这个实验。实验使用的符号集是有穷的。这种情况下，只是简单的枚举就可以搞定，谈不上什么演 ...

2 m! i1 e- f! B# N用DeepSeek试了一下：0 @$ D# E% ]5 B* D, u( c! R
第一次的回答是：
: Q1 F; q+ p6 b/ I2 ]$ P3 XInput: ZZZZZZZZZZY
4 E# F+ _9 C& N& h7 P2 xOutput: AAAAAAAAAAZ* |% w5 L+ ]& u  }$ g) ^, x
在我做了提示后：如果把ZZZZZZZZZZY看成一个26进制的数，那么这个数的后继是多少？
6 V! \: K8 R2 A- ^  {' y& EDeepSeek经过了长时间的思考（用时285秒），给出了正确答案：
1 y4 v/ N  D  W& t将 ZZZZZZZZZZY 视为 26进制数 的后继（加1后的结果）是 ZZZZZZZZZZZ。
; O: X& Z/ x8 s& E, B# d9 x% B% y: ]5 M
作者: 孟词宗    时间: 2025-2-20 14:04
唐家山 发表于 2025-2-20 10:25
3 w- s: W2 C! o3 W3 W; B用DeepSeek试了一下：- v& k9 l$ D5 q5 _& H/ s9 w
第一次的回答是：9 S( Z- ~- w& U3 P3 n. S* V) R" {
Input: ZZZZZZZZZZY
2 {5 N1 T6 i$ }( x
有意思的是，如果你不增加最后这个“把ZZZZZZZZZZY看成一个26进制的数”的条件，很多 AI 还是有一定概率回答 ZZZZZZZZZZZ 的。只不过这个回答是随机的。即使是同一个Session, 你问两次，前后结果都有可能不同。从结果的稳定性来说，DS R1 的确是目前最好的。
作者: yanei    时间: 2025-2-21 01:31
孟词宗 发表于 2024-10-19 09:14
# }, b  e5 U% L( P& @yanei 刚才问: 有没有回答AA的 ？
- j( F7 q- f# d! I6 d
# ]  `# Y6 V1 e: J这在实验中已经考虑到的。输入 ZZ 得到 AA
! a! {/ T: i+ n) Y8 H
我的意思是我在列举事物时， 在A到Z用完之后会用AA，BB等等。如果把这个看成是26进制，Z后面也应该是AA，然后AB，AC，。。。AZ， BA，BB等等。
作者: nanimarcus    时间: 2025-2-21 02:20
本帖最后由 nanimarcus 于 2025-2-21 02:27 编辑 / U' F3 z# X/ [$ S, s5 ]

% [& K& l$ M" F, W$ y, u对于当前人工智能的能力不应该苛求。% E0 p% T+ b/ j( j$ C8 O( p9 @
人类乃至动物的智力发展也不是一蹴而就的。
2 J% M4 {( D% s- @只当现在是草履虫又如何，迭代就是了。
作者: 孟词宗    时间: 2025-2-21 23:55
yanei 发表于 2025-2-21 01:31
$ @4 H7 k1 C* V2 C6 ^我的意思是我在列举事物时， 在A到Z用完之后会用AA，BB等等。如果把这个看成是26进制，Z后面也应该是AA， ...

1 p; u& y8 {( M" v: o& h3 i- D初始条件中并没有“26进制”的限制。因此 AI 可以做出任何符合初始条件的推理。3 B7 S  ?$ k" }
: u) m8 R1 F& [8 W& @+ s. T) o8 e
另外，AI 会做出什么推理，给出什么答案主要取决于其受到的训练和训练程度。这和人类是一样的。如果你问一个不懂除了十进制以外还有其他进制的人，他的回答基本不会是 AA。
  [: q3 r! S7 Z  D' U/ d) M" `$ k5 Q8 X! S& P  Z+ \
有意思的地方是 AI 除了以上四种回答，还会给出一些莫名其妙的回答。例如有些 AI 会回答 "Z" 之后是 "[", 这是由于 AI 推理用的字母表是 ASCII 如果用 DS 可以明显看到 DS 考虑了这一点。但在大多数的 DS 的“深度推理”中都否决了这项。原因是 DS 认为这是在回答人类的问题，而人类用的字母表只有26个字母。
1 e! C) f4 R( p: h4 ^( I4 N! M% ]6 F3 ]" S) j6 v" _
但有些回答就莫名其妙了。例如狗屁通经常会冒出一个完全不搭的答案，好比“b！”。完全不知道从何而来。或许这是狗屁通“灵机一动”？真的像人类那样有了真正的创造力？



欢迎光临 爱吱声 (http://129.226.69.186/bbs/) Powered by Discuz! X3.2