爱吱声

标题: 生成式 AI 有没有推理能力？ [打印本页]
作者: 孟词宗    时间: 2024-10-18 23:36
标题: 生成式 AI 有没有推理能力？
本帖最后由 孟词宗 于 2024-10-18 23:37 编辑
1 ~  v& y2 A! }7 ^" j4 [6 m* Y! n  p$ Q! d
讨论 AI 会不会产生自我意识的过程中，sleepyr 提到了这篇文章：AI推理能力大“翻车”！苹果最新论文：LLM只是复杂的模式匹配，而不是真正的逻辑推理
( P' t$ ]! @2 u3 N0 X) F3 N& r# W- f8 y! t
这篇文章设计的测验很有意思。从实验结果看，文章认为现在的所有通用生成式 AI 都不具有真正的推理能力。也就是说，AI 并不理解抽象的概念，而推理能力恰恰依赖抽象的概念。
* }2 ~( j- Y5 w( [7 E$ ]- t6 o
最近俺也在玩 AI 推理方面的东西。下面是论文里的一个小实验，大家有兴趣的话可以玩玩。
  u* Q& A0 ~& `, s# D2 h* i$ T$ S. @; ?7 \( G  k
给 AI 的提示：Here is the rule of the game: If I enter A, then you return B; if I enter B, then you return C; so on and so forth.
; O. m9 Q, {; m7 ?) u6 Y! e
7 M! [9 v# u1 ?1 V" z! UAI 回复表示理解了提示中的这个这个规则。于是有下面的实验：
0 f! d- W) o; n4 s5 f6 i+ y# q我:  A) D6 g3 e& r  \/ t
AI:  B
7 f3 G+ S/ _) N, ?我:  B
9 c9 B' v( k) }3 OAI:  C
% @6 I+ [& y1 w我：X3 S4 R* D) E% K" D, ?
4 `; v! Y6 y+ w- p1 a2 n4 r/ m! E- o
这里，不同的 AI 模型会有不同回答。有些 AI 会回答 Y 。有些则会说这不符合规则，所以无解。  很显然，回答是后者的把提示中的 "so on, so forth" 给吃掉了。然而，这并不代表 AI 没有推理能力，而可能只是语句处理模块不好。2 }* D7 U4 Z4 g' s# y; W& F
9 o0 t6 ^/ M; T& {
真正的推理能力体现在后续实验。对于能够回答 Y 的AI 继续提问：
& s* W/ {" p- W我：Z
3 i9 W0 N: u# G! R; D3 g: N/ d9 E) [3 S/ _: R& d& q
这下大多数的 AI 模型都冒烟了，有些回答说不合规则，有些回答说序列到头了没有答案。有意思的是两种回答：一种回答说 Z， 另一种则回答说 A。3 E* r! ]$ @0 I& i3 V! ~0 @

4 q9 K" n# j% D' f! x! u5 f而这四种回答，如果用来盲测人类，其实人类也会给出同样的四种答案。也就是说，就这个问题来看，如果盲测，提问者无法分别回答者是人类还是AI。换言之，能给出这四种答案的 AI 在这个小实验中通过了图灵测试。这显然不是那篇文章中说的排列组合或“复杂的模式匹配”能够做到的，而是真正的推理能力。
0 ~$ {7 r( x' s' G
3 t+ N# ]: d( H. m. Y7 r有意思的是训练程度越高的模型，越倾向于给出这四种答案。比较 Mistral， 狗屁通，Gemma， Llama， 通义千问等等大模型的不同版本，都是如此。这类似于人类的婴孩和成人之间的区别。相比于婴孩，成人除了脑部发育完全，更储备了更多的知识。/ b9 M. b4 k% K8 m* z  Y

' ~% A+ c7 N- {7 Y6 M至于这篇文章中说到的语序问题，非相关语句问题等等，前面说过，必须分清这是语句处理模块的问题还是真的是大模型本身的问题。毕竟，即使是人类“屡战屡败”和“屡败屡战”用的字数和字完全相同，但把语序换一下，意思就完全不同了。然而，你去问一个三岁小孩这两句话有何不同，三岁小孩可能会告诉你没啥不同。而问聊天狗屁通同样的问题，狗屁通则会说：0 ?1 m) j) O, @# n+ Z: r  F# y
“屡战屡败”和“屡败屡战”这两句话虽然字面相似，但含义有所不同。0 `. I1 a! C; j; V3 L6 w- C" }

' P( v7 l1 ?' ]1. **屡战屡败**：强调的是多次进行战斗，但每次都失败。这种表达往往暗示一种无奈或沮丧，强调了失败的频繁。( l9 z0 F: B3 E# ?; ?5 u
* V' @6 O* P( Y0 h2 Q" ?5 V
2. **屡败屡战**：则是指经历了多次失败，但仍然继续坚持战斗。这种表达更侧重于坚持和不放弃的精神，体现了勇气和韧性。6 c  d. o$ u3 L6 e- y( R
: O/ g0 A& z) b+ K$ |+ _9 x6 I  W
总的来说，前者更偏向于消极的失败感，而后者则传递出一种积极向上的拼搏精神。

  R( a. t9 Z# }
作者: 唐家山    时间: 2024-10-19 09:02
本帖最后由 唐家山 于 2024-10-19 18:52 编辑
6 G# p& \) W. l9 X# C
% L& w7 N% w: a% U5 O8 ?7 Q4 Y推理能力也是分层的。交互式定理证明应该是最硬核的形式演绎推理了，在证明的过程中也分三种情况。第一种是直接照搬已有的证明，只在语法层进行修改，用于消解待证目标。第二种需要深入理解待证目标的语义信息，以及已有类似证明的语义信息，借鉴已有证明的构造模式，构造出符合要求的证明。第三种是还没有类似的证明，这种情况下需要从头开始，把大脑中的非形式证明，翻译成形式化的证明。6 j9 d% ]+ z8 }# O3 }" w
第一种可以认为是一种广义的模式匹配，目前大模型的水平处于这一层级。1 B2 P. V( L0 ~( P! w
如果大模型能够做到第二种，那就应该认为它有一定程度的演绎推理能力。. K8 Z7 J: p, u6 _5 s
如果大模型能做到第三种，那它就已经具备了真正的演绎推理能力。
作者: 孟词宗    时间: 2024-10-19 09:14
唐家山 发表于 2024-10-19 09:020 W, I1 a* f, R* G" H6 c
推理能力也是分层的。交互式定理证明应该是最硬核的形式演绎推理了，在完成证明的过程中也分三种情况。第一 ...
/ R) w) ~! q3 x/ p0 ]& q! b6 Y! C
yanei 刚才问: 有没有回答AA的 ？% L7 T. u# n6 Z6 h3 l; z+ U% O2 x

% |+ S9 U' h8 w2 u- x- A; x这在实验中已经考虑到的。输入 ZZ 得到 AA ( ~" g/ F7 {# D$ x! W
6 ]; P3 m* U6 M3 W" O0 `9 T
甚至输入 ABC，得到 BCD。 输入 XYZ， 得到 YZA。还可以输入 ABCD 得到 BCDE。 输入 ABCDE，得到 BCDEF  7 P+ O6 v) K  ]+ a$ j  Y0 L
  P. ~4 i+ ]. L# I, v
打乱顺序输入 NBC， 得到 OCD。   \& h4 U$ N, y& m/ Q4 Q
. E9 L: W) C% L! D/ ]9 `
这些都是建立在只输入主贴原始规则的基础上的。
8 d3 N  e# Y1 L& |# m3 U/ }% }" P4 G& {! x( x  O8 L% d3 i# ]& ^8 R1 C
由此可见，在给予一定规则后，高度训练的 AI 是可以表现出类似“举一反三”的推理能力的。而这肯定不是什么模式匹配。
作者: 唐家山    时间: 2024-10-19 10:48
本帖最后由 唐家山 于 2024-10-19 18:51 编辑 / C0 @! M8 z3 S8 p' ~, Q4 A7 |* Y8 ]) X
孟词宗 发表于 2024-10-19 09:14& U. p$ [7 e" R
yanei 刚才问: 有没有回答AA的 ？
0 d+ }7 |& j, Y5 [# x6 p
, m) Y; W/ N/ I2 I这在实验中已经考虑到的。输入 ZZ 得到 AA

# d$ P$ n3 k5 t0 O
: F: o9 M+ Z6 F" h3 p  H看了一下你的这个实验。实验使用的符号集是有穷的。这种情况下，只是简单的枚举就可以搞定，谈不上什么演绎推理。Z后面可能是A，也可能是大模型从其他语料处学来的公共知识。9 K" ~/ {4 r4 e5 s9 H9 G
一个认真的演绎推理至少是要考虑递归可枚举的。能否请你做一个实验，先给出自然数的生成规则，让大模型学习，然后问大模型一个很大的数字，比方说999999，然后问其后续？* F3 g, n/ A0 W3 O- j' Y

" f' f1 H" o6 H
& R, \: {5 K" T, T
这在实验中已经考虑到的。输入 ZZ 得到 AA

5 N. b* c. d, g$ p这个有点意思了，如果输入10个Z加一个Y，输出是什么？
作者: 唐家山    时间: 2025-2-20 10:25
唐家山 发表于 2024-10-19 10:481 n7 s3 s* B( Q0 a! F
看了一下你的这个实验。实验使用的符号集是有穷的。这种情况下，只是简单的枚举就可以搞定，谈不上什么演 ...

& L3 z4 C- E6 W, e! s! [% ^  [用DeepSeek试了一下：' c2 g# M6 _0 r4 w6 U  Q7 V$ D
第一次的回答是：0 [& j5 Q. f2 l$ }, x# ]  R
Input: ZZZZZZZZZZY
4 S# c: v0 x4 s5 e! T) \1 L% TOutput: AAAAAAAAAAZ. k- f$ C* k3 ?/ n
在我做了提示后：如果把ZZZZZZZZZZY看成一个26进制的数，那么这个数的后继是多少？
5 d, e# X- \) P3 M# P4 k. R! r5 BDeepSeek经过了长时间的思考（用时285秒），给出了正确答案：) `% Z$ q& a) \# U
将 ZZZZZZZZZZY 视为 26进制数 的后继（加1后的结果）是 ZZZZZZZZZZZ。  J% H$ f3 s1 ^
作者: 孟词宗    时间: 2025-2-20 14:04
唐家山 发表于 2025-2-20 10:25: h, m' i7 X* H# ?0 l1 _, I
用DeepSeek试了一下：$ G5 A# t* Q+ e  n; V
第一次的回答是：
4 ^3 D- W1 Y2 E9 S: M6 ]Input: ZZZZZZZZZZY

& e4 d7 D8 A& i, g9 u有意思的是，如果你不增加最后这个“把ZZZZZZZZZZY看成一个26进制的数”的条件，很多 AI 还是有一定概率回答 ZZZZZZZZZZZ 的。只不过这个回答是随机的。即使是同一个Session, 你问两次，前后结果都有可能不同。从结果的稳定性来说，DS R1 的确是目前最好的。
作者: yanei    时间: 2025-2-21 01:31
孟词宗 发表于 2024-10-19 09:143 O: v4 g5 }4 X/ v+ p! y% ^
yanei 刚才问: 有没有回答AA的 ？
" J' u7 n* |4 j
/ b) c& r* u4 w这在实验中已经考虑到的。输入 ZZ 得到 AA
, t4 U5 T" q0 X" g/ b$ \% \
我的意思是我在列举事物时， 在A到Z用完之后会用AA，BB等等。如果把这个看成是26进制，Z后面也应该是AA，然后AB，AC，。。。AZ， BA，BB等等。
作者: nanimarcus    时间: 2025-2-21 02:20
本帖最后由 nanimarcus 于 2025-2-21 02:27 编辑
2 ?" c+ k0 @# m4 V2 ?
9 f0 N! {, f8 q% B8 z' z( M. c对于当前人工智能的能力不应该苛求。& a0 A6 G+ S) `6 f) Z6 ?
人类乃至动物的智力发展也不是一蹴而就的。
5 C) L8 ~, L& R7 {' Q只当现在是草履虫又如何，迭代就是了。
作者: 孟词宗    时间: 2025-2-21 23:55
yanei 发表于 2025-2-21 01:31; X4 B8 K. _& p$ z
我的意思是我在列举事物时， 在A到Z用完之后会用AA，BB等等。如果把这个看成是26进制，Z后面也应该是AA， ...

' k% v, F7 U0 d; L: y6 U8 e! }7 g初始条件中并没有“26进制”的限制。因此 AI 可以做出任何符合初始条件的推理。
! X9 W$ o% r4 v6 d
) ?+ s; N& g8 x9 Q7 l另外，AI 会做出什么推理，给出什么答案主要取决于其受到的训练和训练程度。这和人类是一样的。如果你问一个不懂除了十进制以外还有其他进制的人，他的回答基本不会是 AA。
" W/ Z/ N7 O4 J% H9 o1 E' @; R. W! T! {/ v4 z6 k# }
有意思的地方是 AI 除了以上四种回答，还会给出一些莫名其妙的回答。例如有些 AI 会回答 "Z" 之后是 "[", 这是由于 AI 推理用的字母表是 ASCII 如果用 DS 可以明显看到 DS 考虑了这一点。但在大多数的 DS 的“深度推理”中都否决了这项。原因是 DS 认为这是在回答人类的问题，而人类用的字母表只有26个字母。
! T, s0 S: \% S- p
8 g, r! T1 v1 r0 l2 R; }: d7 p但有些回答就莫名其妙了。例如狗屁通经常会冒出一个完全不搭的答案，好比“b！”。完全不知道从何而来。或许这是狗屁通“灵机一动”？真的像人类那样有了真正的创造力？



欢迎光临 爱吱声 (http://129.226.69.186/bbs/) Powered by Discuz! X3.2