|
|
本帖最后由 孟词宗 于 2024-10-18 23:37 编辑 3 G1 w2 t* f. Y' E
9 a- f7 d! D: q7 N5 {讨论 AI 会不会产生自我意识的过程中,sleepyr 提到了这篇文章:AI推理能力大“翻车”!苹果最新论文:LLM只是复杂的模式匹配,而不是真正的逻辑推理' d# z' l# ^' E
$ |, }9 |! l2 H6 f Z2 ] A, l7 E这篇文章设计的测验很有意思。从实验结果看,文章认为现在的所有通用生成式 AI 都不具有真正的推理能力。也就是说,AI 并不理解抽象的概念,而推理能力恰恰依赖抽象的概念。
6 Z/ {8 e |8 x2 k& \/ k: A+ J
$ F5 b& m/ u" `0 b5 u8 i最近俺也在玩 AI 推理方面的东西。下面是论文里的一个小实验,大家有兴趣的话可以玩玩。
4 W: p! a; k9 F4 U$ j, s+ x j' V
) D; a. y, ?2 _! [给 AI 的提示:Here is the rule of the game: If I enter A, then you return B; if I enter B, then you return C; so on and so forth.
: @% [9 c# T& P8 o) c0 K# L0 T; @; a J0 O# T/ i) _
AI 回复表示理解了提示中的这个这个规则。于是有下面的实验:
" N( E0 e% ?0 i/ V; m3 c我: A) I. ~/ H0 c# c/ c" T! P8 t& r/ p) [
AI: B
) G3 l. C, P3 Q/ [, g' L! L我: B I$ n5 r% I$ l4 l
AI: C
$ d- a7 M: ]/ z( V, L, P% q$ J. c我:X
( Q: y& X$ l; z: q, l9 S
. r, i$ k% O$ G! E+ B这里,不同的 AI 模型会有不同回答。有些 AI 会回答 Y 。有些则会说这不符合规则,所以无解。 很显然,回答是后者的把提示中的 "so on, so forth" 给吃掉了。然而,这并不代表 AI 没有推理能力,而可能只是语句处理模块不好。
# i S' ?, M; z; L* H* M
! L5 n. _; l& f& _3 B$ i. p真正的推理能力体现在后续实验。对于能够回答 Y 的AI 继续提问:
' n0 o4 `0 k* f3 K: b' @我:Z
0 ]3 M2 s6 {) X, O' p: e1 W& _& o
l+ R* u. i, c( o这下大多数的 AI 模型都冒烟了,有些回答说不合规则,有些回答说序列到头了没有答案。有意思的是两种回答:一种回答说 Z, 另一种则回答说 A。
& @2 s6 f+ o, F. _8 R( V, V
4 A% P$ M8 @. {6 J2 W# Y! H而这四种回答,如果用来盲测人类,其实人类也会给出同样的四种答案。也就是说,就这个问题来看,如果盲测,提问者无法分别回答者是人类还是AI。换言之,能给出这四种答案的 AI 在这个小实验中通过了图灵测试。这显然不是那篇文章中说的排列组合或“复杂的模式匹配”能够做到的,而是真正的推理能力。
; p( b+ H/ k! D% |1 ~) o
: w2 m6 ], l4 t/ w7 J有意思的是训练程度越高的模型,越倾向于给出这四种答案。比较 Mistral, 狗屁通,Gemma, Llama, 通义千问等等大模型的不同版本,都是如此。这类似于人类的婴孩和成人之间的区别。相比于婴孩,成人除了脑部发育完全,更储备了更多的知识。# M. E, c/ T2 I7 ^7 L9 D
; j) Z. X _7 y) O! U
至于这篇文章中说到的语序问题,非相关语句问题等等,前面说过,必须分清这是语句处理模块的问题还是真的是大模型本身的问题。毕竟,即使是人类“屡战屡败”和“屡败屡战”用的字数和字完全相同,但把语序换一下,意思就完全不同了。然而,你去问一个三岁小孩这两句话有何不同,三岁小孩可能会告诉你没啥不同。而问聊天狗屁通同样的问题,狗屁通则会说:2 k: }! i5 E* k
“屡战屡败”和“屡败屡战”这两句话虽然字面相似,但含义有所不同。
% Z# t+ U x% e' e" y$ b( E" j1 a7 g' ~, e/ q1 l; `3 |+ x! R/ k; x
1. **屡战屡败**:强调的是多次进行战斗,但每次都失败。这种表达往往暗示一种无奈或沮丧,强调了失败的频繁。
, \& t* A1 B, i8 b9 [" ]* s" [% n. z6 J
2. **屡败屡战**:则是指经历了多次失败,但仍然继续坚持战斗。这种表达更侧重于坚持和不放弃的精神,体现了勇气和韧性。! Q# o, S& J* P$ i
' X* {! {4 c9 ?' I1 Y4 s# k4 V/ i总的来说,前者更偏向于消极的失败感,而后者则传递出一种积极向上的拼搏精神。
3 w$ a! F {4 s1 i( p; l- t |
评分
-
查看全部评分
|