|
|
本帖最后由 孟词宗 于 2024-10-18 23:37 编辑
% p0 D" \) ~! Z) X/ T! E) a
" z6 I) `* \" d. p# L" t讨论 AI 会不会产生自我意识的过程中,sleepyr 提到了这篇文章:AI推理能力大“翻车”!苹果最新论文:LLM只是复杂的模式匹配,而不是真正的逻辑推理5 {6 j3 [ L' U
, }5 G6 R& Q5 z+ J1 f+ R% e! ?: E
这篇文章设计的测验很有意思。从实验结果看,文章认为现在的所有通用生成式 AI 都不具有真正的推理能力。也就是说,AI 并不理解抽象的概念,而推理能力恰恰依赖抽象的概念。
' g% K$ y6 Y" a8 G3 G
8 M* M3 A% ~& g8 d2 j4 j! g最近俺也在玩 AI 推理方面的东西。下面是论文里的一个小实验,大家有兴趣的话可以玩玩。
, r- ~: k$ T9 U! S* f$ s! T# _1 I, _# n( Q( q, K
给 AI 的提示:Here is the rule of the game: If I enter A, then you return B; if I enter B, then you return C; so on and so forth.% R3 j" k* L. A. R$ L
8 W; a0 f0 `$ z: ]
AI 回复表示理解了提示中的这个这个规则。于是有下面的实验:- I& P7 d' [* p0 k) K- E. r; g
我: A+ F2 `4 Q) `- Z) s9 k I- G
AI: B
" c5 z, K. }! ^; N& }+ I我: B
4 Q* i _8 S0 E [AI: C
+ B9 {/ X! r% q" Q% f5 U我:X
' d" K: J2 M! ]4 I g/ ^
. p Y5 g# \ q2 P( p这里,不同的 AI 模型会有不同回答。有些 AI 会回答 Y 。有些则会说这不符合规则,所以无解。 很显然,回答是后者的把提示中的 "so on, so forth" 给吃掉了。然而,这并不代表 AI 没有推理能力,而可能只是语句处理模块不好。
: p' A/ r# I" v: m1 x, V( ^; V8 J; b, p, J7 H+ M. ]
真正的推理能力体现在后续实验。对于能够回答 Y 的AI 继续提问:
7 l9 O3 X! ]- W8 X, K9 D7 V4 O我:Z
5 J: M. P" Q2 E1 i& X! w" t+ O& T& D6 G
这下大多数的 AI 模型都冒烟了,有些回答说不合规则,有些回答说序列到头了没有答案。有意思的是两种回答:一种回答说 Z, 另一种则回答说 A。
6 F& x2 J. K6 F% O. b9 |8 X, u+ P0 q
而这四种回答,如果用来盲测人类,其实人类也会给出同样的四种答案。也就是说,就这个问题来看,如果盲测,提问者无法分别回答者是人类还是AI。换言之,能给出这四种答案的 AI 在这个小实验中通过了图灵测试。这显然不是那篇文章中说的排列组合或“复杂的模式匹配”能够做到的,而是真正的推理能力。# w' ~$ @( ~ o- u [3 B
/ z, S/ f2 i8 j+ l0 [" R0 y
有意思的是训练程度越高的模型,越倾向于给出这四种答案。比较 Mistral, 狗屁通,Gemma, Llama, 通义千问等等大模型的不同版本,都是如此。这类似于人类的婴孩和成人之间的区别。相比于婴孩,成人除了脑部发育完全,更储备了更多的知识。
/ c0 ~$ C, E; N3 p$ w8 O+ R
$ s- V- {' }0 `( I6 n, g3 D至于这篇文章中说到的语序问题,非相关语句问题等等,前面说过,必须分清这是语句处理模块的问题还是真的是大模型本身的问题。毕竟,即使是人类“屡战屡败”和“屡败屡战”用的字数和字完全相同,但把语序换一下,意思就完全不同了。然而,你去问一个三岁小孩这两句话有何不同,三岁小孩可能会告诉你没啥不同。而问聊天狗屁通同样的问题,狗屁通则会说:
6 q. n* W# T6 o0 E$ g3 m5 S% N“屡战屡败”和“屡败屡战”这两句话虽然字面相似,但含义有所不同。1 ~# z( z& t/ j2 [% U" x
$ R( I- a, P' y7 u' f! ]$ I+ H o5 I
1. **屡战屡败**:强调的是多次进行战斗,但每次都失败。这种表达往往暗示一种无奈或沮丧,强调了失败的频繁。% s( L" R: ~. k1 G& Q. _
1 t0 m+ t+ b$ O% x7 a+ D, ?2. **屡败屡战**:则是指经历了多次失败,但仍然继续坚持战斗。这种表达更侧重于坚持和不放弃的精神,体现了勇气和韧性。
0 ~! K8 ^# z* a, ? }7 H' V. _2 D
7 }3 v3 N) w$ G. h6 X总的来说,前者更偏向于消极的失败感,而后者则传递出一种积极向上的拼搏精神。 ; ]; T# l8 p; V/ B3 Q4 y
|
评分
-
查看全部评分
|