设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 614|回复: 20
打印 上一主题 下一主题

[信息技术] 附议xiejin77兄:大模型加海量数据只是超级刷题大师

[复制链接]

该用户从未签到

跳转到指定楼层
楼主
 楼主| 发表于 2024-10-17 12:15:03 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
多谢xiejin77兄好文(http://www.aswetalk.net/bbs/foru ... read&tid=160739)。想了一下,有点感想,请不吝赐教。# T8 R: j/ U9 A7 n; c* m
" H( a! y* U7 v' ~  Y+ x6 k' ^
个人认为,大模型没有奥秘,还是靠模型参数之多来更好地“捕捉”现有知识的量变,而不是产生智慧的质变。知识依然来自海量的数据,也就是人类世界的现有认知。: p3 b  L. M6 J0 K( Z
4 y  _0 s& O# D5 y* g) Y9 d
大模型加海量数据依然在本质上是超级刷题大师。比“查表”式的直接找答案要高级,能填补现有数据之间的空隙,但不能跳出现有数据所代表的知识的框架。在本质上,刷题能解决的,大模型最终都能解决。刷题解决不了的,大模型最终也解决不了。刷题也不是直接照搬解题,还是要判别题型不是嘛。1 J$ ^/ r* _) G3 @* \# ?
& F3 y# j& a# V: Q% [# u* R* v0 V
世界上的“题”已经够多,所以海量刷题是能刷到很恐怖的“智能水平”的。但依然只是超级刷题大师。沿着这条路走下去,不可能走出创造智慧、具有独立判断的“强人工智能”的。大模型“有创造力”的印象来自吟诗作画,但不是还有“熟读唐诗三百首,不会写诗也会诌”吗?画画也是一个意思,只是从文字介质换成图像介质。" h% c( E: ^* i6 P+ z" R1 }7 T$ T2 n
% O$ S( x0 Y, t$ w
用围棋规则自我训练是另一个问题。那是有限空间里确定解的问题,是极大规模的最优化问题。在本质上,这与“深蓝”早年打败卡斯帕罗夫相似,只是算力极大提高了,算法极大改进了。+ z$ ]- _9 `3 N6 k) W+ d3 _

2 L# N: V' v1 B, E9 S这对中美的AI大赛意味着什么呢?+ c: V" \9 w% W5 A. [3 h
9 U+ k+ c* \$ S- U
AI的最终用武之地是在应用,应用型的AI的厉害来自数据,实践才出数据。
( Y' D  p3 W, ]7 x3 X% x! I, y% v7 E+ _7 v( Y! X
在军事、艺术这些方面,美国有足够的实践,美国AI会很厉害,可能超过中国。必须说,中国军队打仗没有美国多,中国影视没有好莱坞能折腾,音乐、美术等也是一样。# t, w; c* R; E( M( Y8 i7 i- @% Y

# Y- U# q  }& O+ e  S" {但中国人在制造、建设、物流这些实体方面的实践更多,数据丰富得多。社交媒体和广义通信方面,抖音、微信出现在中国也不是偶然的。个人认为,这些与经济和社会相关的AI应用可能中国会领先,如果不是已经领先的话。/ n0 B# c9 x3 }- ?, h  }  R

9 V9 z! A+ c( ?1 r' ]' h美国式AI训练凭借算力和算法优势,把天下所有圣贤书、垃圾书统统海灌进去,希望“良币最终压倒劣币”,也因为搞AI建模的人没有能力筛选圣贤书、垃圾书。他们需要的是“通用人工智能”,而没人是能在所有方面都成为专家的。
% N6 ~0 W8 @& z8 _! t/ |. P; u8 W8 ~/ t5 N
中国式AI训练在算力方面吃亏,算法再厉害也输在起跑线上。但中国人有有用的专业知识积累,中国AI也聚焦专业AI,专家参加训练,所以大模型训练时只灌圣贤书,不灌垃圾书,最后在形成有用但专业AI应用方面成绩斐然。1 q% ?" r5 T, J2 r$ K7 ]" a

) K5 g: m/ w( D3 D最终,算法、芯片这些都不足以决定性地改变中美AI的走势。

评分

参与人数 6爱元 +48 学识 +2 收起 理由
方恨少 + 12
长叶林 + 8
pcb + 4
tanis + 4 给力
住在乡下 + 6 涨姿势

查看全部评分

本帖被以下淘专辑推荐:

该用户从未签到

沙发
发表于 2024-10-17 20:29:40 | 只看该作者
回晨大牛的话。0 ?' A, s  B0 _2 v! F6 p" W2 I
$ o- ^! S) M8 [% t# t
我确知美国至少有一家公司是鉴别反向信息的。他们负责AI的是我的密友。# {  b$ K4 x4 D" z4 U# v. G8 A: Y
  \8 Y1 J! D$ B# c
我下面引用他们的话。我先声明我不同意他们的话。) M3 P6 s6 g, L, n
0 ~0 J9 p0 V( {9 J
他们的反向信息是中文网络材料。作为唯利是图的美国商人他们对政治不感兴趣。他们这么做的理由是中文网络充满逻辑错误和事实错误。8 |& c8 I% {" U5 z# D9 }% U

' I  J3 c2 A* i+ V2 n逻辑错误和事实错误是不可避免的。但是多了不好。咱从自己做起,用事实证明他们走了弯路。
回复 支持 反对

使用道具 举报

  • TA的每日心情
    擦汗
    昨天 02:41
  • 签到天数: 3025 天

    [LV.Master]无

    板凳
    发表于 2024-10-17 23:16:09 | 只看该作者
    宝特勤 发表于 2024-10-17 07:29
    ! ]9 J( T* h0 j9 i回晨大牛的话。& |1 R* o0 D/ }$ r# O

    4 S3 b; r  f( O' ]8 |) A我确知美国至少有一家公司是鉴别反向信息的。他们负责AI的是我的密友。
    8 l  x! y& h7 O8 H. p
    咋感觉你的朋友在缘木求鱼呢。* ]: U1 ?' d% G/ D
    众所周知,中文网络的信息量相当小,宽度和深度都不行。这个在几年前就有广泛的讨论。过去几年某种程度上更加是倒退的。掌握中文信息最多是中国政府,第二是国内那些互联网大厂。所以,你的朋友在中文互联网上找内容,感觉完全是门外汉的做法。
    " Q3 C$ `# j: M/ W
    % x  d+ y% g: ~0 A  g6 T这种封闭带来了信息垄断。其好处显然被美国互联网大厂也看到了。于是,过去几年里信息越来越闭塞,爬虫能去的地方也越来越少了,大量信息开始从英文互联网上消失了。这个其实成为堵塞AI后发企业的秘籍。这点上,感觉美帝在向中国学习了。5 G+ E1 B& e$ h% u4 P- K- v+ d

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不能同意更多

    查看全部评分

    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2024-10-17 23:29:27 | 只看该作者
    赫然 发表于 2024-10-17 23:16
    ( p. q0 A9 b/ z9 w/ A- p咋感觉你的朋友在缘木求鱼呢。
    % _' A) X& F- g; w  q/ {众所周知,中文网络的信息量相当小,宽度和深度都不行。这个在几年 ...

    1 [6 ^: J- l1 R* h) M& z赫大说得对啊。我朋友不是在中文网上找学习的内容,而是找反面教材。和赫大的观察是一致的。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2021-3-26 09:11
  • 签到天数: 1 天

    [LV.1]炼气

    5#
    发表于 2024-10-17 23:30:32 | 只看该作者
    宝特勤 发表于 2024-10-17 20:29
    4 z' m/ j6 z8 p0 Q: A: }$ G( Z- h回晨大牛的话。, _3 Y- {  u% o# s( X  B

    % ^, J- e0 y' b; B: E8 F% k我确知美国至少有一家公司是鉴别反向信息的。他们负责AI的是我的密友。
    2 a( h9 P8 K1 h& u" v
    以我大美利坚为例,Truth Social , X, Reddit和TikTok 同主流媒体的区别,让我有了一种平行时空的感觉。
    " U- }; b9 }' n4 x  A8 T! p" z& l! G
    回到中国,小红书抖音快手,知乎网易豆瓣,同官媒,也肯定不在一个层面上。
    2 ?" v0 d7 h+ H4 M' r0 n$ ?4 X4 g* c" e& x. ]
    所以逻辑错误或者认知完全不一样都很正常,不宜轻易下结论。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2021-3-26 09:11
  • 签到天数: 1 天

    [LV.1]炼气

    6#
    发表于 2024-10-17 23:32:08 | 只看该作者
    AI在总结现有数据上先天性强于人类,但将AI用于开拓新领域必须小心求证。$ S. n, Z! s5 I3 a
    5 X  `% D6 |/ m1 ~: c9 S. V
    我天天用ChatGPT改邮件和论文,但我不相信ChatGPT写的论文。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    7#
     楼主| 发表于 2024-10-17 23:39:30 | 只看该作者
    征久仁 发表于 2024-10-17 09:32: i0 ]  |! `, w0 i! r
    AI在总结现有数据上先天性强于人类,但将AI用于开拓新领域必须小心求证。
    / ~4 j7 F+ m0 ~$ u- t9 `* K; y/ J9 v7 m  e# e+ ~
    我天天用ChatGPT改邮件和论文, ...
    4 y% f! d+ S# ~3 Q" Z, r
    AI总结现有数据能力超过人类是自然的,就像雷达、光电红外的“视觉态势感知”好于人类一样。AI的输入通道比人类多太多了,运算速度也爆棚,要刷题,人类是不能拼得过AI的。谁要是无聊到开动AI狂写诗,乾隆都要羞愧。但事实还是一样的:乾隆不是真诗人,AI也不是真诗人。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    擦汗
    昨天 02:41
  • 签到天数: 3025 天

    [LV.Master]无

    8#
    发表于 2024-10-17 23:47:15 | 只看该作者
    晨枫 发表于 2024-10-17 10:39
    / d( m- ~% _" ]AI总结现有数据能力超过人类是自然的,就像雷达、光电红外的“视觉态势感知”好于人类一样。AI的输入通道 ...

    # I$ h- r, ]8 w6 N. P3 F8 k# E感觉AI遇到理论瓶颈了。。。辛顿老先生害怕的超过人类的AI看来暂时还没有影子呢。
    9 p$ D  W  T3 ~- C. `: ~' e1 L* h, `# j! d3 G! [$ t6 B
    好在AI现在还在进步,等几年看看最后能落地什么。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    9#
    发表于 2024-10-18 01:24:52 | 只看该作者
    宝特勤 发表于 2024-10-17 20:29
    . {( a5 c0 r$ V( s2 c+ S  D1 B! b回晨大牛的话。
    & a" F/ X  M/ ^- H% d; D0 D0 O' d7 h5 o6 q5 W+ U1 V- x$ v
    我确知美国至少有一家公司是鉴别反向信息的。他们负责AI的是我的密友。

    6 x2 L% Q! Q5 L1 a4 r/ z: @行啊,他们高兴就好。再说他们软件能读得懂多少有高中大学水平的中文?
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2019-6-1 10:07
  • 签到天数: 1 天

    [LV.1]炼气

    10#
    发表于 2024-10-18 02:02:19 | 只看该作者
    宝特勤 发表于 2024-10-17 20:29" f' e/ ?, _" ?7 Q
    回晨大牛的话。5 U% s8 V4 A* i
    & q0 X- X  y2 |$ {  H
    我确知美国至少有一家公司是鉴别反向信息的。他们负责AI的是我的密友。

    & {- ?- ~) K! g0 x6 H不知道你出于什么动机不停的阴阳攻击楼主,也许楼主在别处的罪过你?
    6 m% |- t6 \: Z6 i' A一个整天自诩大公司高管的ID,不停在每个楼里秀你的小肚鸡肠,说怪话,整得像个怨妇似的。  u6 H: g) \4 W! d1 h, v, f/ Y

    ; W8 T5 H- z, R+ a劝你呀,还是集中精力cosplay忙总,深度创作傻白甜的职场小作文。那才是蓝海的网络赛道呢。, \" D. w: ]8 e3 V  I
    1 q% U; u# p+ U- p/ k
    你在西西河cosplay忙总,用力过猛,已经被扒的裤衩都不剩了。又跑到爱坛碰瓷晨枫,好不容易积累了一点人设,这么快就要败光了,何苦呢!
    回复 支持 1 反对 0

    使用道具 举报

    该用户从未签到

    11#
    发表于 2024-10-18 02:04:39 | 只看该作者
    yanei 发表于 2024-10-18 01:24; s, w0 t( B/ q6 b2 r
    行啊,他们高兴就好。再说他们软件能读得懂多少有高中大学水平的中文? ...

    $ c9 t, w; U4 f2 u$ d! }回yanei 坛友的话。他们软件有中国大学内容啊。我随便问了一下 ChatGPT.
    ) n: }* y" M8 ?0 i+ r3 |5 J4 i# b# j! I. R" g
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2021-3-26 09:11
  • 签到天数: 1 天

    [LV.1]炼气

    12#
    发表于 2024-10-18 02:38:27 | 只看该作者
    晨枫 发表于 2024-10-17 23:39
    & ?' }, H8 ^8 W" L3 h% a$ s9 U6 tAI总结现有数据能力超过人类是自然的,就像雷达、光电红外的“视觉态势感知”好于人类一样。AI的输入通道 ...

    ; e1 ^! s$ v9 D4 z. s最后一句绝杀了,太牛了

    点评

    章总的残躯在破破烂烂的东陵里面想,为什么又是我躺枪。  发表于 2024-10-18 04:07
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    13#
    发表于 2024-10-18 04:13:52 | 只看该作者
    征久仁 发表于 2024-10-18 02:38! s) X' \0 f  h4 \" G, ?) {
    最后一句绝杀了,太牛了

    3 o# r. [/ t2 [2 M; e0 L2 B乾隆也是真诗人,首先是真人,其次会作诗,做的水平如何不提,但起码都合格律,就是写得有点多。基本每天一首,总量相当于《全唐诗》共四万三千多首,强烈怀疑他是带着 AI 穿越的。
    $ c( P( I# I: o- n; u
    ) Y" E- g% U7 A$ ^3 o7 I1 z$ j& b乾隆诗作虽然总体水平不高,但也不乏上品的,毕竟量变还是会带来一点质变的。例如:
    & ^- }6 Z/ e' v5 C) I- J
    & z$ T( f- G5 G4 W" i7 q+ `谁氏园林择胜开,山环抱复水瀠洄。# g# p. l* y) z# N9 \8 c7 Y& z
    川横桥喜路不断,岸转船如峰自回。9 |: M3 o3 E* H1 n8 ?4 g+ o0 `; t
    意入敞亭趣有永,目游高阁望无埃。
    & |" c$ _; E4 J# G7 \/ j分明层叠浅深处,欲问丹青能是哉?
      u+ u4 n1 ^% {+ b7 t4 a: ?% q# f6 [1 O
    还有这首:2 g$ X1 a% m0 c1 q$ Z
    三秋别忽尔,一晌奠酸然。
    - z- a. c9 \% Y' T追忆居中阃,深宜称孝贤。4 S* V6 i/ G9 R; q4 O& s
    平生难尽述,百岁妄希延。
    5 Z  ~. _0 h- s夏日冬之夜,远期只廿年。) K: h/ t" f5 Y  y6 }0 C

    1 y) Z; U0 h) W! J( R这是乾隆思念亡妻所作,平铺直叙,但情深意切。如果把赋也作为散文体的诗来看的化,乾隆的《述悲赋》也是很好的。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2020-4-8 10:45
  • 签到天数: 227 天

    [LV.7]分神

    14#
    发表于 2024-10-18 11:01:51 | 只看该作者
    感谢晨大翻牌子。
    ' {% }  S$ _. u/ A6 N  m' B* K1 |
    0 y% I$ K1 B8 l) s( [我是金融科技从业者,大模型领域的进化不得不长时间的持续跟进,同时也不得不面对非技术背景的人的询问。甚至是有些德高望重的前辈。* j: i4 Y6 G/ u; k6 b2 B2 \
    9 W' f3 j3 n% F9 }
    AI这个领域的发展,虽然常有一些意外,但还是跳不出唯物辩证法认识世界的基本观点。9 P; a" a  {+ h

    : \* t' ]* m8 ?: n1 A9 u: n晨大的论断,很有一点战略的味道。其实教员同志当年的实践论,矛盾论都是可以拿来理解这些现象的利器。但是国内没有这样的舆论来讲这些话。领域内的只想搞大新闻或者闷声发大财,也米有一个权威来讲讲这些战略上的东西,而用官话套话说这些又显得格格不入。5 Y, _" z1 O$ L. f( t  O0 J* V
    ) }: [. S7 Z7 v0 t2 T2 f. Q
    所以,舆论的阵地,如果我们不占领,就会被人占领。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2020-4-8 10:45
  • 签到天数: 227 天

    [LV.7]分神

    15#
    发表于 2024-10-18 11:03:46 | 只看该作者
    孟词宗 发表于 2024-10-18 04:13+ a' C! ^; _) f; A* X! c) Q# J
    乾隆也是真诗人,首先是真人,其次会作诗,做的水平如何不提,但起码都合格律,就是写得有点多。基本每天 ...
    / {* y; R+ Y3 v" w2 \: U
    孟老师可以移步诗梦小轩,看看俺的这篇解读http://www.aswetalk.net/bbs/foru ... read&tid=160605
    3 ~3 J8 ^: M8 j9 L* s- z, ?5 z( r& X
    1 P! v0 ]0 N' Q. v作为一个长期有写近体诗习惯的入门者,俺对于AI的近体诗还是有一些体会的。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2021-3-26 09:11
  • 签到天数: 1 天

    [LV.1]炼气

    16#
    发表于 2024-10-18 21:22:30 | 只看该作者
    孟词宗 发表于 2024-10-18 04:13. G3 C& K; |6 N$ J0 |% X
    乾隆也是真诗人,首先是真人,其次会作诗,做的水平如何不提,但起码都合格律,就是写得有点多。基本每天 ...

    : y" Z: z2 u9 M0 S2 r3 O" s, r很多字我不认识
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    擦汗
    3 天前
  • 签到天数: 1294 天

    [LV.10]大乘

    17#
    发表于 2024-10-19 00:01:27 | 只看该作者
    做中文专家AI系统确实是个好主意。通用AI如果是基于中文互联网确实太难了,污染得太厉害,到处是海量重复和不加甄别的信息,无效甚至有害。

    点评

    给力: 5.0 涨姿势: 5.0
    给力: 5 涨姿势: 5
    行家  发表于 2024-10-19 08:27
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2024-11-24 08:23 , Processed in 0.049318 second(s), 27 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表