设为首页收藏本站

爱吱声

 找回密码
 注册
搜索
查看: 1712|回复: 20
打印 上一主题 下一主题

[信息技术] 附议xiejin77兄:大模型加海量数据只是超级刷题大师

[复制链接]

该用户从未签到

跳转到指定楼层
楼主
 楼主| 发表于 2024-10-17 12:15:03 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
多谢xiejin77兄好文(http://www.aswetalk.net/bbs/foru ... read&tid=160739)。想了一下,有点感想,请不吝赐教。
9 y6 a+ y3 W$ L- ^9 c
7 Y6 R, s3 q6 n4 H6 F, l个人认为,大模型没有奥秘,还是靠模型参数之多来更好地“捕捉”现有知识的量变,而不是产生智慧的质变。知识依然来自海量的数据,也就是人类世界的现有认知。
3 g0 s9 h% S$ s. |- }. F1 s
$ K5 f. Z& z4 A% ~/ w2 b大模型加海量数据依然在本质上是超级刷题大师。比“查表”式的直接找答案要高级,能填补现有数据之间的空隙,但不能跳出现有数据所代表的知识的框架。在本质上,刷题能解决的,大模型最终都能解决。刷题解决不了的,大模型最终也解决不了。刷题也不是直接照搬解题,还是要判别题型不是嘛。# y8 [2 a/ e! H+ u

3 Y( {2 `) L* V4 N! T0 ^; \9 F! K" I3 b世界上的“题”已经够多,所以海量刷题是能刷到很恐怖的“智能水平”的。但依然只是超级刷题大师。沿着这条路走下去,不可能走出创造智慧、具有独立判断的“强人工智能”的。大模型“有创造力”的印象来自吟诗作画,但不是还有“熟读唐诗三百首,不会写诗也会诌”吗?画画也是一个意思,只是从文字介质换成图像介质。; [6 b& h. ?# x( A) i3 \+ {
; T3 I, _: l5 m& X1 e# l
用围棋规则自我训练是另一个问题。那是有限空间里确定解的问题,是极大规模的最优化问题。在本质上,这与“深蓝”早年打败卡斯帕罗夫相似,只是算力极大提高了,算法极大改进了。% D6 ?0 d  z: i% X% S% Y7 \

& i; C  ~& b% G% W2 W" [) w* `& R8 d这对中美的AI大赛意味着什么呢?' o2 y1 u" y: L- \0 d6 \

0 \# T2 |" J$ k6 g; e* s* I: j& ?AI的最终用武之地是在应用,应用型的AI的厉害来自数据,实践才出数据。3 O7 G* l5 l  Z$ }
. d4 I8 R6 Q9 B( L. [
在军事、艺术这些方面,美国有足够的实践,美国AI会很厉害,可能超过中国。必须说,中国军队打仗没有美国多,中国影视没有好莱坞能折腾,音乐、美术等也是一样。
% p* m& Q' v$ C3 O5 a! U1 q: J' D& M6 M$ P' T
但中国人在制造、建设、物流这些实体方面的实践更多,数据丰富得多。社交媒体和广义通信方面,抖音、微信出现在中国也不是偶然的。个人认为,这些与经济和社会相关的AI应用可能中国会领先,如果不是已经领先的话。8 O/ r5 w  g, X$ s/ l
( s7 P: e/ F$ X: y( z4 a! Z$ m
美国式AI训练凭借算力和算法优势,把天下所有圣贤书、垃圾书统统海灌进去,希望“良币最终压倒劣币”,也因为搞AI建模的人没有能力筛选圣贤书、垃圾书。他们需要的是“通用人工智能”,而没人是能在所有方面都成为专家的。
% Q* M9 [1 a2 k: z; k1 ?! I  `. a" {
中国式AI训练在算力方面吃亏,算法再厉害也输在起跑线上。但中国人有有用的专业知识积累,中国AI也聚焦专业AI,专家参加训练,所以大模型训练时只灌圣贤书,不灌垃圾书,最后在形成有用但专业AI应用方面成绩斐然。
5 }1 ^/ K" ^& w1 X
/ m, S3 A/ I% q# @1 n最终,算法、芯片这些都不足以决定性地改变中美AI的走势。

评分

参与人数 6爱元 +48 学识 +2 收起 理由
方恨少 + 12
长叶林 + 8
pcb + 4
tanis + 4 给力
住在乡下 + 6 涨姿势

查看全部评分

本帖被以下淘专辑推荐:

该用户从未签到

沙发
发表于 2024-10-17 20:29:40 | 只看该作者
回晨大牛的话。& V1 [7 k% e( T+ a0 T9 N( N% _
  a' A0 U' J+ V' D
我确知美国至少有一家公司是鉴别反向信息的。他们负责AI的是我的密友。
6 a* E9 v8 F' w6 c( ~# T; l% ]
! [4 P$ _# c. ?. y, z! y( O我下面引用他们的话。我先声明我不同意他们的话。7 b0 g3 [3 o% w2 S# F5 w" N$ {6 g

4 M+ T6 [% e4 \+ I他们的反向信息是中文网络材料。作为唯利是图的美国商人他们对政治不感兴趣。他们这么做的理由是中文网络充满逻辑错误和事实错误。
! r6 x& J6 s* m# u7 x$ I* L
2 d$ s/ @, I2 G! \逻辑错误和事实错误是不可避免的。但是多了不好。咱从自己做起,用事实证明他们走了弯路。
回复 支持 反对

使用道具 举报

  • TA的每日心情
    擦汗
    2025-5-22 23:34
  • 签到天数: 3170 天

    [LV.Master]无

    板凳
    发表于 2024-10-17 23:16:09 | 只看该作者
    宝特勤 发表于 2024-10-17 07:29
    / d% X( X8 K! O回晨大牛的话。
    & C) A* Z! b. h  Q$ e
    0 h4 F; _4 i' X. [" W1 l我确知美国至少有一家公司是鉴别反向信息的。他们负责AI的是我的密友。
    2 R3 {% k" n" ?$ ?& b2 z
    咋感觉你的朋友在缘木求鱼呢。
    8 d- H/ O7 h! u: J  J$ v% r众所周知,中文网络的信息量相当小,宽度和深度都不行。这个在几年前就有广泛的讨论。过去几年某种程度上更加是倒退的。掌握中文信息最多是中国政府,第二是国内那些互联网大厂。所以,你的朋友在中文互联网上找内容,感觉完全是门外汉的做法。7 u, ?: g% m! K' M7 ^2 {8 p1 s

    / W  h# x9 }/ ^' ^这种封闭带来了信息垄断。其好处显然被美国互联网大厂也看到了。于是,过去几年里信息越来越闭塞,爬虫能去的地方也越来越少了,大量信息开始从英文互联网上消失了。这个其实成为堵塞AI后发企业的秘籍。这点上,感觉美帝在向中国学习了。. l: I5 |: U0 }3 ]8 y* e  w

    点评

    油菜: 5.0 给力: 5.0
    涨姿势: 5.0 不能同意更多: 5.0
    油菜: 5 给力: 5 涨姿势: 5 不能同意更多: 5
      发表于 2024-10-18 16:18

    评分

    参与人数 1爱元 +10 收起 理由
    老票 + 10 不能同意更多

    查看全部评分

    回复 支持 反对

    使用道具 举报

    该用户从未签到

    地板
    发表于 2024-10-17 23:29:27 | 只看该作者
    赫然 发表于 2024-10-17 23:16
    . K/ B5 F, V1 D" L+ k/ h咋感觉你的朋友在缘木求鱼呢。7 j8 q" G; L' t) W: F4 b
    众所周知,中文网络的信息量相当小,宽度和深度都不行。这个在几年 ...

    , X5 m: r7 M& X2 d; Z  U5 |赫大说得对啊。我朋友不是在中文网上找学习的内容,而是找反面教材。和赫大的观察是一致的。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2021-3-26 09:11
  • 签到天数: 1 天

    [LV.1]炼气

    5#
    发表于 2024-10-17 23:30:32 | 只看该作者
    宝特勤 发表于 2024-10-17 20:29
    1 h+ H( k4 h4 e* o# ?- k, }) N回晨大牛的话。# v$ p; b$ Q: ^6 W: z# o/ G

    $ ~" Y! n. [. b# _3 d0 m我确知美国至少有一家公司是鉴别反向信息的。他们负责AI的是我的密友。

    & f- X7 B4 c4 N) E3 L; j以我大美利坚为例,Truth Social , X, Reddit和TikTok 同主流媒体的区别,让我有了一种平行时空的感觉。
    - \" K3 U7 I2 j; V2 I
    . o9 j* M5 m5 D6 ^4 ?回到中国,小红书抖音快手,知乎网易豆瓣,同官媒,也肯定不在一个层面上。: M( a, O; H% A; K/ l2 q' r; ?6 f
    7 ]$ j! Y1 F1 `* z, ]5 L% }
    所以逻辑错误或者认知完全不一样都很正常,不宜轻易下结论。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2021-3-26 09:11
  • 签到天数: 1 天

    [LV.1]炼气

    6#
    发表于 2024-10-17 23:32:08 | 只看该作者
    AI在总结现有数据上先天性强于人类,但将AI用于开拓新领域必须小心求证。
    ! Q4 U/ J1 h2 }
    / q' L0 |! x- u, J; t5 l我天天用ChatGPT改邮件和论文,但我不相信ChatGPT写的论文。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    7#
     楼主| 发表于 2024-10-17 23:39:30 | 只看该作者
    征久仁 发表于 2024-10-17 09:32/ o+ E( r( J! B, [6 u) `4 X
    AI在总结现有数据上先天性强于人类,但将AI用于开拓新领域必须小心求证。
    % |1 c5 \4 Y# _  ?0 R8 D/ S/ k3 Y& B( r
    我天天用ChatGPT改邮件和论文, ...

    ( j; i) t! L4 a2 SAI总结现有数据能力超过人类是自然的,就像雷达、光电红外的“视觉态势感知”好于人类一样。AI的输入通道比人类多太多了,运算速度也爆棚,要刷题,人类是不能拼得过AI的。谁要是无聊到开动AI狂写诗,乾隆都要羞愧。但事实还是一样的:乾隆不是真诗人,AI也不是真诗人。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    擦汗
    2025-5-22 23:34
  • 签到天数: 3170 天

    [LV.Master]无

    8#
    发表于 2024-10-17 23:47:15 | 只看该作者
    晨枫 发表于 2024-10-17 10:39! O& Z% ~8 {4 ^) ~5 y
    AI总结现有数据能力超过人类是自然的,就像雷达、光电红外的“视觉态势感知”好于人类一样。AI的输入通道 ...
    6 X, N5 R% A& g5 E
    感觉AI遇到理论瓶颈了。。。辛顿老先生害怕的超过人类的AI看来暂时还没有影子呢。
    7 E+ T8 W: m8 v# {" g+ b; I3 ]" ~2 T# j: f! \
    好在AI现在还在进步,等几年看看最后能落地什么。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    9#
    发表于 2024-10-18 01:24:52 | 只看该作者
    宝特勤 发表于 2024-10-17 20:29: V- Z4 @7 _. D5 _
    回晨大牛的话。
    $ `- S' v# d: I' i# @" |% Z
    8 u; V4 m: z+ l我确知美国至少有一家公司是鉴别反向信息的。他们负责AI的是我的密友。

    . s. w0 {! ?( [6 O; P行啊,他们高兴就好。再说他们软件能读得懂多少有高中大学水平的中文?
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2019-6-1 10:07
  • 签到天数: 1 天

    [LV.1]炼气

    10#
    发表于 2024-10-18 02:02:19 | 只看该作者
    宝特勤 发表于 2024-10-17 20:29, R) S6 g0 b% r) b
    回晨大牛的话。& A+ @; G/ w6 k2 y" Z7 H& ^. w

    9 ~1 K8 y0 {0 c! g: w我确知美国至少有一家公司是鉴别反向信息的。他们负责AI的是我的密友。

    ( n7 M3 j+ C  ^# {" r7 E不知道你出于什么动机不停的阴阳攻击楼主,也许楼主在别处的罪过你?
    ' z7 i& o9 E+ b" N1 E$ g6 s一个整天自诩大公司高管的ID,不停在每个楼里秀你的小肚鸡肠,说怪话,整得像个怨妇似的。/ D; D3 w9 x  f/ o0 x. B* q

    8 m$ w, D  N5 X# n7 Z( K3 V劝你呀,还是集中精力cosplay忙总,深度创作傻白甜的职场小作文。那才是蓝海的网络赛道呢。; v, H" P5 r' L1 I1 s3 M$ l/ e) u

    ; S+ h4 O# {/ N) e5 R* {你在西西河cosplay忙总,用力过猛,已经被扒的裤衩都不剩了。又跑到爱坛碰瓷晨枫,好不容易积累了一点人设,这么快就要败光了,何苦呢!
    回复 支持 1 反对 0

    使用道具 举报

    该用户从未签到

    11#
    发表于 2024-10-18 02:04:39 | 只看该作者
    yanei 发表于 2024-10-18 01:24
    : C0 Y  s/ M: F" ^& D/ a行啊,他们高兴就好。再说他们软件能读得懂多少有高中大学水平的中文? ...

    ( k1 J" J( W  z( r" O! F1 i% ]回yanei 坛友的话。他们软件有中国大学内容啊。我随便问了一下 ChatGPT.- W/ Q( t" I- z% p% Y* Y

    5 D* z' g6 G3 l$ E" Y
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2021-3-26 09:11
  • 签到天数: 1 天

    [LV.1]炼气

    12#
    发表于 2024-10-18 02:38:27 | 只看该作者
    晨枫 发表于 2024-10-17 23:39
    * l( t/ y4 N0 W- _AI总结现有数据能力超过人类是自然的,就像雷达、光电红外的“视觉态势感知”好于人类一样。AI的输入通道 ...

      u9 o) X+ `7 t( i最后一句绝杀了,太牛了

    点评

    章总的残躯在破破烂烂的东陵里面想,为什么又是我躺枪。  发表于 2024-10-18 04:07
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    13#
    发表于 2024-10-18 04:13:52 | 只看该作者
    征久仁 发表于 2024-10-18 02:38( h% E9 [4 x; i- S: Y# s) v
    最后一句绝杀了,太牛了

    + W, E! r2 l( C: h; ]2 A乾隆也是真诗人,首先是真人,其次会作诗,做的水平如何不提,但起码都合格律,就是写得有点多。基本每天一首,总量相当于《全唐诗》共四万三千多首,强烈怀疑他是带着 AI 穿越的。/ Y4 f$ p3 S# c+ G) a, w6 l, a

    ' K3 G9 k% c, U5 `8 K乾隆诗作虽然总体水平不高,但也不乏上品的,毕竟量变还是会带来一点质变的。例如:) ~4 h/ T) Q% k- B

    1 X0 a6 G5 A) Z8 p. [( s- p1 \) {5 r谁氏园林择胜开,山环抱复水瀠洄。& z# ?1 y9 Z9 g- x
    川横桥喜路不断,岸转船如峰自回。2 T8 U1 _  Y! Q5 B$ j
    意入敞亭趣有永,目游高阁望无埃。
    * V( w' z8 g* C! b6 `. I$ b$ Z分明层叠浅深处,欲问丹青能是哉?4 V3 O, m6 c5 H) i2 ~
    8 _# r1 M& }  M. q
    还有这首:
    : y3 [0 d3 A! v三秋别忽尔,一晌奠酸然。* H* I" T. N& n2 L( n
    追忆居中阃,深宜称孝贤。. U& k9 _1 ~5 }" d6 y- Z
    平生难尽述,百岁妄希延。0 d# x/ h2 p8 }* s. @' l
    夏日冬之夜,远期只廿年。
    " }. y4 R! }0 ?  n! q2 z3 @
    . C! y) }9 H, A这是乾隆思念亡妻所作,平铺直叙,但情深意切。如果把赋也作为散文体的诗来看的化,乾隆的《述悲赋》也是很好的。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2020-4-8 10:45
  • 签到天数: 227 天

    [LV.7]分神

    14#
    发表于 2024-10-18 11:01:51 | 只看该作者
    感谢晨大翻牌子。. K) B8 o; [8 `* e+ s/ \& V
    : f: u; O4 h& w8 }2 A
    我是金融科技从业者,大模型领域的进化不得不长时间的持续跟进,同时也不得不面对非技术背景的人的询问。甚至是有些德高望重的前辈。
    - }* C1 A7 ~# _* i0 o5 l# p' @/ |! m' H7 Q+ O% r
    AI这个领域的发展,虽然常有一些意外,但还是跳不出唯物辩证法认识世界的基本观点。, `. n# O" [' b* Q3 q
      v( V& a% ]6 u) A
    晨大的论断,很有一点战略的味道。其实教员同志当年的实践论,矛盾论都是可以拿来理解这些现象的利器。但是国内没有这样的舆论来讲这些话。领域内的只想搞大新闻或者闷声发大财,也米有一个权威来讲讲这些战略上的东西,而用官话套话说这些又显得格格不入。
    4 K  q9 ]& a2 d1 \& }/ I  t- \7 v! d, S. e2 c. C
    所以,舆论的阵地,如果我们不占领,就会被人占领。

    点评

    给力: 5.0 不能同意更多: 5.0
    给力: 5 不能同意更多: 5
      发表于 2024-10-18 11:59
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2020-4-8 10:45
  • 签到天数: 227 天

    [LV.7]分神

    15#
    发表于 2024-10-18 11:03:46 | 只看该作者
    孟词宗 发表于 2024-10-18 04:13
    : ^  b! c2 A  K0 I乾隆也是真诗人,首先是真人,其次会作诗,做的水平如何不提,但起码都合格律,就是写得有点多。基本每天 ...

    . A9 M  V# R* }* Y+ q+ f孟老师可以移步诗梦小轩,看看俺的这篇解读http://www.aswetalk.net/bbs/foru ... read&tid=1606058 t0 w: {! e3 v+ W* `, [

    6 B: {9 s( ?7 o作为一个长期有写近体诗习惯的入门者,俺对于AI的近体诗还是有一些体会的。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2021-3-26 09:11
  • 签到天数: 1 天

    [LV.1]炼气

    16#
    发表于 2024-10-18 21:22:30 | 只看该作者
    孟词宗 发表于 2024-10-18 04:13/ D: c# [# B; C( Q9 U
    乾隆也是真诗人,首先是真人,其次会作诗,做的水平如何不提,但起码都合格律,就是写得有点多。基本每天 ...
    ) A" H3 h0 z0 Z1 M$ c
    很多字我不认识
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    难过
    7 天前
  • 签到天数: 1383 天

    [LV.10]大乘

    17#
    发表于 2024-10-19 00:01:27 | 只看该作者
    做中文专家AI系统确实是个好主意。通用AI如果是基于中文互联网确实太难了,污染得太厉害,到处是海量重复和不加甄别的信息,无效甚至有害。

    点评

    给力: 5.0 涨姿势: 5.0
    给力: 5 涨姿势: 5
    行家  发表于 2024-10-19 08:27
    回复 支持 反对

    使用道具 举报

    手机版|小黑屋|Archiver|网站错误报告|爱吱声   

    GMT+8, 2025-8-2 17:26 , Processed in 0.053369 second(s), 23 queries , Gzip On.

    Powered by Discuz! X3.2

    © 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表