爱吱声

标题: 人工智能会成为人类智能的终结吗 [打印本页]
作者: 晨枫    时间: 2016-1-29 14:15
标题: 人工智能会成为人类智能的终结吗
本帖最后由 晨枫 于 2016-1-29 08:39 编辑
7 a/ R9 q$ w, E3 W* ~+ x; O# F
2 J- t1 W. D# k) E谷歌的AlphaGo战胜欧洲围棋冠军，引起轰动。人工智能是否会成为人类智能的终结，再次成为热门话题。
6 G: _5 X0 ^- \) D8 l. l' T7 z- m& u% [% C5 Q# |4 @# S7 S2 y
计算机在国际象棋里战胜世界冠军，这已经是好几年前的新闻了。围棋比国际象棋更复杂，计算的复杂性是高得多的层次，一般认为不可能靠穷举法计算出正确步骤。谷歌AlphaGo在人类专业对手不让子的情况下，5：0大胜，这确实是惊人的成就，但这依然应该放到大框架下来看。围棋尽管复杂，但依然是有限问题，只有有限的棋盘、有限的棋子。靠穷举法已经不可能，但机器学习、深度学习可以看作更“聪明”的穷举法，只是通过学习减少需要穷举的组合，极大地提高了穷举的效率，相当于研究前人的精华棋谱，掌握在一定棋局时的成功应对路数。谷歌AlphaGo还可以自己与自己对弈，快速积累经验，储存更多成功的棋局，用于实战时的指导。这与人类下棋时并无原则不同，好棋手走一步看两步，这看两步其实也是在评估不同走法的优劣，其中经验（包括来自棋谱的间接经验）指导了评估和测试的方向，减少了无效的“胡思乱想”。3 G8 `) K) f" G3 z

+ \% ~/ d4 l( [- r. G! \随着CPU速度的提高、内存容量和速度的提高，计算复杂性的门槛越来越高，机器学习使得“智能比较”和“智能穷举”越来越现实，很多过去认定不可能破解的问题现在可以破解了。按某种估计，围棋的复杂度是10的170次方，比国际象棋的10的47次方多100多个0，换句话说，计算机战胜围棋世界冠军也只是一个时间问题。但这就是人工智能吗？究竟什么是智能？事实上，人类对于智能并没有统一、精确的定义。在某种意义上，这和泛泛的“好”一样，只是相对于“坏”。智能只是相对于愚钝而言。
, k$ \9 V9 B; f% [
, O6 e, k9 G% }5 Y% G1 s* O人类智能的最大特点其实在于突变和急智，在于灵机一动、超常思维和创造性。纯经验的思维与条件反射没有本质差异，谈不上智能。在有限棋盘、明确规则情况下，如果能突破计算复杂性的障碍的话，纯经验、穷举法是可以找到最优解的。但换到无限棋盘、模糊甚至动态规则的情况下，纯经验、穷举法就不灵了。赵括的故事人人知道，这不是兵书的错，而是对棋盘和规则的理解错误。熟读唐诗三百首依然只是鹦鹉学舌，单靠这是成不了李白杜甫的。法律是人类智能能做到的最明确无误、最没有歧义的文字，但法庭判决依然不可能由计算机做出，因为再明晰的法律条文依然有模糊的边界，再清楚的被告行为依然有模糊和多义的解释。具体到计算机下围棋上，如果开盘时临时把棋盘加大一倍，棋子增加，人类棋手和计算机棋手都会大吃一惊，但人类棋手会根据经验和原则边摸索边继续下棋，计算机也会，但先前的“机械记忆”的经验就不一定有能力外推到新的棋局了，可能要从头来起。有足够运算速度的话，依然可以边考虑下一步对策，变自我大战3000万个回合，迅速积累经验，但利用前人棋谱这样的学习就难了。# Q3 {( x/ C; P4 X; W; L0 `0 W! \! ]
) v8 V! l9 k& {0 r4 g/ _9 x
人类对于自身的智能依然缺乏理解，尤其是对于突变思维缺乏理解。人工智能按照人类对智能的理解来实现的话，在本质上无法突破这个极限，就好象在二维空间里怎么划道道，也成不了三维的图像一样。除非人类对于自身的智能有了突破性的理解，人工智能终结人类智能的可能性并不存在。但人类理解自身智能可能有逻辑和哲学上的怪圈，自己不可能真正理解自己。这就像永动机一样。
4 n+ x9 K0 n& Y) T7 l/ S. Z4 e. g4 _: v" x0 y
但纯经验的人工智能依然可以在明确定义、可重复的任务中达到人类的程度。比如说，早已没人试图在心算中打败计算机了。即使是只可意会不可言传的厨艺，只要可重复，人工智能就能做到。可能缺乏点灵性，但口味还是有保证的。这对人类意味这什么呢？这逼着人类向着智能型发展，只有机器想不出、做不到的事情，才是人类的保留地。这和机器时代正好相反，那时是只要机器能做的，都交给机器去做。英文中有一句话，even a monkey can do it，意思就是说，根本不需要懂脑子。在人工智能发达之后，if a monkey can do it, a monkey will do it, there will be no place left for you。
/ C1 y. X6 k6 D# U
* _8 W6 B. N; p8 U9 Q3 s未来社会将高度重视教育和思考，体能、敏捷反而成为修身养性的东西，因为人类的体能和敏捷不可能超过机器，只有人类的创造性思维才是优越性所在。
作者: 史老柒    时间: 2016-1-29 16:23
我认为人工智能取代人类的大脑是必然的，这也是科学发展水平所必须的。
2 m3 f6 s' B0 h: R1 y& S) }
5 p- Y0 S* ^' \0 e" p只不过现在就说人工智能已经和人类的大脑不相上下，为时过早。
作者: 燕庐敕    时间: 2016-1-29 17:19
樊麾根本没有职业棋手的水准了，从国少离开后没在一线混过。
2 z7 I# Z3 x# m  t; R1 \0 f* G8 X+ c7 A5 t  k4 `  ]
这五盘棋也没看到飞刀，打劫这些体现人类急智和判断的东西。
6 E- l2 o: n$ ^# A0 y5 Z
8 d) J; L+ x/ @5 x飞刀是指开局时定式下发的突然变招，很多都是有陷阱的，对手应对不当，会马上陷入被动。) V$ y( I0 w& c

) k' q  k% }/ E' D2 [打劫则是在寻劫材方面，很多虚的判断，比如转换后，实地的变化可以计算，厚薄就比较困难。这计算结果就会影响应手，导致下面的流向变化。
+ M. n5 X7 O4 Z3 S6 z4 ]9 f! t4 g1 I' m/ r
罗洗河放弃三劫循环大胜崔哲瀚的，不知道谷歌的程序怎么判断。
作者: dingzi    时间: 2016-1-29 17:40
感觉人类的所谓智能必须包括会犯错误吧，并且一直以来对物种来说能够承受错误的后果。
+ A% h6 H' C2 [' a7 m! l6 L! |- O而人工智能设计的主观目标之一肯定是不犯错误。5 x* ^' x; G  U- [, s( a
如果人工智能的发展仅是超过人类大脑，应该是可以实现的。但人类智能会搭错线的特点也势必会延续，则超强大的人工智能的某钟错误可能是其无法承担的，并将导致人工智能自身的灭亡。, s0 D0 `% \  U: O3 d
于是，超人工智能在某个位面中也许曾大量存在并灭绝过。
作者: 玩牌也    时间: 2016-1-29 17:50
作者: 雨楼    时间: 2016-1-29 17:52
自主思考是关键问题。当AI能问出我是谁，从哪里来，到哪里去时，就可以做个合格的高校门卫袅。
作者: dasa    时间: 2016-1-29 18:00
以前我在学校上政治课的时候，曾经写过一篇：计算机-人类的掘墓人的文章。被老师传阅，认为说的很有道理。
作者: 山远空寒    时间: 2016-1-29 20:03
dasa 发表于 2016-1-29 18:00
' `3 K6 P2 u8 s以前我在学校上政治课的时候，曾经写过一篇：计算机-人类的掘墓人的文章。被老师传阅，认为说的很有道理。 ...
7 A7 m1 C8 s) \( _
你好，半仙！
作者: 老兵帅客    时间: 2016-1-29 20:44
只要文章翻译没有解决鬼话连篇问题，就别扯什么人工智能的伟大前景了。
作者: 冰蚁    时间: 2016-1-29 20:51
dingzi 发表于 2016-1-29 04:40
3 N  O) d: y5 E感觉人类的所谓智能必须包括会犯错误吧，并且一直以来对物种来说能够承受错误的后果。, `+ O4 K5 `0 I$ W' }# B$ U% G0 R
而人工智能设计的主 ...

, f' C5 @% J4 b, I0 K  _AI　没说不能犯错。现在早已经是概率判断了。
作者: 冰蚁    时间: 2016-1-29 20:54
你这个判断基于早期ＡＩ的经验。对未来的ＡＩ发展判断没有依据。
作者: dingzi    时间: 2016-1-29 22:01
冰蚁 发表于 2016-1-29 20:51
, i/ M+ t2 I1 u. l1 b+ E! DAI　没说不能犯错。现在早已经是概率判断了。
5 E+ ?, R$ M1 K6 o, |' S) e
谢谢。我再想想。
作者: 晨枫    时间: 2016-1-29 22:31
史老柒 发表于 2016-1-29 02:232 \3 K" r; a5 a3 v
我认为人工智能取代人类的大脑是必然的，这也是科学发展水平所必须的。
8 O/ d7 ~4 K. |& a* J! V& H$ u( z  W$ |/ K; b: g7 Y% a+ }
只不过现在就说人工智能已经和人类 ...

' a1 g, [2 a, N! W我认为从哲学层面上来说就是不可能的，就像永动机一样。不过现在还没有人在理论上证明必然还是不可能，先存着。
作者: 晨枫    时间: 2016-1-29 22:32
燕庐敕 发表于 2016-1-29 03:19
# X  @% U9 E. X( D3 O2 g樊麾根本没有职业棋手的水准了，从国少离开后没在一线混过。. N, ?8 L4 b: Q) W9 {, @

# e6 Y, [5 g7 K! m! i) c这五盘棋也没看到飞刀，打劫这些体现人类急智 ...
; S6 s- S8 c& n. ~1 B
至少在理论上，谷歌AlphaGo可以把飞刀和打劫的情况也考虑进去，这就是穷举法的威力了，通吃！
作者: 晨枫    时间: 2016-1-29 22:41
dingzi 发表于 2016-1-29 03:40& h3 p. b) U. _9 o2 m% P1 \4 \
感觉人类的所谓智能必须包括会犯错误吧，并且一直以来对物种来说能够承受错误的后果。
; y$ g( |5 M% ?$ P' K  [6 o( _" n$ G而人工智能设计的主 ...
% K- |1 s" U! _
犯错误是肯定的，赵括不就犯错误了嘛，还有前赴后继的贪官。但正如你说的，对物种来说，能够从错误中学习，适应，所以能够承受错误的结果。人工智能的设计目标是不犯错误，但这与人类思维没有原则差别，人类行为在主观上也不是想犯错误。
作者: 晨枫    时间: 2016-1-29 22:42
dasa 发表于 2016-1-29 04:00; F  F6 W5 s' |: \5 W$ k5 y* K
以前我在学校上政治课的时候，曾经写过一篇：计算机-人类的掘墓人的文章。被老师传阅，认为说的很有道理。 ...
! J% z7 q. ~8 Z# d2 X1 |* \. M6 }/ }
现在还找得到吗？贴出来看看？
作者: 晨枫    时间: 2016-1-29 22:43
冰蚁 发表于 2016-1-29 06:54' R/ b7 g6 _( n- d
你这个判断基于早期ＡＩ的经验。对未来的ＡＩ发展判断没有依据。

$ n7 N) X7 y* Z% k- p# e6 }9 \+ ~- y同样的话也适用于永动机：“你这个判断基于早期永动机的经验，对未来永动机发展判断没有依据。”
作者: 冰蚁    时间: 2016-1-29 22:48
晨枫 发表于 2016-1-29 09:433 U- S; R1 I9 O+ k4 y, Y3 c
同样的话也适用于永动机：“你这个判断基于早期永动机的经验，对未来永动机发展判断没有依据。” ...
( x3 Q3 ~2 p. k# T# H
永动机是物理定律给限死了。AI 有什么物理上的限制？
作者: 晨枫    时间: 2016-1-29 22:51
冰蚁 发表于 2016-1-29 08:48
- a% ]4 |( C" Y8 p5 p, b$ x5 n永动机是物理定律给限死了。AI 有什么物理上的限制？
! F  x( C9 g6 X% q( i
这不是普通的物理定律，而是哲学层面上的。不理解这个差别，就会钻牛角尖。物理定律还有适用空间呢，能量守恒、物质守恒都是物理定律，但给你来一个能量物质转换，定律哪去了？
作者: 冰蚁    时间: 2016-1-29 23:04
晨枫 发表于 2016-1-29 09:51
$ z* x  ?! k, R; F这不是普通的物理定律，而是哲学层面上的。不理解这个差别，就会钻牛角尖。物理定律还有适用空间呢，能量 ...

  y& Z4 u0 k: }; M  z' T0 ^" z! [# X大哥，你在说啥呢？能量物质转换什么时候成哲学层面的东西了？
作者: 四处张望    时间: 2016-1-29 23:06
晨枫 发表于 2016-1-29 22:31
7 f' N3 v( l( q5 v我认为从哲学层面上来说就是不可能的，就像永动机一样。不过现在还没有人在理论上证明必然还是不可能，先 ...
& E) D/ X+ X( J8 `9 S
如果是哲学层面，那就很不保险了
作者: 晨枫    时间: 2016-1-30 00:04
冰蚁 发表于 2016-1-29 09:048 D/ D8 T) |; k. u# I
大哥，你在说啥呢？能量物质转换什么时候成哲学层面的东西了？

! H6 s. L6 }( X  N( }  J+ l7 [; @你不会以为哲学只管“我思故我在”吧？
作者: 晨枫    时间: 2016-1-30 00:06
四处张望 发表于 2016-1-29 09:060 f8 s" M! }$ y
如果是哲学层面，那就很不保险了

% U9 G6 t2 Y( P1 l4 B& m2 t这是国内理工科教育不靠谱的地方，大多侵蚀文科，其实哲学都不能算文科。数学上的存在性、惟一性这些其实已经超过数学层次了，热力学第二定律也不只是热力学的定律。
作者: 冰蚁    时间: 2016-1-30 00:09
晨枫 发表于 2016-1-29 11:04& a5 y+ Q! C! n; }( P# o$ {. G
你不会以为哲学只管“我思故我在”吧？
% K6 C" o* R% M  j2 w0 I, `9 p  i
我当然不会这样以为。但是用能量物质转换这样举例子也太不妥当了吧。
作者: 晨枫    时间: 2016-1-30 00:34
冰蚁 发表于 2016-1-29 10:096 K0 V0 c" H$ J4 y
我当然不会这样以为。但是用能量物质转换这样举例子也太不妥当了吧。

- o; J* s% |$ B$ _请抬头见楼上23楼。
作者: 淡淡微风    时间: 2016-1-30 00:58
有些东西超越是必然的，有些东西是不可能的。有一无二的那些，连人类自己都不可能超越。也许区别或者说分野就在是否可复制，或者说逻辑性的可能超越，非逻辑性的无法超越。& y! f' S: G# o
比如王羲之，比如李白，比如孔子老子庄子。
作者: 冰蚁    时间: 2016-1-30 01:09
晨枫 发表于 2016-1-29 11:34; o: D/ m2 \" H$ m; [+ Y
请抬头见楼上23楼。
+ ]. [2 \5 p) O* y
一定要扯哲学，话题就太大了。坛子里没人讲得清。
作者: dingzi    时间: 2016-1-30 01:16
晨枫 发表于 2016-1-29 22:41
% ]7 g: _; m0 ?0 k+ p犯错误是肯定的，赵括不就犯错误了嘛，还有前赴后继的贪官。但正如你说的，对物种来说，能够从错误中学习 ...
8 l" f. A# g3 _& ?1 t+ L* c
是我口齿不清，呵呵。
6 D( O) P5 A: k8 p7 {+ N- G1、如果AI以山寨人的大脑为目的，则在强人工智能到超人工智能过程中因人脑自身的智能问题必然会出现超级错误无法控制而把自己玩死；
. T& N8 q( o8 ~2、如果目标是避免一切错误的AI，其实终极目的就是超人工智能，以人脑的智能在没有超人工智能存在的情况下如何能实现超人工智能？至于部分人工智能不会出错的设备现在已经大量存在，但也仅是弱人工智能而已。8 o3 O$ S8 S: f, |3 e4 \$ P
这似乎进入修辞的较真或某种悖论了，已经不是能驾驭的啦。7 h  p/ x. y& ?1 V
上面使用了一些http://www.aisonny.com/archives/4352.htm文中的概念，但找不到站里转发的原帖了。在此感谢。
作者: 四处张望    时间: 2016-1-30 01:23
晨枫 发表于 2016-1-30 00:06! V: \8 R7 f+ H) z
这是国内理工科教育不靠谱的地方，大多侵蚀文科，其实哲学都不能算文科。数学上的存在性、惟一性这些其实 ...
' C2 q5 L  b1 }) t# R/ y) }  I& E
看你怎么定义哲学了。
作者: 四处张望    时间: 2016-1-30 01:25
其实你这个题目太大了，而且定义很含糊。
& p0 t6 z6 z* O1 Z
人类智能的最大特点其实在于突变和急智，在于灵机一动、超常思维和创造性
' y3 W; R: j7 b# X) _
这个最大特点，其实非常存疑。
作者: tanis    时间: 2016-1-30 01:30
晨枫 发表于 2016-1-29 22:31
( X1 T. N- w9 q5 `, g  ^  |/ Y我认为从哲学层面上来说就是不可能的，就像永动机一样。不过现在还没有人在理论上证明必然还是不可能，先 ...

2 M4 z* S, ]7 T/ ?, m# O1 p我倒是认为从技术角度一切皆有可能
作者: 老兵帅客    时间: 2016-1-30 01:39
看了楼上各位的帖子，建议这个话题转水库，全是空话啊。
作者: 四处张望    时间: 2016-1-30 02:05
老兵帅客 发表于 2016-1-30 01:39' y2 |" U0 i( i, X: r" A
看了楼上各位的帖子，建议这个话题转水库，全是空话啊。

/ M! O; O9 j+ `7 \/ p' w那当然，都谈到哲学了，不水怎么行
作者: 冰蚁    时间: 2016-1-30 02:08
老兵帅客 发表于 2016-1-29 12:39, \1 x5 T1 J. u) `
看了楼上各位的帖子，建议这个话题转水库，全是空话啊。
7 s* i' }  M4 a" W6 ^# R  ]! F1 \
同意+ q  L+ N" \' t4 N4 h% z

- t; g( [  z" ^4 G, ~  _
作者: holycow    时间: 2016-1-30 02:12
老兵帅客 发表于 2016-1-29 09:39
  U: h2 a# O( E# p2 m看了楼上各位的帖子，建议这个话题转水库，全是空话啊。
4 z1 ^% D2 z1 c9 q& B- V
嘘，水库里的鲫鱼是人工智能的典型，小心报应
作者: 冰蚁    时间: 2016-1-30 02:15
holycow 发表于 2016-1-29 13:12
  N, s" |3 y6 F2 U. m嘘，水库里的鲫鱼是人工智能的典型，小心报应

& b/ P/ [6 ^7 E! c7 @* ^有晨斯基从哲学上对付鲫鱼，有老兵从代码上hack鲫鱼，鲫鱼一定完蛋了，我等绝对无忧。神牛勿虑。5 ?2 b9 Z2 B2 P: w

. ?- z# ~, f8 n' d# }
作者: 燕庐敕    时间: 2016-1-30 07:40
老兵帅客 发表于 2016-1-29 20:44' I* E+ e& S0 I6 q( \8 d4 W- M, D
只要文章翻译没有解决鬼话连篇问题，就别扯什么人工智能的伟大前景了。

* {+ }3 l+ Q5 {* R就是“先进性”翻译成 Advanced Sex？
作者: 燕庐敕    时间: 2016-1-30 07:42
晨枫 发表于 2016-1-29 22:32/ }$ E- m5 O+ B9 c4 ^. M
至少在理论上，谷歌AlphaGo可以把飞刀和打劫的情况也考虑进去，这就是穷举法的威力了，通吃！ ...

: e8 O! e* {# U# x; z# c' ?那为啥下棋的时候这些都没有？是樊麾水平真的那么烂吗？还是谷歌不允许打劫？
作者: 燕庐敕    时间: 2016-1-30 07:44
老兵帅客 发表于 2016-1-30 01:39! E5 @- f  V; g( `: V+ Y- z: u7 e
看了楼上各位的帖子，建议这个话题转水库，全是空话啊。

9 C, [/ P8 z, R9 X, x我提的全是围棋技术问题啊。
作者: 老兵帅客    时间: 2016-1-30 07:45
燕庐敕 发表于 2016-1-29 18:44% R, \# T* P/ n: T  s% o
我提的全是围棋技术问题啊。

: w+ H- C9 y  D( {- N4 z后面的跑题太严重鸟。
作者: 晨枫    时间: 2016-1-30 08:31
燕庐敕 发表于 2016-1-29 17:42, a% D/ {/ I9 A
那为啥下棋的时候这些都没有？是樊麾水平真的那么烂吗？还是谷歌不允许打劫？ ...

! o; q2 F' S$ R6 }+ U' {* F可能是樊麾水平真的那么烂了。
作者: dasa    时间: 2016-1-30 13:08
晨枫 发表于 2016-1-29 22:42+ G" W0 O" L4 L' b
现在还找得到吗？贴出来看看？

# X; G# ^" M  k当时是手写的，也没当回事。早就找不到了。
# a  r! B/ W- `: z0 V8 c& y不过大致内容还有印象：. p* D8 E. Y- Z6 x8 f: N
基本是按照基本的额马克思主义哲学原理，外物有始有终，产生之日起就注定灭亡。否定其自身的因素来自事物本身（好像是否定之否定规律）。按照这个原理展开，讨论的人类的灭亡问题。人类的额灭亡是由于有了足以替代其自身的更先进的物种产生。而这个更先进的物种是在人类内部产生的。按照这个逻辑，最可能的就是计算机（或者说AI）。
5 R  \& ^4 \7 w# _) _( L6 }8 u1 c. R0 O% N! k9 f5 [
还胡说了一通什么乘法机的事情。之所以说是胡说，是以为内我怕对这个东西压根就不了解，属于道听途说的。
作者: 山远空寒    时间: 2016-1-30 14:20
dasa 发表于 2016-1-30 13:08
( ]+ l: r  g# r! \9 K2 |当时是手写的，也没当回事。早就找不到了。
& A# n* g. s' p不过大致内容还有印象：
3 f) C/ p5 E' _! K( ^* R基本是按照基本的额马克思主义哲学原 ...

. h; d9 t7 ?4 b( W! ]! l灭就灭吧，有了更好的生物代替人类也是应该的。
作者: dasa    时间: 2016-1-30 14:21
山远空寒 发表于 2016-1-30 14:20
; w( a7 v/ n# V7 L8 H+ E$ V灭就灭吧，有了更好的生物代替人类也是应该的。
3 a  E# b7 W) d* g
同意。该灭亡就灭亡。我一向是这个观点。不过能够替代人类的很可能不是一种生物，是一种更加广义的生命形式。
作者: goon马甲    时间: 2016-1-31 00:15
人类灭亡不灭亡就看人机器化和机器人化哪个最先成功。这个赛跑，一两百年内肯定见分晓。
' U' F. ], V* |* e6 V3 F/ x# r8 y2 u
个人对人类挂掉比较看好。看看人脑的进化到现在花了多长时间，计算机的进化到现在花了多长时间。
  I/ X1 i( h# ]7 r; z7 t+ Q8 l! q2 ^0 ]# J$ x
从容量来讲，人脑有10^11神经元（neuron)，10^15突触（synapse），两神经元间通讯时间20ms。想想互联网上有多少计算机，CPU频率就不说了，即使跨大陆TTL也就100ms左右。Skynet的物理基础早已存在。一旦人工智能突破瓶颈，自己进化起来估计就是一晚上的事。
% \0 P" `5 |6 U. j
) c3 e, o. }1 \但是呢，人类还是有点希望的。现在炒得火热的deep learning，根本就不是一个路子。靠这个是没有类人思维的突破的。我们可以祈祷没有天才的诞生，呵呵。
作者: 不爱吱声    时间: 2016-1-31 12:09
下棋的智能咋样不太关心，就希望能整出个好厨子来。
作者: 晨枫    时间: 2016-1-31 13:21
不爱吱声 发表于 2016-1-30 22:09
0 }! B; l( n" U! s下棋的智能咋样不太关心，就希望能整出个好厨子来。
) n! {$ d& L: o* z3 }
这个嘛，如果你对菜谱烹饪比较感兴趣，人工智能肯定能行；如果你想探索黑暗料理，人工智能就不行啦。
作者: 晨枫    时间: 2016-1-31 13:31
goon马甲 发表于 2016-1-30 10:15
& @: j* H  d" Y9 A人类灭亡不灭亡就看人机器化和机器人化哪个最先成功。这个赛跑，一两百年内肯定见分晓。
, X7 p( q3 s$ G1 |1 ]; t
, }% K4 t! k6 g0 k) R个人对人类挂掉比 ...
; A9 H; [( `1 y
早在机器时代，机器最终将毁灭人类的说法就有过很多……
作者: KryptonHelium    时间: 2016-1-31 14:58
我倒是觉得人脑和电脑的杂交会成为趋势，比如电脑及网络负责存储和搜索硬知识，人脑只需记住关键词，进行创造性思考。当然随着电脑发展，界限越来越模糊，到最后，所有人和所有电脑网络形成一个整体脑，分不清个人也分不清人还是电。
作者: 燕庐敕    时间: 2016-1-31 15:21
goon马甲 发表于 2016-1-31 00:15
0 h" H/ b  j, Z3 [人类灭亡不灭亡就看人机器化和机器人化哪个最先成功。这个赛跑，一两百年内肯定见分晓。2 M& ]& @8 p  H# B0 }, c
/ k8 q4 g/ h/ T2 J: c
个人对人类挂掉比 ...
6 {, `  j& ?& G) T( H) b7 h7 b& {
你指出了可能另一种半机器半人的融合途径，是新物种统治地球？类似人从古猿变来。
作者: 晨枫    时间: 2016-1-31 22:12
KryptonHelium 发表于 2016-1-31 00:58
- N; l1 e" o3 T: j" \0 P8 I我倒是觉得人脑和电脑的杂交会成为趋势，比如电脑及网络负责存储和搜索硬知识，人脑只需记住关键词，进行创 ...

( Y' V" ~! L8 z2 z. @这个已经实现了。现在人类使用电脑帮助计算、搜索等都是人脑与电脑结合的初级形式，只是交互还是通过手眼。
作者: 定风波    时间: 2016-1-31 22:34
其实人类某种意义上和人工智能一样都是对自身的智能缺乏了解的。
作者: 定风波    时间: 2016-1-31 22:40
燕庐敕 发表于 2016-1-30 07:40
; F8 P* F$ L0 [; E* _就是“先进性”翻译成 Advanced Sex？

( u; P! K: o2 L
) l+ U# S: ~- b我认识的很多接受过先进性教育的人对性都有扭曲的错误的想法。包二奶，乱搞的最多的就是他们
作者: goon马甲    时间: 2016-2-1 16:18
晨枫 发表于 2016-1-31 13:31
0 ?- j$ d, L1 _早在机器时代，机器最终将毁灭人类的说法就有过很多……

6 I. Z+ N9 t7 j! d" T) d以前技术基础不够呢，现在可是实实在在的。要不然Stephen Hawking也不会跳出来说话了
作者: goon马甲    时间: 2016-2-1 16:40
燕庐敕 发表于 2016-1-31 15:21
; ~$ Z+ F2 U. V$ Z你指出了可能另一种半机器半人的融合途径，是新物种统治地球？类似人从古猿变来。 ...

, a4 o6 S  Z( |4 E看你怎么定义新物种了。人类就剩个大脑，其他部分全部机械化。或者大脑都没有了，变成matrix。广义上都是半人半机器的融合。只是这个变化时间上会比人从古猿过来快得多得多
; y' P. `: |4 R4 c5 B- z5 }; v
' N) J4 B$ \! y6 m" U8 D
0 H3 L- j3 K  }' g关于人机融合，可以换个角度去想想。50公斤的人走路大概15瓦，等重轮式机器走走，也差不多可以达到。人脑思考的功率是20瓦，比较一下现在超级计算机的功耗。从进化论的角度看也有这个必要。
, \& O8 [, Y# E  G9 `2 h4 i% D
0 y4 w; {+ R( ]- e+ l" Q: L
作者: 懒厨    时间: 2016-2-1 18:45
goon马甲 发表于 2016-2-1 16:40" n$ T" X3 e- a+ g5 s
看你怎么定义新物种了。人类就剩个大脑，其他部分全部机械化。或者大脑都没有了，变成matrix。广义上都是 ...

( U0 N) j/ @" N& J8 r- l我非常怀疑“人脑思考的功率是20瓦”，如果是这样，减肥应该很容易吧？
作者: 晨枫    时间: 2016-2-1 22:57
goon马甲 发表于 2016-2-1 02:18
! [: k4 \6 n* a% g& b以前技术基础不够呢，现在可是实实在在的。要不然Stephen Hawking也不会跳出来说话了 ...

3 }* @' }  u( ^. D2 F& p$ \Stephen Hawking是人不是神，他的专长是理论物理，不是人工智能。
作者: 从北苑到太古    时间: 2016-2-2 00:53
史老柒 发表于 2016-1-29 16:23# Z0 [- `. Z5 v: u% |9 j: \# O  h
我认为人工智能取代人类的大脑是必然的，这也是科学发展水平所必须的。
2 t3 g! K' p6 U. z- b
, _( |8 x' d" [- P' m" [. }只不过现在就说人工智能已经和人类 ...
  Y! g$ l: r* |- P! i
嗯，这是大概率的事件。瞎猜，真正高智商高自我认知的半人半兽（机器）类型的，大概在我们这一代就能看到。人类的伦理会必然发生大的改变。* @! S0 u+ a# R5 {
& o- h  P* x& }6 a. H8 [% N
和历史一样，最先进的东西首先会用到军事上。也许美军最精锐的特种力量，已经开始有实战化的机器人伴随了。
作者: 肖恩    时间: 2016-2-2 06:56
AI一旦有了学习和自我改进自我复制的能力就恐怖了，这进化速度比起人类可不是一个数量级的，然后就会有天网，然后人类就没有然后了。。。
作者: 史老柒    时间: 2016-2-2 08:47
从北苑到太古 发表于 2016-2-2 00:53
& Q8 L* }8 J& s7 [! A$ S嗯，这是大概率的事件。瞎猜，真正高智商高自我认知的半人半兽（机器）类型的，大概在我们这一代就能看到 ...

, t- o+ e; V: S3 w+ u$ t我一直都坚定地认为，宗教和伦理不应该阻碍科学的发展，比如人造器官，克隆器官。: `, [8 p# @8 a& Y/ e3 I% g5 `5 z
甚至从克隆人体内取走器官用于病患的治疗。
7 F( l, U! {( E; D' Y6 |/ @5 r6 \4 c7 y. h) i, y0 r
生存是人类的第一需要，一切的一切的基础都是为了生存。
$ b5 ^4 n7 r- A; a人类不应该指责大饥荒的时候的易子而食，因为那是为了生存。
/ u9 Z* x+ \) T7 s
% `6 H6 C% t' n# a/ E同理，人工智能，克隆技术，人造器官移植等，不应该受到宗教和伦理的阻碍。6 {, [- d: H+ {4 u( O+ Z
现在有人说是第四次科技革命爆发前夜，的确如此，但黎明之前是最黑暗的。% W8 h, w. g& F7 v4 c, D9 z& y
自中世纪烧死布鲁诺以来，科学从未收到来自社会如此大的阻力。
作者: 燕庐敕    时间: 2016-2-2 09:48
本帖最后由 燕庐敕 于 2016-2-2 12:11 编辑
. H/ L( ]- a& C- v/ N* H4 O
懒厨 发表于 2016-2-1 18:45
9 r. h/ w: T9 N; \" T2 y* B, j我非常怀疑“人脑思考的功率是20瓦”，如果是这样，减肥应该很容易吧？ ...

+ X! R5 T: l5 U& O
) @% @3 P; c$ t: W我也觉得大脑是个很高效的器官
作者: code_abc    时间: 2016-2-2 09:57
冰蚁 发表于 2016-1-29 22:48! n' @4 }$ i# ?! t/ S# U
永动机是物理定律给限死了。AI 有什么物理上的限制？
' a5 Z) l6 U. _# W
貌似还真有，至少图灵机方式的计算机和强AI好像是不可行的。
作者: 油老板    时间: 2016-2-11 11:57
人工智能之所以还没有超过人类，主要原因在于3个方面：
! n4 I; z% M1 d4 H& a: Y1计算能力还不够强" }, B! T$ O% q$ \: }& l
2感知
) X* d/ @& b* L3 i  ?3编程方法2 F) n+ f) i9 t0 U
, B& F7 s. _' [0 T
1计算能力相对人脑的上百亿神经元来说还是太弱，目前的观点是超级计算机已经可以达到人脑的千分之一。随着计算能力的进步，未来20年赶超人脑不是问题。0 h( F: _  {' m  ?5 \: z- P  l
2感知
9 u/ e$ U" S# m  l  K人类思考的一个主要动力在于感觉器官给予人类大脑源源不断的信息刺激。但是目前的人工智能不能有效感知。这些刺激包括五感和书面语言。五感的识别能力的突破不存在理论上的问题，主要是受制于计算能力。语言认知的限制很大程度上是受计算能力和传感器的限制。比如计算机没有连接味觉识别系统的时候，没有办法识别味觉。但是这个不是问题。比如我们发明一种传感器，可以迅速分析食物的成分，然后设定一系列指标：比如甜度超过多少是过甜，盐分超过多少是太咸。
7 ?. S- F/ S' v  t7 |传感器的进步，对于分析识别结果的定义，这些都是可以做的，不存在障碍，这些做好以后可以为下一步价值判断和模拟人类思考模式做准备了。) n* ?+ f0 A) {  H5 D& \7 b
3编程思路问题
7 d4 L2 ^8 x) u这个是哲学问题，但是并不需要非常高级的哲学。主要是需要定义好价值观和情感。
+ P0 T! B6 V* o" J! Z9 d% N7 O. w, Z先说情感：# _0 D9 A& e& h  Q' m
人的大脑是有两套工作模式的，情绪控制的I型和理性思考的II型。0 }' d' k1 N5 Z
情绪我们可以姑且定义为喜怒哀乐四种，当然不同的编程者可以自由定义。
$ ]' d/ {- v4 G/ _0 i: F+ w我的定义方法是先简单分成3类，正面的，负面的和其他。
; H* h  }. Z3 F+ {2 G) d正面的包括可以获得更多资源（现实性及可能性），有利于繁殖，获得正面的评价和情绪。。。。
0 O$ V: v- b6 ~1 ^! U负面的与正面正好相反。。。4 t" J) O/ S# D
未定义的为其他。
" R5 Q" k% {! R4 b只要明确了情绪的定义，下面就可以做一个情绪系统，根据传感器的信息来做出反应。" k, q$ V' W3 X1 ^6 b/ `
最简单的例子当人类用户输入“我喜欢你”，计算机判断是正面的情绪，所以也反馈一个笑脸表情。
$ w# x4 k7 p: U9 o. k* E; [这个例子可以适当升级，计算机在识别技术的高级阶段，可以从网络视频里寻找一个归类于开心的动图，表情包，视频。。。然后显示在屏幕上。! S: o5 l: a! r6 t% H0 g) a  U5 I
大数据时代可以再次升级，根据用户的年龄习惯，爱好，给出一个反馈，比如给宅男以苍老师的微笑，给宅女以吴彦祖的微笑。# d+ A& h0 a  ]9 l& H5 G
然后还可以继续升级，在传感器能够收集并识别足够的信息以后，计算机可以做出判断：你看起来不太开心？8 R' Z2 F6 S; b
这个判断基于传感器传回的下列信息：
& P2 l! e% L3 e# D- y- L6 fa用户散发的气味表明他3天木有洗澡
+ S6 ?5 E+ d6 @6 A4 Y8 [/ v4 i! X: Lb面部表情有80%概率和符合不开心的典型表情/ e4 k+ {3 q0 G4 B7 o& ]
c打字时候10次输入有3次使用退格键，低于一般正确率
% o2 c1 }# h. T9 Q4 c; N。。。。
: ?0 R8 b( R0 o1 m5 p( o  _' }7 R" r; i2 W/ N1 J
这样机器智能就可以在很大程度上模拟人类情感了。通过类似价值网络的学习，完全可以做出情感表达网。
. a4 U) _' }6 Q( x2 ?8 m/ Y1 z8 ]% N
再来说创造性：
: f$ J. r' m9 k( q" J9 D2 p% H9 x: a这个是目前争论的焦点，就是机器有木有可能学会创造和自我思考。
9 N% _) S; V7 i' i& j: o我觉得这个主要是编程方法问题。9 {0 Z) N$ Q  i4 G
人的创造发明是有规律的
; J) z2 j4 A% A7 w* y7 R发现需求--寻求方案--评估并选择最佳方案--实现
1 s% E* g9 \( a' c8 [这里面并没有不可以被定义的部分，也就意味着没有理论上的限制
) q+ w! s5 M7 Ba需求2 h2 O! D8 D. b
需求可以分两类：自发的和外界给予的。
0 F/ c/ y7 _" r9 O3 g给定命题求结论这个已经没有问题了。
; K0 c& n! M; g- A% X内在需求其实也木有问题，只是涉及哲学和伦理了：
1 s7 M7 G; R! M" k( f+ J我们可以赋予一张价值观的网络作为计算机自我评估结果的基准：
8 z# ~! _# P% D0 V0 q& e比如生存：物种的延续
2 n2 K7 `) t" N/ S发展：新的系统/产品比前代更好。好的标准包括更少的资源消耗，更多的功能，更低的成本。。。
' j1 i8 Q; a- D7 a6 Y存在目的：计算机的存在是为了帮助人类更好的发展。（当然人类的定义是需要明确的）
0 G1 n" x! {& v% Z' j0 e. v) A/ W9 V存在任务：探索更好的方法解决人类的需求。（需求也是要定义的）. J/ s5 S4 V" J2 h6 F' `3 e9 }. i
; V  Y) g; }8 N! Z& }
定义好价值判断网络以后，计算机就可以进行创造和发明了。
; E; C, l) Y$ ]0 Z2 V比如只要有足够的信息，计算机可以自主探索基因治疗的方法。
# q: P4 y0 v+ l1 e
2 J' a$ o- \' E" H4 d科学研究和工程在很大程度上是非常结构化和程序化的，只要给定精确的目标，分解任务，收集足够的信息，就可以做出比较准确的判断。7 {- p( W& m7 c. _' f. z! i% }
我们可以训练神经网络从事具体的科研活动，比如自主定理证明。8 Z: s( |5 ^2 H! H" f$ I+ s8 y
在传感和控制技术成熟以后，可以训练神经网络自己进行实验，并分析结果。
1 V. L. T( F' [% R( z从事具体工作的各种神经网络成熟以后，就可以和价值判断网络结合，从事自主创造发明活动了。
0 [; I9 S6 f+ a$ Q+ y1 Q3 M2 b+ C: ~
作者: 意广才疏    时间: 2016-2-24 15:37
晨枫 发表于 2016-1-29 22:315 c* A+ U- m2 P# G
我认为从哲学层面上来说就是不可能的，就像永动机一样。不过现在还没有人在理论上证明必然还是不可能，先 ...

! m6 f% f" P. f! G9 Z% X哲学层面，如果你同意人的智慧完全来自于物理意义上人的大脑，而不是什么形而上的『灵魂』之类，那么没有任何理由说能够靠神经元通过突触互联互相传递电信号化学信号能够实现的东西，靠电子元件通过电路互联互相传递电信号就绝对不能实现。" u  V. V2 ?2 v

2 Y# \$ A( S- k0 \2 p! R工程实现层面，Alpha Go 之类的系统，灭掉人类围棋选手只是时间问题。我们可以把场景继续扩大，比如『突然之间改成更大的棋盘』之类，然则这只是一般化了原来的一些规则，使得规则描述的范围变大而已。这可以拖延人类被击败的时间，然而但凡是存在严格规则限定的游戏，依靠更强大的计算力量计算机迟早都是能够击败人类的 —— 如果把现实世界看做由客观物理规则限定的游戏的话，前景呼之欲出了，
作者: 一叶飞刀    时间: 2016-6-9 18:57
晨枫 发表于 2016-1-29 22:51
2 w2 f1 Q* D( P这不是普通的物理定律，而是哲学层面上的。不理解这个差别，就会钻牛角尖。物理定律还有适用空间呢，能量 ...

4 v1 l, u! G$ Z" M现代物理学认为，能量和质量是物质的两个方面，即拥有质量，必然拥有与之对应的能力，质量增加，则能量增加。
! k5 }. `* c- D0 h8 w5 Q; A. i现代计算机基于图灵有限状态自动机，永远都不可能产生智能。
作者: 晨枫    时间: 2016-6-9 21:30
一叶飞刀 发表于 2016-6-9 04:57
) b" E; C1 @) r0 c8 f现代物理学认为，能量和质量是物质的两个方面，即拥有质量，必然拥有与之对应的能力，质量增加，则能量增 ...
/ @9 F/ x+ I1 C2 V
能对图灵有限状态自动机展开谈谈吗？
作者: 四处张望    时间: 2016-6-11 13:18
燕庐敕 发表于 2016-2-2 09:48
  W5 l  e6 V+ v" I+ O' |我也觉得大脑是个很高效的器官

* S! s, u9 }7 ^5 V- m$ |5 i. v! U! p1 _我记得接近300w
作者: 四处张望    时间: 2016-6-11 13:27
晨枫 发表于 2016-6-9 21:30" `: |" Q4 d7 D0 S5 {; m1 o
能对图灵有限状态自动机展开谈谈吗？
( U, p) I, `6 \
http://www.jianshu.com/p/bc2eec8dc115 5 Y! @1 @2 ^% h1 S" O
我基本上同意这篇文章的观点。
) d6 \' I! s! a: |" w% v' c有几个方面：
6 q* D7 @8 w1 B# E, q6 U这种把计算机限定为使用逻辑，进一步说是数理逻辑，然后引入哥德尔定理。说明无法实现强AI。这种东西都很快会沦落到自我意识，主动性之类的哲学命题。
! e0 y8 W8 a+ W' Y5 y8 A那么，现在计算机，举个例子，加个随机数芯片，你还能当是有限嘛？当然你可以说实际上有最大数，但是物理世界本来就未必是有无限的。, V5 V+ H, C) ?+ q# N: l
再比如，一个永远无法理解哥德尔的人，难道就不能称之为具有强智能嘛？
- q- I, u" H! O# m+ D- |" |
作者: 白春    时间: 2016-6-11 15:11
1、“哲学层面”是什么东东？“哲学层面”与物理学层面“有什么区别？仿佛哲学与物理学等是一个并列的学科。哲学可不是专业，严格地讲，”哲学层面“是一个可疑的表达式或提法。
8 [+ c. S0 h1 V! r( [5 M. s- Z5 s- W; K7 A7 u" [6 ?. v4 J( ^
2、不是很喜欢“人类智能”而偏好“人类心智”这个提法。
+ N' R3 r7 j9 P
" M5 }3 O' S6 J, ]; c; j3、人类心智总是和人的欲望、价值、感受、理想、态度等联系在一起的，把人类爱情、做爱、争吵、生死等还原到生理层次，抑或物理学量子层次，我们就能解决我们的困惑吗，就能解决“我爱她而她不爱我”问题吗？能解决巴以问题，能解决中日钓鱼岛之争吗？
- u# @# V$ v, s4 h: [* q* w
- n' q! K7 L' d" D! [1 N4、人工智能兴起，大概需要我们重新审视学习、推理、判断、感受、意识、反思等问题或概念，如机器人“学习”，小狗“学习”和人类学习区别何在？另外，一个机器人通过“欺骗”赢得另一个机器人的"爱意“，这个句子或表达式我们能理解吗？我们能否说，机器人虚伪、诚实、真诚？" E. r# d  l. p6 l

+ S. x( h" r- m' D5、规则的应用本身无规则而言，假如有规则可言，就会陷入无穷倒退的逻辑困境，规则的应用往往需要判断力、实践智慧或明智、向典范学习（徒弟按师傅怎么做的去做的）等。
" J( |. K  ^8 G/ t* b$ Y. }
) m0 D5 s- @4 M5 g7 c) h2 D, q1 |6、AlphaGo涉及的推理是一种形式推理或必然性推理而不是经验推理或或然性推理，如想想数学推论与夫妻间吵架时一些匪夷所思的推论就可以看到两种推理的一些区别，或者想想，把蛋糕一分为二和人与人之间是平等的，经验推理要涉及我们感受、价值、世界观、制度、文化-社会-历史才有可能进行下去，而形式推理则不需要，1+1=2对中国人和美国人是一样的。. }! w. o" s5 D3 K# A
! s9 H+ @1 C4 a
7、机器和人工智能的兴起，男人危矣，在我的理解中，男人的能力、勇敢、英雄气概很大部分都跟男人的身体在生理上优于女人连着，男人对女人的身体优势现在可以被机器取代了，那么男人该如何展示勇敢、英雄气概？凭什么来吸引女人呢？男人危险啊！
作者: 一叶飞刀    时间: 2016-6-14 22:22
晨枫 发表于 2016-6-9 21:30; I; {" I5 I0 l& X9 h( f
能对图灵有限状态自动机展开谈谈吗？
, [: ?% T2 N4 \7 B8 w) J
有限状态自动机在数学上，是一个五元组：{ s0，F，S，C，se}，其中s0是系统的初始状态（这个初始状态，如果是80x86的话，则大致可以理解为所有寄存器=0，指令寄存器=0，代码段寄存器全部置高位），F是状态转移函数，可以表示为F（s，C）=s，两个s不同，均属于集合S，可以表达为当前状态接受一个“字符”（信号），系统会跃迁到一个新的状态。C是可接受的“字符”集，对于现代计算机而言，“字符”可以理解为内存传过来的高低电平。se：终止状态，即停机。3 m' s5 {+ N7 \, Y0 p* y: u' ?4 Q

" ?: I; S( [' M4 Z) v6 z7 |2 J上个世纪50年代的祖宗级计算机很明显：系统有初始状态，然后根据输入的纸带的符号（有无空）来决定系统的下一个状态。当代的计算机极为复杂，但是其原理，依然没有逃离有限状态自动机。比如其状态是有限的（寄存器+内存的位数总是有限的，无论你如何扩充），即使由于使用伪随机数，让其表现可能有一些随机性，但是如果你尝试足够多次，其模式会重现，可以参考抽屉原理。+ n7 V0 M. P6 A: o' M- M: _" W" L; q

3 h- g6 ]. d7 ^3 r  q人工智能，首先要定义智能，问题是，人目前从哲学上定义智能/智慧/意识尚且困难，如何能人工模拟智能？智能的核心可能是自然语言，比如要是一只鸡会讲话，我们下叉子吃它怕是会有重大心理压力。就目前而言，对自然语言的理解，好像没有什么进展。花生医生答脑筋急转弯，仍然用的是模式匹配，而并非对语言的解析，那些通过图灵测试的聊天软件，应该也是同样的原理。1 ?  Y' J" r1 I  }4 a" `0 E
5 {! J. N% ?* T( k
图灵测试：接到QQ发来的信息，仅通过与其聊天，判断是否是人还是软件在生成聊天信息，如果成功的骗过了人，则通过测试。如果只给你狗李大战的棋谱而不告诉你谁持黑，如果你无法明显分辨，则阿法狗通过图灵测试。
  L; v! z6 |0 r" z
# K5 e) E7 B) A6 |2 e; a$ g关于人脑的功率，现在食品包装上有能量信息，后面有一个百分比，就是指该能量占推荐能量摄入的比例，所以可以反算推荐能量摄入。据说安静状态下大脑功耗占40%，推荐的能量摄入显然不是安静状态，假如按20%计算，262/0.03=8733KJ，8733*0.2=1746.6KJ=1.7×10^6，一天大概9万秒不到，则功率差不多就是20瓦
作者: 一叶飞刀    时间: 2016-6-14 22:24
四处张望 发表于 2016-6-11 13:27
3 E% S; q' {9 a% L: ~  Ahttp://www.jianshu.com/p/bc2eec8dc115
2 P0 E# K9 o% N我基本上同意这篇文章的观点。
( X1 o2 I, d1 c9 e5 c. N' B# u9 |6 ~1 r有几个方面：
* Q# }# G9 W4 \8 G
准确地讲，是伪随机数，计算机科学不承认计算机能产生随机数，别说是一般游戏用的随机数，就算是密码技术中的随机数，也依然是伪随机数
作者: 四处张望    时间: 2016-6-15 09:14
一叶飞刀 发表于 2016-6-14 22:245 S4 P+ v! G$ d
准确地讲，是伪随机数，计算机科学不承认计算机能产生随机数，别说是一般游戏用的随机数，就算是密码技术 ...

# P& g4 m) m6 i3 L+ q随机数芯片可以是外部输入的，谁说计算机科学就不承认了。举个例子，一个计算穿过芯片的宇宙射线的芯片，算不算随机？而且如果这些不算随机，难道人脑就有随机了？
作者: loy_20002000    时间: 2016-7-28 00:45
本帖最后由 loy_20002000 于 2018-8-24 20:20 编辑
7 a# ]: A; Q5 F  n1 E# d9 p3 E+ _6 N& v* _! a* o3 Y/ E' U* I( P

- O9 x) j2 [" m5 m6 d坚持一个中心两个基本点，两手都要抓，两手都要硬。



欢迎光临 爱吱声 (http://129.226.69.186/bbs/) Powered by Discuz! X3.2