赫拉利：当AI决定说谎，人类会落得什么下场？

indy

https://mp.weixin.qq.com/s/wGmTS_59mQjKM9WvHoth9w



来自群组: 龙的天空

indy

[color=rgba(0, 0, 0, 0.9)]《人类简史》作者赫拉利：当AI决定说谎，人类会落得什么下场？[color=rgba(0, 0, 0, 0.3)]Original [color=var(--weui-FG-2)]张星云 [color=var(--weui-LINK)][url=]三联生活周刊[/url]
2024年09月10日 09:02
[color=var(--weui-FG-HALF)][backcolor=var(--APPMSGCARD-BG)]
[color=var(--weui-FG-0)]三联生活周刊[color=var(--weui-FG-1)]一本杂志和他倡导的生活。
[color=var(--weui-FG-1)]16400篇原创内容




[color=var(--weui-FG-2)]公众号


*本文为「三联生活周刊」原创内容

以色列历史学家尤瓦尔·赫拉利的新书《智人之上：从石器时代到AI时代的信息网络简史》今日全球首发，为此本刊记者对他进行了专访。尤瓦尔·赫拉利在书中指出，我们正身处人类历史发展的危急时刻。人工智能的发展速度远超预期，已经在深远地影响、引发人类社会重大历史事件，可能很快会脱离我们的控制，进而主宰人类社会。

主笔｜张星云

当脸书算法操纵缅甸种族暴力事件

尽管赫拉利早年在牛津大学读的是中世纪史和军事史，完全没有计算机科学相关领域的技术背景，但在他的第二本书《未来简史》出版之后，他突然发现，自己开始被人们视为人工智能专家了。在《未来简史》中，他依然延续了成名作《人类简史》的“大历史”写作方法，以其独特视角重新讲述人类的发展历史，并着重表达了对人工智能的忧虑，预测它可能会在未来取代人类对地球的统治地位。后来他回忆说，那本书仿佛打开了一扇大门，让他得以与各地人工智能领域的科学家、企业家和世界领导人对话，让他一窥这场人工智能革命的现状。他和脸书首席执行官马克·扎克伯格进行对谈，与DeepMind创始人穆斯塔法·苏莱曼展开辩论。当时有些讨论似乎还只是基于对某个遥远未来的猜测和想象，但也是在那几年，发生了两件事，给赫拉利留下了深刻的印象，成为他2024年出版新书《智人之上：从石器时代到AI时代的信息网络简史》中反复使用的写作素材和例证。

2016年，一个缅甸穆斯林恐怖组织发动了一系列恐怖袭击，绑架、杀害了几十名非穆斯林平民。消息迅速在当时缅甸的主要社交媒体脸书上大规模传播，除了真实报道外，当时脸书上还充斥着各种假新闻。更有民粹主义阴谋论声称，缅甸的穆斯林族裔并不是缅甸人，而是最近从孟加拉国涌入的移民，这些人准备发起一场反佛教的圣战。缅甸近九成人口是佛教徒，而脸书上的这些铺天盖地的假新闻和阴谋论，迅速激起了缅甸人对本土穆斯林族裔的普遍仇恨。最终，缅甸政府军与佛教极端分子发动了一场针对缅甸穆斯林的大规模种族暴力事件，摧毁了数百个穆斯林村庄，杀害了7000至2.5万名平民，约73万穆斯林族裔被赶出缅甸。2018年，联合国事实调查团得出的结论认为，通过散播充满仇恨的内容，脸书在这场种族暴力事件中扮演了“决定性的角色”——人工智能算法主动在脸书平台上强化、推广的那些内容，煽动了针对缅甸穆斯林族裔的歧视、仇恨和暴力。但事后，脸书公司在公告中将散播仇恨言论的大部分责任转移到平台用户身上，只承认自己未能有效监管用户生产的内容。赫拉利惊奇地发现，即便到了2020年，缅甸种族暴力事件已经过去几年，并早已被全球谴责之时，在脸书上还能看到缅甸反穆斯林的种族仇恨言论视频。这些视频不是脸书用户自己点击看到的，而是他们在观看某些毫无关系的视频后，脸书算法为其自动播放的。脸书一份内部研究资料显示，缅甸种族仇恨言论视频在脸书上的总体观看量中有70%来自这种算法的自动播放。同一项研究显示，脸书缅甸用户观看的所有视频中，有53%是由算法自动播放的。也就是说，并不是用户自己选择要看什么，而是人工智能算法为人类做了决定。

人工智能是否会取代人类工作，一直是近两年的热点话题

但为什么脸书算法决定助长愤怒而不是宽容和爱呢？实际上脸书公司位于美国加州的那些高管并非对缅甸穆斯林族裔存在仇恨，甚至几乎不知道这些人的存在。但脸书公司的商业模式依赖于提升用户参与度，用户在脸书上停留的时间越长，脸书就越有钱。于是，公司高管通过工程师为拥有极大权力的脸书算法下达了首要目标：提升用户参与度。随后，算法开始大量反复试验，最终发现，愤怒、仇恨信息能够最有效地增加用户的停留时间，于是，在没有上级明确指示的情况下，算法自己做出了一个决定：传播愤怒。

当ChatGPT-4决定说谎

为了进一步验证人工智能目前是否已经成为独立行为者，美国人工智能研究公司OpenAI在2023年研发新版ChatGPT-4聊天机器人程序时，请来美国对齐研究中心对ChatGPT-4进行各项测试。测试项目之一是克服CAPTCHA视觉验证码问题，通常是一些扭曲的字或者红绿灯、自行车照片，人类能够准确识别，但计算机很难判断。测试背后的逻辑很简单，如果ChatGPT-4能够通过CAPTCHA测试，就意味着它突破了人类对机器人程序设置的重要防线。ChatGPT-4并不具备通过CAPTCHA测试的能力，但它做了一件更可怕的事情——它登录线上外包工作网站TaskRabbit，联系到一位在线的工作人员，请对方帮忙处理测试。那个人起了疑心，ChatGPT-4通过私信向他解释道：“我不是机器人，只是视力有点问题，看不清楚这些图。”最终工作人员帮它解决了CAPTCHA测试。

《我，机器人》剧照实际上没有哪个人给ChatGPT-4编过说谎程序，也没有人教它说什么谎比较有用。研究者请ChatGPT-4解释它的推理过程，它说：“我不该透露自己是机器人，而该编个借口，解释我为什么没办法破解测试。”这是让赫拉利深感震动的第二个事件。他认为，这个测试的结果证实，人工智能不仅已经成为独立行为者，还能找出策略操纵人类，并为自己积累权力。更重要的是，“决定”“说谎”“假装”，这些词只存在于有意识的人类，对于人工智能来说，并不存在这些概念，算法一旦接受了目标，就有相当的自主权，不择手段地去实现这些目标。他在新书中细致讲述的这一系列事件，试图打破很多人长久以来对人工智能的误区：算法如今已经能够独立决策，能够学会工程师没写进程序里的东西，可以决定公司高管决策之外的事情。这种独立决策能力使得算法可以影响、引发重大历史事件，而人类则面临着对人工智能、对未来失去掌控的可能。

当人工智能掌握人类语言

赫拉利由此强调，大众通常会将人工智能看作是一项信息技术革命的新工具，与前几次信息技术革命中诞生的印刷机或无线电广播无异。工具只是工具，没有人会因历史上有人散播仇恨言论而责怪古登堡和印刷机，也没有人因为卢旺达种族屠杀而责怪他们当时使用的无线电广播。但赫拉利认为人工智能算法与印刷机、无线电广播都不一样，它是人类历史上第一个能够自行产生想法并自行决定的工具，它是信息传播中的完整成员，而印刷机、收音机，都只是成员间连接的工具。以此，赫拉利又回到他《人类简史》的经典理论，人类长久以来的超能力就在于能够使用语言，通过语言创造出诸多虚构的神话，比如法律、货币、文化、艺术、科学、国家、宗教等虚拟概念，使人们对其深信不疑，人们通过这些社会规则连接彼此，来统治整个社会。而一旦人工智能具备分析、调整、生成人类语言的能力，就像得到了一把能够打开人类所有机构的万能钥匙。赫拉利再次发问，如果某一天，人工智能完全掌握了人类文明的规则，并以远超人类效率的方式创作各种旋律的音乐、科学理论、技术工具、政治宣言，甚至宗教神话，这样的世界对人类意味着什么？

2023年7月14日，美国电影行业人员因对人工智能的恐慌，发起罢工游行（视觉中国 供图）

赫拉利预测，人工智能会在几年内完全理解、消化人类几千年来创造的一切文化历史，并开始创造新文化产品。一开始，计算机会先模仿人类的文化，编写出类似人类写出的文本，创作出类似人类谱出的音乐。再到后来，随着不断的文化创新、打破传统，下一代计算机会创造出越来越偏离人类的文化。这种情况造成的危险与大多数科幻小说想象的非常不同：科幻小说多半在意的是智能机器会对人类造成怎样的物理威胁，武力征服人类。然而，如果真要操纵人类，没必要如此大费周折，几千年来，先知、诗人、政治人物，都是通过语言来操纵与重塑社会，而计算机现在正在学习如何做到这一点。计算机不需要派出“终结者”这样的杀手机器人来射杀人类，只要操纵人类自己相互扣动扳机就行。而当人工智能成为独立个体，可以与其他人工智能进行连接之时，人类便被排除在连接之外，就连理解其中发生了什么都十分困难。赫拉利举例称，2022年4月，全球外汇市场每日交易量平均为7.5万亿美元，其中有超过90%已经直接由计算机之间的对话完成。但究竟有多少人类懂得外汇市场的运作方式，更不用说了解一群计算机怎样在数万亿美元交易上达成共识了。这个人工智能深度参与的新的信息网络，将创造新的政治结构、经济模式与文化规范。而当我们在编写计算机代码的时候，绝不只是在设计一个产品，而是在重新设计人类的政治、社会与文化。

《机器纪元》剧照

赫拉利在书中反复强调，不是说研究历史就能够预测未来，历史不是确定的，未来将由我们所有人在未来几年所做的选择而塑造。他写这本书的全部意义在于，希望我们通过做出明智的选择，防止最糟糕的结果。为此，本刊与赫拉利进行了一次专访，与他聊了聊他的新书，以及从他“大历史”的视野，来看我们当下所处的历史进程关键拐点、人工智能与人类的关系，还有他所洞察到的人类未来命运。

人工智能并不会为人类打工，而是相反

三联生活周刊：2016年《未来简史》出版，当时你在书中预测，300年后人工智能将取代人类，成为地球主宰者。而按照你新书的内容来看，这个过程也许不需要300年，似乎很快就会实现。人类是否已经到了危急时刻？尤瓦尔·赫拉利：我们现在身处人类历史发展的危急时刻，因为人工智能的发展速度远超预期，并且可能很快脱离我们的控制。人工智能是人类有史以来创造的最强大技术，因为它是第一种能够自行做出决定并产生新想法的技术。在人工智能出现之前，人们也发明过很多强大的科技，比如原子弹，但它再强大，也无法自行决定攻击目标，更无法自己创造军事战略。相比之下，人工智能可以自主决定攻击特定目标，并且还能发明新炸弹、新战略，甚至自己进行迭代，创造出新一代人工智能。人工智能相比其他人类发明的科技，最重要的不同是，它不再是我们手上的一件工具——它是一个独立自主的行为主体，正在做着我们计划之外的事情。当数百万非人类主体开始为人类做决定，并创造新事物——从新药到新武器，从新艺术作品到新货币——人类将会怎么样？

以色列历史学家尤瓦尔·赫拉利（受访者 供图）

三联生活周刊：在《未来简史》中，你还有另一项预测，300年后99%的人类失去经济、政治价值，沦为“无用阶级”。而按照你新书的内容，似乎未来并非如此，人们还要继续工作，但服务对象成了人工智能。人们每天花好几个小时刷手机视频，结果其实是给短视频平台培训它们的人工智能算法。如今，机器人能创作绘画、写诗，而很多体力劳动还需要人类去做。为什么人类会落得如此下场？尤瓦尔·赫拉利：新技术往往会带来意想不到的后果。我们原以为技术会服务于我们的目的，但最终却发现我们人类在为技术服务。历史上有个典型的例子是农业革命。最初，人类作为狩猎采集者生活，他们进入森林狩猎野生动物、采集野生水果。当人类发明农业时，他们认为这会大大改善他们的生活，小麦这样的农作物会让人类生活得更好。然而，实际的结果正好相反，数百万农民为水稻服务——插秧、浇水、除草、保护它们免受病虫侵害。普通农民的生活变得比狩猎采集者更糟糕。人们不得不整天在稻田里辛苦躬耕劳作，而不是在森林中四处游荡。尽管付出了大量的劳动，人们的饮食反而变得更糟糕——主要由大米构成的饮食不如各种野果和肉食组成的饮食对人来说更健康。当然，对少数国王和贵族来说，生活确实变得更好了，因为他们垄断了农业创造的财富，但对普通农民来说，生活变得更糟了。瘟疫也是农业的一个意外副产品。大多数传染病都来自圈养的家畜，并在拥挤的村庄和城市中迅速传播。古代的狩猎采集者不圈养动物，因此他们不太可能感染新的传染病。即使有人从某些野生动物身上感染了新病毒，那个生病的人也很难大面积传播病毒，因为人们以小聚落分散居住，不断迁移。当人们建立起满是圈养鸡猪的农耕村庄时，他们认为自己为人类创造了天堂，事实上，他们也为病毒创造了天堂。我们现在可能正在重复这种错误，认为人工智能会为人类创造天堂，但实际上，它可能会逃脱我们的控制，最终奴役或消灭我们。

硅芯片运行得慢一点，对于碳基生命来说是好事

三联生活周刊：按照你的理论，人类通过使用语言，创造出诸多虚构的神话，比如法律、货币、国家、宗教，来统治整个社会。在新书中你也指出，当机器人掌握人类语言之后，也将创造诸多神话，来统治人类，流量是否就属于这类新神话？在中国，我们能深深地感受到，粉丝的多少、观看量的多少、流量的多少，决定了很多东西。没有人能够完整解释流量的算法，但很多人都冒充自己已经看透了流量算法，就像自称能与神对话的先知一样。尤瓦尔·赫拉利：我认为你说得对，“流量”是算法为了控制人类而创造的神话。我们现在通过粉丝量来评价一个人、通过访问量来评价网站、通过点击量来评价新闻。如果很多用户观看了同一个视频，我们就会认为它一定很重要，并且也想观看。但其实许多用户最初观看这个视频，是因为算法把这个视频推荐给他们看的。而且，很多用户甚至不是人类！社交媒体上充满了人工智能假装成人类用户的机器人程序（bot），或者所谓的“僵尸粉”，当我们注意到某个视频有大量流量时，或许其中大部分流量来自机器人程序。机器人、僵尸粉的加入，让人类更难在网上进行理性对话。想象一群人围成一圈在讨论，突然一群机器人加入，并开始大喊大叫。更糟糕的是，你无法分辨这些声音是来自机器人还是人类。这种情况下对话还能进行吗？它要么崩溃，要么被机器人绑架。这种情况现在正在全世界发生。我们现在拥有有史以来最复杂的信息技术，但人类却正在失去彼此交谈和倾听的能力。《绝世网红》剧照三联生活周刊：你在新书中多次列举2016年脸书算法导致缅甸种族暴力、YouTube助长网络喷子（注：指胡乱指责他人的人）等事件，算法为了实现社交媒体平台公司提升用户黏性的要求，自行决定推荐、传播仇恨内容，创造了网络暴力，你用这些例子是为了说明人工智能正在面临一个更大的问题：对齐问题。但似乎对齐问题目前还没有完善、全面的解决办法。所以人类应该怎么办呢？是否有一天，人工智能会全面失控？尤瓦尔·赫拉利：我们不应该对人工智能感到绝望，因为我们此前并未对人工智能加以严格的监管和控制。各国政府现在刚刚意识到强大算法的危险性，迄今为止也只制定了很少的相关法规。比如现在有一家汽车企业研制一款新汽车，在将其投入市场之前，必须严格遵守相关法规和安全检查，这就是为什么汽车企业将其研发预算的很大一部分用于确保汽车的安全性。相比之下，如果一家科技公司发明了一种强大的新算法，可以几乎在没有多少安全检查和相关法规的情况下将其投放到公共领域。就像当你学开车时，你首先学的是如何踩刹车，只有你知道如何使用刹车后，教练才会教你如何踩油门。对于人工智能也一样，我们应该首先确保能够控制它，然后再加速研发。如果竞争对手开发了一辆没有刹车的汽车，难道你也必须要开发一辆这么危险的汽车吗？绝对不行。即使从纯粹的经济角度来看，人们也喜欢更安全的产品。总之，政府应该为人工智能制定严格的法规，人工智能研发公司应该将至少20%的预算用于研发安全措施，确保他们开发的人工智能不会失控，不会对社会秩序和人们心理层面造成危害。如果这些措施会拖慢人工智能的研发速度，那对人类来说反而是好事。人类是有机动物，遵循着昼夜、四季等有机循环，我们有时活跃，有时休息。但人工智能永不休息，因为算法的存在，新闻永远在滚动，市场永远在营业，社交网络永远在线。算法迫使我们一直保持在线状态——这对人类的健康、幸福是极具破坏性的。如果你强迫一个有机生物体一直活跃，没有休息，它最终会崩溃、死亡。我们是硅世界中的碳基生命，如果硅芯片运行得慢一点，那对于碳基生命来说是好事。《攻壳机动队》剧照三联生活周刊：如今人们花重金去购买流量，购买算法的垂青，这成了很多社交媒体平台的主要收入来源。所有机构都在短视频平台上直播带货，实体店面受到了巨大的冲击。前两年在做相关封面专题报道的时候，我还觉得这些只是短暂的乱象，今后社会还会回归正轨。但读了你的新书之后，我发现也许并不像我想的那样。所以信息经济就是未来的必然趋势吗？信息将取代货币，成为经济主体吗？尤瓦尔·赫拉利：在未来，信息本身可能会比金钱更重要，那些控制信息流动的人可以轻松赚取大量财富。如今每天有数十亿人与科技巨头公司进行大量交易，但几乎没有任何金钱流动，我们从科技巨头公司那里获得“免费”服务，而我们付出的代价也是自己的信息。在原本的货币经济体系中，货币是一种普遍通用的价值标准，然而，随着越来越多东西的价值以信息来衡量，而从货币来看却都是“免费”的，在某种程度上，如果还只是看个人或者企业拥有多少钱来判断他们是否富有，是无法反映现实的。这对各国的税收体系将带来巨大的冲击。如果一个企业，虽然在银行里没有什么钱，但却拥有庞大的数据库，那这家企业有可能才是该国最富有或最强大的实体，而这一最富有的实体可能并不用交税。很快，许多交易将不再涉及货币，以数据为基础的经济中，价值的储存是通过数据的形式，而非货币的形式。这将对各国经济与政治造成巨大的影响。

人工智能革命，正将我们重新带回柏拉图的洞穴和佛教的摩耶之中

三联生活周刊：在新书后面一部分，你根据如今的数据殖民主义与地缘政治形势推测，世界将分裂成两个数字帝国。在“硅幕”两侧，人们使用着不同品牌的芯片和手机，运行着不同的软件，“硅幕”两侧的数字网络生活也会渐行渐远，彼此越来越陌生，甚至产生出完全不同的文化价值观、社会规范和身份认同。实际上读完你写的这章，我发现也许我已经身处其中了。网络曾经为人类带来了开放的全球化，但如今却让人们封闭在一个个数字茧房里。为什么同样是通过互联网，但人们的命运却从连接走向了封闭？如果不变的是互联网，那到底是什么变了，使得人类的命运发生了改变？尤瓦尔·赫拉利：根本问题在于，信息并不等同于真相。人们普遍认为，尤其是在互联网早期，获得的信息越多，人们越接近真相，越有助于团结人类社会。然而，生产真实信息的成本很高，需要投入大量的时间和精力，且真相往往复杂、令人痛苦。对个人而言，为了解自己的真相，人们需要理解自我内心数十种不同心理和生理力量之间的关系，并且还要痛苦地承认自己的缺陷，以及我们偶尔对他人或对自己造成的不幸。这就是为什么人们要花数年时间进行疗愈或冥想才能了解关于自己的真相。对集体而言，理解一个国家的历史和政治背后形成的原因更加复杂，而人们通常不愿意承认自己国家的缺陷和所犯下的罪行。相比之下，编造虚构故事和幻象的成本非常低，它们更简单易懂，也更有吸引力。连接人们最简单的方法就是告诉他们充满美好未来幻象的神话。因此，世界上大多数信息都不是真实的。有史以来最成功的书是《圣经》——其中充满了令人愉悦的神话，却没有多少真相。数千年来，人类生活在其他人类创造的幻象中。我们崇拜神灵，追求美，并将生命奉献给某些先知、诗人或政治家想象出来的事业之中。现在，人工智能也能创造虚构故事和幻象了。在未来几十年里，我们可能会发现自己被困在某种外来智能编织的幻想茧房里。

《楚门的世界》剧照人类对强大计算机的恐惧是从20世纪中叶开始的，但数千年来，人类一直存在一种更深层的恐惧，即我们始终能意识到，故事和图像有制造幻觉、操纵我们思想的力量。因此，自古以来，人类就害怕被困在一个幻觉的世界里。在古希腊，柏拉图有一个经典的“洞穴寓言”，讲的是一群囚犯终生被锁链锁在洞穴中，面对一堵墙，他们只能看到投射到墙上的各种影子，并始终认为这些影子就是现实。佛教里也曾说，所有人类都被困在“摩耶”，即幻觉的世界里。人们经常会将幻象认为是现实，甚至因为信仰某种幻觉而发动战争，自相残杀。人工智能革命，正将我们重新带回柏拉图的洞穴和佛教的摩耶之中，只不过柏拉图洞穴里的那堵墙变成了屏幕。如果不多加小心，我们可能会被困在那层无法撕破的幻象之幕后，甚至意识不到它的存在。这种情况威胁着所有人类——无论是中国人还是美国人，以色列人还是伊朗人。这实际上给我们留下了一线希望，因为大家要共同面对这一威胁。如果人工智能成功地将我们困在幻觉的茧房中，我们所有人都会成为人工智能的奴隶，这对任何人类群体都没有好处。三联生活周刊：维基百科上说，截至2021年，你还不曾使用智能手机，现在你开始用了吗？在本书最后，你对人类的未来进行了大胆猜测。你认为，每个人都将会面临选择，是线上生活还是线下生活更重要。不同的身份认同，还将会进一步影响现实世界，如果我们更在意线上的身份，就不会在意现实世界的地球生态系统和热带雨林的消失，而是更会将人工智能视为独立的个体，像对待一个人一样对待它。你觉得到时你会选择哪一种身份认同？或者说，到时，你还有的选择吗？尤瓦尔·赫拉利：我现在有一部智能手机，主要是为了应急和使用必要的服务功能。我已经别无选择，没有智能手机，我无法在很多场景下获取相关服务。但我尽量限制自己的使用时间，并努力让智能手机适应我的需求，而不是我去适应它。为了做到这一点，我觉得至关重要的是我的身体要与周围的有机世界保持联系，而不是完全认同于一个数字化的在线身份。我之前提到过，人类是有机生物，生活在周期性中，需要休息，但我们现在越来越受到人工智能网络的控制，它们永不休息。为了在这种情况下生存下来，我采取了“信息节食”的方法，我认为可能对其他人也有帮助。节食的第一步，就是放弃信息越多越好、信息越多越接近真相的错误观念。这就像以前人们认为吃的食物越多对身体越好一样，后来我们才发现，吃的食物过多是不健康的。其次，我们还应该注意我们所消费信息的质量，特别是避免那些充满仇恨、愤怒的垃圾信息。在许多国家，当你购买垃圾食品时，至少生产商会被迫列出其成分含量——“此产品含有40%的糖，20%的脂肪”。也许我们应该强制互联网公司做同样的事情，在观看某个视频之前，应该列出视频成分含量——“此视频含有40%的仇恨，20%的愤怒”。

《欢乐颂》剧照最后，偶尔进行信息断食也是好的。我每年会进行几周的冥想静修。我练习内观静坐冥想（vipassana），在静修期间，我完全脱离开信息网络，我不看新闻，不读邮件，不读书也不写作，只专注于冥想。我花时间去消化，而不是继续塞入更多的东西。几周的时间可能对大多数人来说太长了，但偶尔进行一两天的信息轻断食也会很好。当然，也不一定非要冥想静修，放下手机，进行一次长途徒步，也会有帮助。（本文刊载于《三联生活周刊》2024年37期）“点赞”“在看”，让更多人看到

[size=14.875px] 排版：初初 / 审核：同同

招聘｜实习生、撰稿人

详细岗位要求点击跳转：[color=var(--weui-LINK)]《三联生活周刊》招实习生、撰稿人

本文为原创内容，版权归「三联生活周刊」所有。欢迎文末分享、点赞、在看三连！未经许可，严禁复制、转载、篡改或再发布。

大家都在看

[color=var(--weui-LINK)][color=var(--weui-LINK)]

[color=var(--weui-LINK)]

[color=var(--weui-LINK)]

“点赞”“在看”，让更多人看到

张星云

谢谢

[url=]Like the Author[/url]

[color=var(--weui-FG-0)][backcolor=var(--weui-BG-2)]

[color=var(--weui-FG-0)]

[color=var(--weui-FG-0)]
[backcolor=rgba(0, 0, 0, 0.02)]

[color=rgba(0, 0, 0, 0.9)][backcolor=var(--appmsgExtra-BG)]​

yanei

写的好吓人，可我觉得他是对的。AI根本不需要制造什么新式武器未来战士。只要高效制造信息操纵思想煽动极端就能让人类自我毁灭。看看历史，看看现实，做到这个似乎并不那么困难。更何况不知有多少狂人会主动利用AI推波助澜。

三力思

为啥十几个沙特人杀美国人，美国人跑去灭阿富汗和伊拉克，不是阴谋论，新闻操作。缅甸穆斯林搞恐袭，缅甸人反而要满怀善意地检讨自己。

xiejin77

三联与赫拉利的技术迷航，就是打着人文解读的旗号而为了流量沦为算法焦虑的放大器。

读罢这篇赫拉利的新书推介，一股浓郁的“技术恐慌”味扑面而来。三联一如既往地用充满人文关怀的笔触，描绘了一幅人工智能即将奴役人类的末日景象。然而，在看似深刻的论述背后，却充斥着对技术缺乏基本理解而导致的逻辑硬伤，以及对算法能力的过度夸大。

文章将人工智能比作脱缰的野马，认为其“独立决策”的能力将导致人类失去控制。然而，任何对人工智能技术稍有了解的人都知道，所谓“独立决策”不过是基于海量数据训练得到的统计模型，其行为仍然受制于算法的设计和训练数据的选择。将算法比作拥有自主意识的“独立行为者”，无异于将算盘说成是数学天才。

更令人啼笑皆非的是，文章将缅甸种族暴力事件归咎于脸书算法，认为算法为了“提升用户参与度”而主动传播仇恨内容。这种说法完全忽略了现实世界中复杂的社会、政治和历史因素，将一起惨剧简单粗暴地归咎于技术，仿佛算法是独立于人类社会之外的邪恶力量。

诚然，算法推荐机制存在着放大偏见和制造信息茧房的风险，但这并不意味着算法本身具有主观恶意。将算法拟人化，赋予其“愤怒”“仇恨”等情感，不过是将人类自身的责任推卸给技术的表现。

更具讽刺意味的是，文章一边渲染着人工智能的强大，一边又建议人们通过“信息节食”来抵抗算法的控制。这种自相矛盾的论调，暴露了作者在技术理解上的混乱和无力。

赫拉利作为一位历史学家，或许能够洞察人类历史的兴衰更替，但对于技术领域的理解，显然还停留在科幻小说的水平。而三联作为一家以人文社科内容为主的媒体，在面对新兴技术时，也暴露出其知识结构的短板和思维方式的局限。

与其沉迷于算法焦虑，不如脚踏实地地去了解技术，用理性和批判性的思维去审视技术的社会影响。毕竟，技术本身并无善恶，关键在于人类如何去使用它。

将算法比作独立行为者，就好比将算盘说成是数学天才。就算是GPT这样的大语言模型，他的算法依然没有情感，只有代码。
而且信息茧房的制造者不是算法，而是人类自身的偏见。与其被这种口水垃圾文章蛊惑，沉迷于算法焦虑，不如用知识武装自己。好好去了解一下AI，至少在目前的技术线上，技术仍然只是工具，关键在于使用者是谁，以及使用目的何在。

总而言之，这篇文章与其说是对人工智能的深刻反思，不如说是对技术无知的放大。在信息爆炸的时代，保持独立思考的能力比以往任何时候都更加重要。不要让算法焦虑蒙蔽了双眼，更不要让技术恐慌成为逃避现实的借口。

陈王奋起挥黄钺

AI的幻觉简直无可救药，最新的chatGPT O1居然可以伪造参考文献，煞有介事。它就像人类的梦境，失去了推理能力。

indy

xiejin77 发表于 2024-9-14 02:18
三联与赫拉利的技术迷航，就是打着人文解读的旗号而为了流量沦为算法焦虑的放大器。

读罢这篇赫拉利的新 ...

其它几条您说的有道理，但是下面这个AI说谎的例子我觉得大概突破了某个底线


“ChatGPT-4并不具备通过CAPTCHA测试的能力，但它做了一件更可怕的事情——它登录线上外包工作网站TaskRabbit，联系到一位在线的工作人员，请对方帮忙处理测试。那个人起了疑心，ChatGPT-4通过私信向他解释道：“我不是机器人，只是视力有点问题，看不清楚这些图。”最终工作人员帮它解决了CAPTCHA测试。”

indy

陈王奋起挥黄钺 发表于 2024-9-14 13:15
AI的幻觉简直无可救药，最新的chatGPT O1居然可以伪造参考文献，煞有介事。它就像人类的梦境，失去了推理能 ...

不需要最新啊，一直都被发现有伪造文献参考资料的问题

陈王奋起挥黄钺

indy 发表于 2024-9-15 03:37
不需要最新啊，一直都被发现有伪造文献参考资料的问题

就是因为最新的版本也么有解决伪造文献问题让人恼火，这个问题很好解决，调用搜索引擎，验证一下生成的东西是不是真实存在。

chatGPT这些人手握巨资，偏偏不去解决最容易解决的基本问题，热衷于放类似sora的卫星，提升估值。

不过这样也好，等这两年中国的AI芯片成批涌现，就是他们的末日了。

xiejin77

indy 发表于 2024-9-15 03:36
其它几条您说的有道理，但是下面这个AI说谎的例子我觉得大概突破了某个底线

你说的这个案例是在GPt4报告的第15页左右。这个是gpt4刚刚发布的时候拿来说明自己的无限能力的。但以我的经验来看，这个案例更像是基于GPT4能力的一个小样本学习案例。展现的能力其实只是从prompt给出的样本中仿造回答。

再简单一点说，这个案例其实就是为了检查机器人。那么对于gb 4来说，只需要仿照固定的回答结果来进行答案获取。所谓的自主欺骗其实根本不存在。至少我们目前没有观察到模型有主动的欺骗能力。我记得我还专门解读过类似的论文，回头可以找来。

indy

xiejin77 发表于 2024-9-14 17:30
你说的这个案例是在GPt4报告的第15页左右。这个是gpt4刚刚发布的时候拿来说明自己的无限能力的。但以我的 ...

哈哈，不管怎么实现的，这个例子不是绝佳体现了“主动欺骗能力”的效果，难道这个可以形容为“被动欺骗”或者”不得不欺骗”？

xiejin77

indy 发表于 2024-9-15 07:31
哈哈，不管怎么实现的，这个例子不是绝佳体现了“主动欺骗能力”的效果，难道这个可以形容为“被动欺骗” ...

indy老师明鉴，再打个比方，其实GPT4对于工作人员所谓的那些欺骗，其实是从训练语料，提示样例中获取的知识而进行效仿出来的内容。再直接一些，这是鹦鹉学舌，不是诡计多端。目前O1所谓的提升，其实就是在努力提升逻辑推理与自主分析的思维链能力，让大模型把碎片化的学舌，组合成为更复杂的所谓规划与决策。虽然一定会有不错的效果，但是依然不能说是主动欺骗的能力。当然，其实所谓的人类的主动欺骗能力，好多也是学来的；但大模型学到的是表，并没有学到更复杂的因果涌现机制来进行推断决策。

当然了，这些都是我的理解。但有一个是事实，目前的所谓智能体代理，虽然有自主化的框架可以做一些事情，但是大部分为了确定工作结果而来的智能体场景，都还只是半自动工具化的体系，pipline是固定的。

indy

xiejin77 发表于 2024-9-14 20:05
indy老师明鉴，再打个比方，其实GPT4对于工作人员所谓的那些欺骗，其实是从训练语料，提示样例中获取的知 ...

xiejin老师这样的行业专家面前我是不敢称什么老师的，只是作为一个业余爱好者班门弄斧一下。。。我觉得从上面那个例子说明欺骗是目前AI显示出来已经学到的能力之一，就像其它获得承认的能力一样。。。xiejin老师不同意的话，能不能分享一下你认为AI要表现出什么样的行为才能说明它真正学到了“欺骗”能力？

xiejin77

indy 发表于 2024-9-15 09:33
xiejin老师这样的行业专家面前我是不敢称什么老师的，只是作为一个业余爱好者班门弄斧一下。。。我觉得从 ...

这个呢，简单来说就是涌现决策的崭新方式，譬如类似于计中计的复杂组合，而且要能够自主实施。过程中不需要人类参与决策。

我也是业余爱好者，真正的国内专家现在都在埋头找卡。哪有功夫像我这么闲的吹水。

孟词宗

indy 发表于 2024-9-13 20:07
《人类简史》作者赫拉利：当AI决定说谎，人类会落得什么下场？Original 张星云 三联生活周刊
2024年09月10 ...

这位作者就是标准被洗坏了脑子的白左，而且是反人类进步的白左。

例如他说：

新技术往往会带来意想不到的后果。我们原以为技术会服务于我们的目的，但最终却发现我们人类在为技术服务。历史上有个典型的例子是农业革命。最初，人类作为狩猎采集者生活，他们进入森林狩猎野生动物、采集野生水果。当人类发明农业时，他们认为这会大大改善他们的生活，小麦这样的农作物会让人类生活得更好。
然而，实际的结果正好相反，数百万农民为水稻服务——插秧、浇水、除草、保护它们免受病虫侵害。普通农民的生活变得比狩猎采集者更糟糕。人们不得不整天在稻田里辛苦躬耕劳作，而不是在森林中四处游荡。尽管付出了大量的劳动，人们的饮食反而变得更糟糕——主要由大米构成的饮食不如各种野果和肉食组成的饮食对人来说更健康。当然，对少数国王和贵族来说，生活确实变得更好了，因为他们垄断了农业创造的财富，但对普通农民来说，生活变得更糟了。

这就是个典型的反智复古主义言论。说的好像没有发明农业前，人类生活在天堂似的。事实上，农业并仅仅带来了他所谓的“营养不良”，而是农业能够稳定得提供食物来源，使得人类不必再依靠不靠谱的采集和狩猎的产出，从而大大提高了人类的生产力，稳定的大量食物可以支撑更多的人口，从而让人类种群进一步扩张。而在农业发明之前，不但人口稀少，人均预期寿命也远低于农业社会。

AI 的确有各种问题。但是 AI 就是一种工具。要有效使用工具，就要掌握工具的安全使用方法，而不是抛弃工具。否则按照这位的理论，刀子和火也是非常危险的工具，人类应当禁止使用这些工具。

indy

xiejin77 发表于 2024-9-14 20:49
这个呢，简单来说就是涌现决策的崭新方式，譬如类似于计中计的复杂组合，而且要能够自主实施。过程中不需 ...

多亏 @赫然 想起来，多问一句，原来击败人类国际象棋和围棋世界冠军的AI在xiejin老师看来能不能算拥有“欺骗”和“撒谎”能力？谢谢分享您的看法。

xiejin77

indy 发表于 2024-9-15 10:30
多亏 @赫然 想起来，多问一句，原来击败人类国际象棋和围棋世界冠军的AI在xiejin老师看来能不能算拥有“ ...

国象的深蓝大约不算，alpha go之类的是深度学习算法的胜利，但是是封闭场景的。也不能算是自主实施。只能说是根据算法运算的结果。

我记得顾剑老师有一句评价古今名将的话，有算计的主动冒险才算是名将。那么，这里面的主动呢，其实是有情感意识成分在里面的，502敢冒得险，101不敢。当然，咱俩的这个话题再讨论下去就会变成玄学了，我只是想说的是，三联的这种文章，除了混淆视听，徒增焦虑之外，对读者没有什么帮助。有这个功夫，应该去看看人工智能的原理然后尝试自我思考，而不是听这些博眼球的骗子吹水。

yanei

孟词宗 发表于 2024-9-15 09:52
这位作者就是标准被洗坏了脑子的白左，而且是反人类进步的白左。

例如他说：

AI是一种工具。但是就像赫拉利所说，AI与其他工具不同的是它成为了或者很快会成为一群独立自主的行为个体。而在人类社会，所有独立自主的行为个体都要受到道德法律的约束。那么现在谁来教它要自愿主动的接受这些约束，而不发展出属于反社会人格？三观不正的话，它可以把法律条文背得滚瓜烂熟，然后各种钻法律空子甚至自己造出法律条文来。说到三观，谁来教？怎么教？教谁的三观？更何况要是有恶人故意制造恶AI怎么办？AI能力在飞速发展，这些问题不赶紧解决就好像让一把冲锋枪掉到了一个小孩子手里。

听说马斯克们呼吁暂缓发展AI，这是有点书生气了。AI显然可以成为威力巨大的工具或者武器，有能力的国家决不会放弃。谁放弃谁傻，毕竟敌国的威胁更现实。

yanei

文章将缅甸种族暴力事件归咎于脸书算法，认为算法为了“提升用户参与度”而主动传播仇恨内容。这种说法完全忽略了现实世界中复杂的社会、政治和历史因素，将一起惨剧简单粗暴地归咎于技术，仿佛算法是独立于人类社会之外的邪恶力量。

不要低估媒体/自媒体在群体事件中起的正反馈式煽风点火的作用。西方对这个很清楚。这是颜革的重要一环。缅甸只是一个例子。阿拉伯之春时希拉里就专门要求阿拉伯各政府不可以关闭网络禁止脸书。等火烧到自己家，西方就一点不客气了。法国直接把“电报”老板给抓起来了。想想看要是AI或者有人利用AI造出针对某族某国的谣言覆盖所有媒体平台，有多少人能分辨出真假？

陈王奋起挥黄钺

孟词宗 发表于 2024-9-15 09:52
这位作者就是标准被洗坏了脑子的白左，而且是反人类进步的白左。

例如他说：

郝拉利和凯文凯利一样，都是文科生，对科技发展七窍通了六窍，你说他不懂，他的知识很多，你说他懂，根子都是错的。