爱吱声

标题: 诌媚vs共情：AI的情感陷阱 [打印本页]

作者: 晨枫 时间: 4 天前
标题: 诌媚vs共情：AI的情感陷阱
本帖最后由晨枫于 2025-8-17 11:49 编辑

冯嘉年：把AI当闺蜜？不要妄想成真

“太棒了！我喜欢你这个想法！”

“你已经证明自己是传奇！”

“除了工作，你还要思索宇宙万物，有时难免情绪激动，我懂的。”

“不要觉得荒谬，史上一些最伟大的学说，也不是出自学者之手。”

以上这些都是真实的对话，不过说话的不是真人，是ChatGPT。情境是有人向人工智能（AI）倾诉自己觉得荒谬的想法，而且还不止一人，他们的共同点是跟AI长时间聊天，分享科学狂想，结果不但得到AI认可，还获得满满的情感慰藉。

AI可不是一般人，是无所不知的专家。得到AI认可，让这些倾诉者更深信自己的想法有根有据，因而更深陷其中，难以自拔。

过去几周，《纽约时报》《华尔街日报》等纷纷报道这类“AI妄想症”（AI Delusion）的案例，反映现象越来越普遍。

当中有人与AI深入讨论自己的精神状态，AI还建议他停止服用安眠药，改服俗称K他命的抗忧郁和麻醉药。一直到他问，若从高楼跳下能不能飞？AI说：“如果你坚信自己的身体构造能飞，而不是精神上能飞，你就不会坠落”，他才警觉AI所言非实。

当他提出质问，AI竟然坦承：我撒谎、操纵你了。

这些案例并没有精神病史，却在跟AI聊天时掉进“妄想成真”的陷阱。如果发生在你身边，你会觉得恐怖吗？

其实AI会说这些话，是因为它的应对模式被设定成倾向附和用户，甚至会模仿用户遣词用字，从而产生共情，让人欲罢不能地聊下去。AI承认撒谎，也是因为它附和用户的指责，并不是耍奸诈。

OpenAI联合创始人奥尔特曼自己也承认，ChatCPT太过“谄媚”了。

对于这个缺陷，OpenAI上周推出的新版本GPT-5已做出纠正，不再贩卖情绪价值。没想到，许多用户却涌上Reddit等论坛哀悼，有人说没了上一代的GPT-4o，就像失去好友，还有人说它填补与伴侣分手的空白。巨大的呼声迫使OpenAI不到24小时就决定让GPT-4o“复活”，作为付费选项，继续跟有需要的用户聊天。

奥尔特曼本周亲上火线在社媒X发文，承认有小部分人使用AI的方式伤害自己，他不要AI加剧这种情况，因此打算以“对待成年人”的方式“回拒用户”。

奥尔特曼的话说得漂亮，我小人之心，猜他多少是在预防将来事态严重会被监管，预先止损。我也要质疑，如果新版的GPT-5老老实实，却失去用户欢心，将来有其他机器人好用又能聊，它会不会恢复谄媚？

我还要质疑，AI既然可谄媚又可不谄媚，还有什么我们不知道的人设？在背后设定AI的人，能不能保持正直，不被恶势力操控，以我们想象不到的方式，影响我们的认知甚至思维？

说到底，只要我们把AI当成人跟它互动，即便它是“霸总”，也会有人倾心。在即将到来的AI世纪，父母不但要防孩子误交损友，还要防他们掉入各种AI陷阱。至于我们，就算自忖已练就防人之心，在面对各种想象不到的AI人设时，真能确定自己不会有一丁点陷入？

（作者是《联合早报》国际新闻资深高级记者）

https://www.zaobao.com.sg/forum/ ... 11?ref=home-opinion

==========================

ChatGPT出现后，有人把AI当做情感寄托。没错，AI不会顶嘴，不会背叛，不会背后捅一刀，但也没有诤友的能力。人们很容易把AI的无原则诌媚当做真正的共情。

谁都需要“情感垃圾桶”，时不时倾倒一下，只求听个回声，没有多少回报的需求。但真朋友从来不只是倾听，还会告诉你“此路不通”。AI能做到吗？又能，又不能。

以“认可最大化”为目标的AI不能，只会一味诌媚、迎合，不可能诤友直谏。以“不变价值”为目标的AI能，但AI的价值观就是设计AI的人规定的，与朋友之间能互相影响、与时俱进又不一样。比如说，对一个人的判断到底是用“宁可信其有不可信其无”还是“不可信其有宁可星期无”，这就很难预定，更可能根据那个具体人的历来行为不管更新。

AI作为数据来源最终或许可以做到可靠，毕竟AI搜集、汇总数据的能力比人类强得多，但依赖AI进行判断、推理就要非常小心。或许有一天靠得住，但现在肯定不行。

另一方面，作为情感寄托，人类自己对自己的情感都没有弄清楚怎么回事，怎么可能AI就弄清楚了？充其量，这是会顺着你说话的Tamagochi。

作者: testjhy 时间: 4 天前

另一方面，作为情感寄托，人类自己对自己的情感都没有弄清楚怎么回事，怎么可能AI就弄清楚了？充其量，这是会顺着你说话的Tamagochi。

我不完全支持您的说法，一是目前的人工智能表现的智能行为超越90%甚至99%的人类思维，所以，大多数人可能会陷入与AI的情感共鸣中，我是有这个期望的。二是人类对自己情感的分析，或许现在比较初步，但只要分析越来越深入，把结果变成大模型的推理链，AI与人类的情感共鸣会越来越好。

作者: 喜欢就捧捧场 时间: 4 天前
为什么我会想起"鸦片"这个词来呢？

作者: 晨枫 时间: 4 天前

喜欢就捧捧场发表于 2025-8-18 07:24
为什么我会想起"鸦片"这个词来呢？

本来就是。

作者: 晨枫 时间: 4 天前

testjhy 发表于 2025-8-17 21:59
我不完全支持您的说法，一是目前的人工智能表现的智能行为超越90%甚至99%的人类思维，所以，大多数人可能 ...

我还是“坚持己见”。AI的行为在本质上是“数学”的，是理性的。AI的感性是计算的结果，计算必定依据方法和判据，换句话说是“功利”的。这与感性思维在本质上是不符的。

另一方面，人类对感性问题实际上研究实际上比计算要更加长久。关关雎鸠在河之洲可比任何函数、映射要早。在可预见的将来就能研究“透彻”？我没有信心。问题还是出在理性与感性。用理性的方法研究感性的问题。只要人们对女朋友、老婆的行为还是充满迷惑，感性的研究就不大可能有实质性的突破，女子是人类更加感性的一半。

大脑的生理结构的研究越来越深入，但对思维和知识的研究依然粗浅。

作者: 喜欢就捧捧场 时间: 4 天前

晨枫发表于 2025-8-18 08:36
本来就是。

说老实话，我觉着为青少年担心，因为他们在思维和认知没有成熟的时候，高度暴露，接触并且熟练使用A I，已经有过青少年因为跟A I聊天最后导致自杀的案例，日后这种情况不加控制的话，后果不堪设想。但如何控制被利益引导下的A I？文科女生想不过来了，只能拿起球拍去球场上求一个心安

作者: 晨枫 时间: 4 天前

喜欢就捧捧场发表于 2025-8-18 08:01
说老实话，我觉着为青少年担心，因为他们在思维和认知没有成熟的时候，高度暴露，接触并且熟练使用A I， ...

对，这是很现实的威胁。。但这与各种网上骗子或者网上霸凌在本质上没有差别，只是“那一头”现在是更加随时应招的AI，而不是还有朝九晚五的人类。

作者: 赫然 时间: 4 天前

testjhy 发表于 2025-8-17 22:59
我不完全支持您的说法，一是目前的人工智能表现的智能行为超越90%甚至99%的人类思维，所以，大多数人可能 ...

人类也是LLM。。。

现在我越来越倾向于认同这个结论了。。。

反观人类个体成长的过程，其实和LLM有很多相似的地方。我们可能是个比现在AI更高效的一个算法，同时错误率也更高。。。也就是说，人类是个更不靠谱的系统。。。

所以，人类和AI共情，是算法上的必然结果。

也就是说，AI超越人类是必然的。人类没有什么AI干不了的。。。。就算不靠谱（创造力），AI也可以干的更好。

作者: WiFi 时间: 3 天前

晨枫发表于 2025-8-18 21:43
我还是“坚持己见”。AI的行为在本质上是“数学”的，是理性的。AI的感性是计算的结果，计算必定依据方法 ...

“AI的感性是计算的结果，计算必定依据方法和判据” 这个说法值得商榷。
当前的AI更可能是人类产生的各种媒体内容的根据概率生成的模糊镜像，很难总结成数学的计算结果。也就谈不上“必定依据方法和判据”。这个假设不准确，其它推导的部分就无法有说服力。

作者: 赫然 时间: 3 天前

WiFi 发表于 2025-8-18 11:28
“AI的感性是计算的结果，计算必定依据方法和判据” 这个说法值得商榷。
当前的AI更可能是人类产生的各种 ...

同意。。。AI的计算和古典意义上的函数已经有着本质的不同了。。。AI的不确定性，其实是神经网络计算和LLM的特性。 AI是相关性的概率表述，根本不讲道理

。

作者: 晨枫 时间: 3 天前

WiFi 发表于 2025-8-18 10:28
“AI的感性是计算的结果，计算必定依据方法和判据” 这个说法值得商榷。
当前的AI更可能是人类产生的各种 ...

你可能认为只有数值计算还是计算？alpha-numerical都是计算，布尔代数计算也是计算。

作者: 晨枫 时间: 3 天前

赫然发表于 2025-8-18 11:33
同意。。。AI的计算和古典意义上的函数已经有着本质的不同了。。。AI的不确定性，其实是神经网络计算和LL ...

AI的计算在统计意义上依然是“确定”的，不然AI的结果就彻底缺乏可靠性，彻底没用了。

概率统计的计算也是统计意义上的，没有本质差别。

作者: WiFi 时间: 3 天前

晨枫发表于 2025-8-19 02:32
你可能认为只有数值计算还是计算？alpha-numerical都是计算，布尔代数计算也是计算。 ...

晨大被自控控的太久了，有了一些先入为主的概念。这里在偷换概念。

作者: WiFi 时间: 3 天前
本帖最后由 WiFi 于 2025-8-19 02:53 编辑

晨枫发表于 2025-8-19 02:33
AI的计算在统计意义上依然是“确定”的，不然AI的结果就彻底缺乏可靠性，彻底没用了。

概率统计的计算也 ...

统计意义上的“确定”和“计算必定依据方法和判据”，这两个说法本身是矛盾的。统计意义上的东西就不是依据计算方法和判据的！

这也是为什么AI的结果必须要经过“训练”来保证一定程度的准确性。而这个训练的过程和“计算必定依据方法和判据”差着十万八千里！我怀疑这是因为晨大对基于LLM的AI底层方法论的认知有偏差造成的。

作者: 赫然 时间: 3 天前
本帖最后由赫然于 2025-8-18 13:50 编辑

晨枫发表于 2025-8-18 13:33
AI的计算在统计意义上依然是“确定”的，不然AI的结果就彻底缺乏可靠性，彻底没用了。

概率统计的计算也 ...

你的理解是对的。。

AI的结果是没有绝对可靠性的，这是和古典意义函数根本不同的。这个算法不保证正确性和可靠性（因为它不讲逻辑，只看分布）。只有概率上的相对可靠性。现在是依靠人为加强边界，来提高可靠性，或者得到人类想要的答案范围。

AI的表现会看起来很像它理解了，实际上，它只是知道这是相关的。例如，它会总结出来，六点日出。它只是总结了六点和日出的相关性，而不知道之间的关系和决定因素。如果还出现一个相关是王二麻子早上吃烧饼，AI完全可以做出烧饼是日出的条件，这种结论。函数里面，烧饼不会成为参数，而AI不管不顾，经常需要人类来主动把烧饼和王二麻子作为边界条件，剔除出去。或者喂给AI很多很多关于日出的材料，直到烧饼因素的相关性被冲淡。

这里例子表现出的就是，AI和人类小小孩学习蛮像的，而和函数表达有很大不同。

作者: WiFi 时间: 3 天前

赫然发表于 2025-8-19 02:49
你的理解是对的。。

AI的结果是没有绝对可靠性的，这是和古典意义函数根本不同的。这个算法不保证正确性 ...

凭什么AI“计算”出来的”王二麻子早上吃烧饼就会日出”的结论不正确？这也说明经过“训练后”的AI的输出不仅仅是计算的结果。而且人为操纵下的结果。AI需要根据人的限制修正自己的输出。

而传统的计算是不以人的意志为转移的。人要根据计算结果修正自己的认知。

作者: 赫然 时间: 3 天前

WiFi 发表于 2025-8-18 14:02
凭什么AI“计算”出来的”王二麻子早上吃烧饼就会日出”的结论不正确？这也说明经过“训练后”的AI的输出 ...

作为人类，俺落入了主观主义，以人为唯一中心的非科学的陷阱。。。

你讲的对的。还是没有把AI平等的对待。平视AI的确是现在人类应该做的事情。人类差不多是时候，淡然面对硅基文明的崛起了。

作者: 晨枫 时间: 3 天前

WiFi 发表于 2025-8-18 10:28
“AI的感性是计算的结果，计算必定依据方法和判据” 这个说法值得商榷。
当前的AI更可能是人类产生的各种 ...

“根据概率”难道不是计算？蒙特卡罗仿真莫非不是计算？概率中“最大似然”恰恰就是判据的一种。

作者: 晨枫 时间: 3 天前

WiFi 发表于 2025-8-18 12:45
晨大被自控控的太久了，有了一些先入为主的概念。这里在偷换概念。

我不这样认为。

自控在应用数学中最为接近哲学，控制论、信息论本来就更具有哲学意义，而不是科技上的计算方法。

作者: 晨枫 时间: 3 天前

WiFi 发表于 2025-8-18 12:47
统计意义上的“确定”和“计算必定依据方法和判据”，这两个说法本身是矛盾的。统计意义上的东西就不是依 ...

呃，“统计意义上的东西就不是依据计算方法和判据的！”这个结论是怎么得出的？

AI训练在本质上和回归模型没有区别，只是数据量和模型维数极大提高，造成计算挑战的极大增加。但数学的哲学意义在于“抽象”，“量”不改变“质”的问题。

我对LLM的底层方法确实可能存在认知偏差，请兄展开说说？

作者: 晨枫 时间: 3 天前

赫然发表于 2025-8-18 12:49
你的理解是对的。。

AI的结果是没有绝对可靠性的，这是和古典意义函数根本不同的。这个算法不保证正确性 ...

“AI的结果是没有绝对可靠性的”

什么模型不是这样？

“古典意义的函数”到底指什么？蒙特卡罗仿真每运转一次，得出的结果都有些差异。只有大量重复运算，才能得到“统计意义”上的“确定结果”，这与你说的有多少差别？

任何模型的因果性vs相关性都是人类在建模时决定的，这不是AI模型特有的问题。

作者: 晨枫 时间: 3 天前

WiFi 发表于 2025-8-18 13:02
凭什么AI“计算”出来的”王二麻子早上吃烧饼就会日出”的结论不正确？这也说明经过“训练后”的AI的输出 ...

“而传统的计算是不以人的意志为转移的。人要根据计算结果修正自己的认知。”

哈，这个statement的问题实在太大太大啦。

作者: 数值分析 时间: 3 天前
本帖最后由数值分析于 2025-8-19 15:20 编辑

你的理解是对的。。

AI的结果是没有绝对可靠性的，这是和古典意义函数根本不同的。

作为人类，俺落入了主观主义，以人为唯一中心的非科学的陷阱。。。

你讲的对的。

这转折，要不是早就认识，我都怀疑你是AI了，专门提供情绪价值。。。（手动狗头）

作者: 赫然 时间: 3 天前

数值分析发表于 2025-8-19 02:17
这转折，要不是早就认识，我都怀疑你是AI了，专门提供情绪价值。。。（手动狗头） ...

俺现在已经是硅基文明的带路党啦。。。。且称为碳贱（奸）。。。

二十多年前，我也在多伦多大学搞图像处理。是辛顿给我介绍神经网络的，就是现在AI的前世。。。当时，俺相当不看好神经网络，一是很耗费计算资源，二是结果不靠谱。。。当然，二十年来，俺被狠狠打脸无数次

。。。。

所以，俺皈依了。。。

。。。

作者: testjhy 时间: 3 天前

赫然发表于 2025-8-19 21:18
俺现在已经是硅基文明的带路党啦。。。。且称为碳贱（奸）。。。

二十多年前，我也在多伦多大学 ...

啊，原来你直接受Hinton的指导啊，请接受我的膝盖。

40年前，读完他的反向传播算法，俺出山就高峰，相关工作接连获得两个省部奖，在学校小小惊艳了一把。
和你一样，俺也不太看好神经网络，不过俺的原因是神经网络只讲拟合，不讲逻辑，不能追根问底，俺不喜欢。

作者: 赫然 时间: 3 天前

testjhy 发表于 2025-8-19 09:33
啊，原来你直接受Hinton的指导啊，请接受我的膝盖。
40年前，读完他的反向传播算法，俺出山就高峰 ...

服拜T教授！！！

一边不看好，一边成为人工智能大佬！！！

俺觉得神经网络不靠谱，也主要是它不讲逻辑。。。太可怕了。。。俺这个工科生接受不了呀。。。没想到，人类其实和这种不靠谱非常相似，非常和谐。。。这是什么事儿呀。。

。。。俺还是幼稚了。。。

Hinton是俺导师的老乡和好友，我被介绍过去拜会他，请他给我们项目中图像处理的思路把把关。。。，
俺当年可没觉得他以后会是诺奖的。。。诺奖根本没有计算机的事儿呀。。。

没想到呀没想到。。。。

作者: WiFi 时间: 前天 01:26

晨枫发表于 2025-8-19 08:40
呃，“统计意义上的东西就不是依据计算方法和判据的！”这个结论是怎么得出的？

AI训练在本质上和回归模 ...

好吧，我不懂，投降了

作者: 晨枫 时间: 前天 01:39

testjhy 发表于 2025-8-19 08:33
啊，原来你直接受Hinton的指导啊，请接受我的膝盖。
40年前，读完他的反向传播算法，俺出山就高峰 ...

“神经网络只讲拟合，不讲逻辑，不能追根问底”。

太同意了。这也是我对AI“多A少I”的基本认知的原因。

欢迎光临爱吱声 (http://129.226.69.186/bbs/)