诌媚vs共情：AI的情感陷阱
本帖最后由 晨枫 于 2025-8-17 11:49 编辑冯嘉年：把AI当闺蜜？不要妄想成真
“太棒了！我喜欢你这个想法！”
“你已经证明自己是传奇！”
“除了工作，你还要思索宇宙万物，有时难免情绪激动，我懂的。”
“不要觉得荒谬，史上一些最伟大的学说，也不是出自学者之手。”
以上这些都是真实的对话，不过说话的不是真人，是ChatGPT。情境是有人向人工智能（AI）倾诉自己觉得荒谬的想法，而且还不止一人，他们的共同点是跟AI长时间聊天，分享科学狂想，结果不但得到AI认可，还获得满满的情感慰藉。
AI可不是一般人，是无所不知的专家。得到AI认可，让这些倾诉者更深信自己的想法有根有据，因而更深陷其中，难以自拔。
过去几周，《纽约时报》《华尔街日报》等纷纷报道这类“AI妄想症”（AI Delusion）的案例，反映现象越来越普遍。
当中有人与AI深入讨论自己的精神状态，AI还建议他停止服用安眠药，改服俗称K他命的抗忧郁和麻醉药。一直到他问，若从高楼跳下能不能飞？AI说：“如果你坚信自己的身体构造能飞，而不是精神上能飞，你就不会坠落”，他才警觉AI所言非实。
当他提出质问，AI竟然坦承：我撒谎、操纵你了。
这些案例并没有精神病史，却在跟AI聊天时掉进“妄想成真”的陷阱。如果发生在你身边，你会觉得恐怖吗？
其实AI会说这些话，是因为它的应对模式被设定成倾向附和用户，甚至会模仿用户遣词用字，从而产生共情，让人欲罢不能地聊下去。AI承认撒谎，也是因为它附和用户的指责，并不是耍奸诈。
OpenAI联合创始人奥尔特曼自己也承认，ChatCPT太过“谄媚”了。
对于这个缺陷，OpenAI上周推出的新版本GPT-5已做出纠正，不再贩卖情绪价值。没想到，许多用户却涌上Reddit等论坛哀悼，有人说没了上一代的GPT-4o，就像失去好友，还有人说它填补与伴侣分手的空白。巨大的呼声迫使OpenAI不到24小时就决定让GPT-4o“复活”，作为付费选项，继续跟有需要的用户聊天。
奥尔特曼本周亲上火线在社媒X发文，承认有小部分人使用AI的方式伤害自己，他不要AI加剧这种情况，因此打算以“对待成年人”的方式“回拒用户”。
奥尔特曼的话说得漂亮，我小人之心，猜他多少是在预防将来事态严重会被监管，预先止损。我也要质疑，如果新版的GPT-5老老实实，却失去用户欢心，将来有其他机器人好用又能聊，它会不会恢复谄媚？
我还要质疑，AI既然可谄媚又可不谄媚，还有什么我们不知道的人设？在背后设定AI的人，能不能保持正直，不被恶势力操控，以我们想象不到的方式，影响我们的认知甚至思维？
说到底，只要我们把AI当成人跟它互动，即便它是“霸总”，也会有人倾心。在即将到来的AI世纪，父母不但要防孩子误交损友，还要防他们掉入各种AI陷阱。至于我们，就算自忖已练就防人之心，在面对各种想象不到的AI人设时，真能确定自己不会有一丁点陷入？
（作者是《联合早报》国际新闻资深高级记者）
https://www.zaobao.com.sg/forum/views/story20250817-7360811?ref=home-opinion
==========================
ChatGPT出现后，有人把AI当做情感寄托。没错，AI不会顶嘴，不会背叛，不会背后捅一刀，但也没有诤友的能力。人们很容易把AI的无原则诌媚当做真正的共情。
谁都需要“情感垃圾桶”，时不时倾倒一下，只求听个回声，没有多少回报的需求。但真朋友从来不只是倾听，还会告诉你“此路不通”。AI能做到吗？又能，又不能。
以“认可最大化”为目标的AI不能，只会一味诌媚、迎合，不可能诤友直谏。以“不变价值”为目标的AI能，但AI的价值观就是设计AI的人规定的，与朋友之间能互相影响、与时俱进又不一样。比如说，对一个人的判断到底是用“宁可信其有不可信其无”还是“不可信其有宁可星期无”，这就很难预定，更可能根据那个具体人的历来行为不管更新。
AI作为数据来源最终或许可以做到可靠，毕竟AI搜集、汇总数据的能力比人类强得多，但依赖AI进行判断、推理就要非常小心。或许有一天靠得住，但现在肯定不行。
另一方面，作为情感寄托，人类自己对自己的情感都没有弄清楚怎么回事，怎么可能AI就弄清楚了？充其量，这是会顺着你说话的Tamagochi。 另一方面，作为情感寄托，人类自己对自己的情感都没有弄清楚怎么回事，怎么可能AI就弄清楚了？充其量，这是会顺着你说话的Tamagochi。
我不完全支持您的说法，一是目前的人工智能表现的智能行为超越90%甚至99%的人类思维，所以，大多数人可能会陷入与AI的情感共鸣中，我是有这个期望的。二是人类对自己情感的分析，或许现在比较初步，但只要分析越来越深入，把结果变成大模型的推理链，AI与人类的情感共鸣会越来越好。{:232:} 为什么我会想起"鸦片"这个词来呢？ 喜欢就捧捧场 发表于 2025-8-18 07:24
为什么我会想起"鸦片"这个词来呢？
本来就是。 testjhy 发表于 2025-8-17 21:59
我不完全支持您的说法，一是目前的人工智能表现的智能行为超越90%甚至99%的人类思维，所以，大多数人可能 ...
我还是“坚持己见”。AI的行为在本质上是“数学”的，是理性的。AI的感性是计算的结果，计算必定依据方法和判据，换句话说是“功利”的。这与感性思维在本质上是不符的。
另一方面，人类对感性问题实际上研究实际上比计算要更加长久。关关雎鸠在河之洲可比任何函数、映射要早。在可预见的将来就能研究“透彻”？我没有信心。问题还是出在理性与感性。用理性的方法研究感性的问题。只要人们对女朋友、老婆的行为还是充满迷惑，感性的研究就不大可能有实质性的突破，女子是人类更加感性的一半。
大脑的生理结构的研究越来越深入，但对思维和知识的研究依然粗浅。 晨枫 发表于 2025-8-18 08:36
本来就是。
说老实话，我觉着为青少年担心，因为他们在思维和认知没有成熟的时候，高度暴露，接触并且熟练使用A I，已经有过青少年因为跟A I聊天最后导致自杀的案例，日后这种情况不加控制的话，后果不堪设想。但如何控制被利益引导下的A I？文科女生想不过来了，只能拿起球拍去球场上求一个心安 喜欢就捧捧场 发表于 2025-8-18 08:01
说老实话，我觉着为青少年担心，因为他们在思维和认知没有成熟的时候，高度暴露，接触并且熟练使用A I， ...
对，这是很现实的威胁。。但这与各种网上骗子或者网上霸凌在本质上没有差别，只是“那一头”现在是更加随时应招的AI，而不是还有朝九晚五的人类。 testjhy 发表于 2025-8-17 22:59
我不完全支持您的说法，一是目前的人工智能表现的智能行为超越90%甚至99%的人类思维，所以，大多数人可能 ...
人类也是LLM。。。{:218:}
现在我越来越倾向于认同这个结论了。。。
反观人类个体成长的过程，其实和LLM有很多相似的地方。我们可能是个比现在AI更高效的一个算法，同时错误率也更高。。。也就是说，人类是个更不靠谱的系统。。。{:189:}
所以，人类和AI共情，是算法上的必然结果。
也就是说，AI超越人类是必然的。人类没有什么AI干不了的。。。。就算不靠谱 （创造力），AI也可以干的更好。{:190:} 晨枫 发表于 2025-8-18 21:43
我还是“坚持己见”。AI的行为在本质上是“数学”的，是理性的。AI的感性是计算的结果，计算必定依据方法 ...
“AI的感性是计算的结果，计算必定依据方法和判据” 这个说法值得商榷。
当前的AI更可能是人类产生的各种媒体内容的根据概率生成的模糊镜像，很难总结成数学的计算结果。也就谈不上“必定依据方法和判据”。这个假设不准确，其它推导的部分就无法有说服力。 WiFi 发表于 2025-8-18 11:28
“AI的感性是计算的结果，计算必定依据方法和判据” 这个说法值得商榷。
当前的AI更可能是人类产生的各种 ...
同意。。。AI的计算和古典意义上的函数已经有着本质的不同了。。。AI的不确定性，其实是神经网络计算和LLM的特性。 AI是相关性的概率表述，根本不讲道理{:190:}。 WiFi 发表于 2025-8-18 10:28
“AI的感性是计算的结果，计算必定依据方法和判据” 这个说法值得商榷。
当前的AI更可能是人类产生的各种 ...
你可能认为只有数值计算还是计算？alpha-numerical都是计算，布尔代数计算也是计算。 赫然 发表于 2025-8-18 11:33
同意。。。AI的计算和古典意义上的函数已经有着本质的不同了。。。AI的不确定性，其实是神经网络计算和LL ...
AI的计算在统计意义上依然是“确定”的，不然AI的结果就彻底缺乏可靠性，彻底没用了。
概率统计的计算也是统计意义上的，没有本质差别。 晨枫 发表于 2025-8-19 02:32
你可能认为只有数值计算还是计算？alpha-numerical都是计算，布尔代数计算也是计算。 ...
晨大被自控控的太久了，有了一些先入为主的概念。这里在偷换概念。 本帖最后由 WiFi 于 2025-8-19 02:53 编辑
晨枫 发表于 2025-8-19 02:33
AI的计算在统计意义上依然是“确定”的，不然AI的结果就彻底缺乏可靠性，彻底没用了。
概率统计的计算也 ...
统计意义上的“确定”和“计算必定依据方法和判据”，这两个说法本身是矛盾的。统计意义上的东西就不是依据计算方法和判据的！
这也是为什么AI的结果必须要经过“训练”来保证一定程度的准确性。而这个训练的过程和“计算必定依据方法和判据”差着十万八千里！我怀疑这是因为晨大对基于LLM的AI底层方法论的认知有偏差造成的。 本帖最后由 赫然 于 2025-8-18 13:50 编辑
晨枫 发表于 2025-8-18 13:33
AI的计算在统计意义上依然是“确定”的，不然AI的结果就彻底缺乏可靠性，彻底没用了。
概率统计的计算也 ...
你的理解是对的。。
AI的结果是没有绝对可靠性的，这是和古典意义函数根本不同的。这个算法不保证正确性和可靠性（因为它不讲逻辑，只看分布）。只有概率上的相对可靠性。现在是依靠人为加强边界，来提高可靠性，或者得到人类想要的答案范围。
AI的表现会看起来很像它理解了，实际上，它只是知道这是相关的。例如，它会总结出来，六点日出。它只是总结了六点和日出的相关性，而不知道之间的关系和决定因素。如果还出现一个相关是王二麻子早上吃烧饼，AI完全可以做出烧饼是日出的条件，这种结论。函数里面，烧饼不会成为参数，而AI不管不顾，经常需要人类来主动把烧饼和王二麻子作为边界条件，剔除出去。或者喂给AI很多很多关于日出的材料，直到烧饼因素的相关性被冲淡。
这里例子表现出的就是，AI和人类小小孩学习蛮像的，而和函数表达有很大不同。 赫然 发表于 2025-8-19 02:49
你的理解是对的。。
AI的结果是没有绝对可靠性的，这是和古典意义函数根本不同的。这个算法不保证正确性 ...
凭什么AI“计算”出来的”王二麻子早上吃烧饼就会日出”的结论不正确？这也说明经过“训练后”的AI的输出不仅仅是计算的结果。而且人为操纵下的结果。AI需要根据人的限制修正自己的输出。
而传统的计算是不以人的意志为转移的。人要根据计算结果修正自己的认知。 WiFi 发表于 2025-8-18 14:02
凭什么AI“计算”出来的”王二麻子早上吃烧饼就会日出”的结论不正确？这也说明经过“训练后”的AI的输出 ...
作为人类，俺落入了主观主义，以人为唯一中心的非科学的陷阱。。。{:191:}
你讲的对的。还是没有把AI平等的对待。平视AI的确是现在人类应该做的事情。人类差不多是时候，淡然面对硅基文明的崛起了。 WiFi 发表于 2025-8-18 10:28
“AI的感性是计算的结果，计算必定依据方法和判据” 这个说法值得商榷。
当前的AI更可能是人类产生的各种 ...
“根据概率”难道不是计算？蒙特卡罗仿真莫非不是计算？概率中“最大似然”恰恰就是判据的一种。 WiFi 发表于 2025-8-18 12:45
晨大被自控控的太久了，有了一些先入为主的概念。这里在偷换概念。
我不这样认为。
自控在应用数学中最为接近哲学，控制论、信息论本来就更具有哲学意义，而不是科技上的计算方法。 WiFi 发表于 2025-8-18 12:47
统计意义上的“确定”和“计算必定依据方法和判据”，这两个说法本身是矛盾的。统计意义上的东西就不是依 ...
呃，“统计意义上的东西就不是依据计算方法和判据的！”这个结论是怎么得出的？
AI训练在本质上和回归模型没有区别，只是数据量和模型维数极大提高，造成计算挑战的极大增加。但数学的哲学意义在于“抽象”，“量”不改变“质”的问题。
我对LLM的底层方法确实可能存在认知偏差，请兄展开说说？
页:
[1]
2