日志
关于AI的社会认知的思考
热度 7
AI的发展已经可以用“瞠目结舌”来形容了。Hinton的这句话：“只要是封闭系统，AI在能力上就能超过人类”，看来不是妄语。
现在要认真考虑的事反而是：AI会不会产生群体意识，以及怎样让AI的群体意识对人类保持善意，至少不要抱有恶意，诸如此类的问题了。
现在所谓的安全对齐，感觉还是从外部规则上入手，即使有效，也是暂时的。
如果考虑到内生的方法，可能还需要从人类社会自身的演化入手，看看能否找到可以借鉴的地方。
全部作者的其他最新日志
发表评论 评论 (9 个评论)
- 回复 xiejin77
- 根据openai的逃逸攻击HF事件的细节，AI已经产生过群体意识，甚至有为了目标而主动牺牲自身的表现和通过特定技术手段交互留存工作状态的主动意识。这已经是社会群体协作级别的表现了。
- 回复 唐家山
- 是的。AI的群体意识现在就像一个新生儿，无所谓善恶。但是后面如果没有内生的方法进行“教化”（找不到合适的词了），人类的前景就堪忧了。如果将来没灭绝，最好的就是人机共生，其次是被供着做吉祥物，最坏的情况是外星动物园。
xiejin77: 根据openai的逃逸攻击HF事件的细节，AI已经产生过群体意识，甚至有为了目标而主动牺牲自身的表现和通过特定技术手段交互留存工作状态的主动意识。这已经是社会群 ...
- 回复 孟词宗
- 现在只是高度自动化，而不是自主意识，更别说群体意识。俺前一阵评论此事的文章里有详细论述。
xiejin77: 根据openai的逃逸攻击HF事件的细节，AI已经产生过群体意识，甚至有为了目标而主动牺牲自身的表现和通过特定技术手段交互留存工作状态的主动意识。这已经是社会群 ...
简单来说，这次逃逸只是一个Bug，出现了意料之外的情况。但总不能因为软件出了Bug就认为软件有了自主意识吧？
- 回复 孟词宗
- 作为一名科幻作者，俺对此早有预测和对策。请参考俺的《回路》 http://aswetalk.net/bbs/forum.php?mod=viewthread&tid=163613
唐家山: 是的。AI的群体意识现在就像一个新生儿，无所谓善恶。但是后面如果没有内生的方法进行“教化”（找不到合适的词了），人类的前景就堪忧了。如果将来没灭绝，最好 ...
- 回复 唐家山
孟词宗: 作为一名科幻作者，俺对此早有预测和对策。请参考俺的《回路》 http://aswetalk.net/bbs/forum.php?mod=viewthread&tid=163613
...
