注册 登录
爱吱声 返回首页

唐家山的个人空间 http://129.226.69.186/bbs/?1830 [收藏] [复制] [分享] [RSS]

日志

DeepSeek的元验证感觉是通向AGI的关键一步

热度 13已有 228 次阅读2025-11-28 08:42

这是知乎AI对元验证(Meta-Verification)的评述:
Meta-Verification是指在验证AI生成的证明或解题步骤时,引入更高一层的验证机制,即给原本的验证者(AI老师)再配备一个更高级的验证者(AI校长),以检查其评估的准确性。具体来说:
初始验证:首先,一个AI验证器(如DeepSeek-Math-V2中的初始验证器)会对AI生成的证明进行初步评估,判断其逻辑是否正确。
Meta-Verifier的引入:为了提高验证的准确性和减少错误,Meta-Verifier(即元验证器)被引入。Meta-Verifier的任务是评估初始验证器的判断是否合理,确保其不会对正确步骤进行错误批评或幻觉出不存在的缺陷。
训练过程:研究人员通过收集数学专家对AI生成证明的验证数据,训练了一个专用的元验证器模型。这个元验证器会根据其评估标准对初始验证器的分析质量进行评分。
增强验证器奖励:元验证器提供的元验证质量得分被整合到初始验证器的奖励函数中,促使初始验证器在生成证明时更加准确和严谨。
迭代提升:通过这种方式,初始验证器和元验证器相互迭代,逐步提升验证的准确性和证明生成的质量。
延伸拓展:
自我验证能力:Meta-Verification机制不仅提高了验证的准确性,还赋予了AI系统自我验证和自我修正的能力,使其在面对复杂推理任务时能够更加可靠。
应用场景:这种多层验证的方法在数学推理、逻辑证明等需要高度精确性的领域具有广泛的应用前景,可以用于提高AI生成答案的可靠性和准确性。
未来发展方向:随着技术的进步,Meta-Verification可能会扩展到更多领域,如代码验证、安全审计等,以提高系统的整体可靠性和安全性。

如果AI真能做到:“AI系统自我验证和自我修正的能力,使其在面对复杂推理任务时能够更加可靠。” 从交互式定理证明领域来看,距离AGI就差一步了。跟人类相比,AI还缺少对复杂系统的洞察能力。但是这个能力是可以通过后天学习获得的。
1

膜拜

鸡蛋
11

鲜花

路过

雷人
1

开心

感动

难过

刚表态过的朋友 (13 人)

发表评论 评论 (4 个评论)

回复 伯威 2025-11-28 10:03
不明觉厉
回复 老票 2025-11-28 10:42
真希望自己能看懂,结果发现这是个奢望
回复 xiejin77 2025-11-28 16:59
这个本质上还是agentic RL的范畴,这一点DS并不是第一个做的,只是最有热度而已。不过可以欣慰的是,国内的大模型都在迅速的尝试类似的方案;国内的百花齐放百家争鸣也是如火如荼。
类似的套路还有模型协作的各种类型,所谓的验证器,可以用大模型协同小模型,也可以多个模型一起交互讨论,甚至还有基于生物遗传算法的协作体系。然后在这些体系中引入人工标注和强化学习,注入人类的既有经验。这样就连所谓的复杂系统洞察也是可以期待的,譬如Voyager、crewAI或者更原始的autogen。

我的暴论,这条路走下来,AGI不是不可及的。甚至有可能是五到十年的事情
回复 唐家山 2025-11-29 08:28
xiejin77: 这个本质上还是agentic RL的范畴,这一点DS并不是第一个做的,只是最有热度而已。不过可以欣慰的是,国内的大模型都在迅速的尝试类似的方案;国内的百花齐放百家 ...
是的。感觉agentic RL这一条路是在模拟人类的元学习能力,已经开始触及我之前说的定理证明的第三层次。以数学研究为例,之前AI是陶哲轩说的“笨拙而勤奋”的研究助手,我觉得AI现在已经开始蜕变成“平庸但可靠”的数学研究者。
以前人们认为AI达到AGI时就会在智力水平远超人类,现在看来这里有一个误区。就是AI达到AGI时只是在智力上追平一般人类,距离远超人类还有一段很长的路要走。至少让AI去解决黎曼猜想或者P vs NP问题,在目前是没有任何线索的。我觉得对AI的幻觉的深入理解,能对AI的奇思妙想和胡思乱想进行区分,可能是提高AI创造力的一条途径。

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 注册

手机版|小黑屋|Archiver|网站错误报告|爱吱声   

GMT+8, 2025-12-22 07:23 , Processed in 0.025497 second(s), 18 queries , Gzip On.

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

返回顶部