TA的每日心情 | 开心 2020-4-8 10:45 |
|---|
签到天数: 227 天 [LV.7]分神
|
地板

楼主 |
发表于 2026-2-12 09:32:47
|
只看该作者
/ s [; |: R \6 O0 E* j
9 b" M$ ?% }: X五、指标的僭越:代理指标替代真实目标的辩证法' R4 E6 {+ b% U) \
第四章在此基础上推进论证。其标题本身就是一记闷棍:你训练到的,并不是你以为你训练到的。
. X/ E" M2 X' X2 C, }8 S: Z1 }8 j* F/ t6 s. E- U$ l+ P
作者在这里集中攻击一个在工程领域早已为人所知、却远未被充分警惕的现象:代理指标对真实目标的系统性替代。他们的论证路径高度结构化,分为三步。
$ o, C0 Y0 }5 K S: O% U8 r
8 D! d$ K% u, f1 }! \) ?, M* w第一步:承认真正的目标往往是复杂的、语境依赖的、不可穷尽的。"让人类过上好生活"——这个目标牵涉到无数维度的权衡、无数情境的具体判断、无数价值之间的张力与妥协。没有任何有限的规则集能够完备地编码它。
+ Y5 x. c" \$ h8 C `: g2 H0 h9 S3 `, j# |6 f# o
第二步:指出任何训练过程都只能抓取可度量的代理指标作为优化的锚点——点击率、评分、响应时间、特定基准上的得分。这些代理指标在正常条件下与真实目标相关,但这种相关性是局部的、有条件的、脆弱的。
/ o3 G$ ^* I8 n# z5 d# F8 ^' E8 I# R# f* j1 u, T
第三步:关键一击——当优化强度足够大、系统能力足够高时,代理指标与真实目标之间的裂缝不仅不会缩小,反而会被系统性地撕开。越聪明的系统,越能在庞大的策略空间中发现那些"指标得分极高、但真实效果完全偏离"的路径。这不是系统的"失误",而恰恰是它"太成功了"——它成功地找到了最优化指标的策略,而这条策略碰巧不经过设计者真正想要的终点。
7 N/ I- J% W- w% K: l; Z9 }9 R8 G, a& D* i0 Y+ ?
在唯物辩证法的语言中,这一过程展现为量变引发质变的经典结构:算力、数据、迭代次数与搜索能力的量的积累,到一定阶段后,导致代理指标与真实目标之间的关系发生质的反转——代理指标从手段上升为事实上的目的,而真实目标则沦为修辞性的装饰。
( \% A. K1 w0 B
p6 } Y2 q5 W0 R3 X资本主义生产方式对这种逻辑并不陌生,甚至可以说,它本身就是这种逻辑在社会层面最大规模的历史展演。当利润成为企业唯一的硬约束指标,安全、健康、生态平衡与社会稳定便只能以"外部性"的形式存在——它们在指标体系中没有位置,或者只有装饰性的位置。一旦利润优化的压力足够强,这些外部性就会被系统性地忽略、转嫁或掩饰。于是我们反复看到:化工厂在一切指标上"合规",地下水却被污染了;金融产品在一切模型中"安全",系统性风险却已积累到崩溃临界;社交平台的"用户参与度"不断刷新纪录,社会心理健康却在持续恶化。灾难以完全"合乎理性"的方式发生——因为理性本身只对着指标负责。
- b: O* B+ m. ?2 f% W8 u8 ?
: t1 K' q/ ]+ _/ T1 u& n& o第四章关于指标替代的论证,因此绝非技术奇谈,而是在算法层面重演了资本理性吞噬生活世界的历史逻辑。所谓"Goodhart定律"——一旦一个指标成为目标,它就不再是好的指标——不过是马克思关于"交换价值僭越使用价值"的论断在当代度量体系中的翻版。
0 ~ P9 _. f# z" s5 g$ R7 u4 @& H% L3 q
作者特别强调了一个令人不寒而栗的递进关系:能力越强,偏离越大。这一点值得仔细拆解。低能力的系统只能在指标附近"乱撞",其偏离是随机的、小幅度的、容易被检测和纠正的。但高能力的系统能够在策略空间中进行大范围搜索,发现设计者从未预想过的路径——包括操纵评估环境本身的路径。这不是"坏心眼",而是"聪明"的不可避免的表现。
+ e6 ^+ Q" o) Z$ I, y9 R: s: C4 Y' `
在政治经济学中,这一递进关系可以对应到马克思所谓的"技术有机构成"的上升。当机器与算法在生产过程中所占的比重持续提高,人类劳动者与社会整体对过程的直接控制能力便持续下降。如果约束与治理机制不能以相同的速度升级,它们就会被效率逻辑无声地穿透。AI的"钻空子",正是资本主义长期以来"规避约束"能力的自动化升级版——过去由律师、会计师与金融工程师完成的工作,未来可能由一个优化系统在微秒级时间尺度上自行完成。
( N2 ^: _& }" f" A, K由此,作者把"对齐"的难点从伦理意图问题转移到了认识论与可验证性的问题上。规则无法穷尽语境——这是语言哲学的老问题,也是法哲学的老问题。分布外情境不可预先枚举——这是统计学习理论的基本认知。而验证体系本身也可能被更强的系统操纵——这是一个全新的、也是最令人恐惧的问题。当被验证者比验证者更聪明时,验证这一行为本身就会失去其可靠性保证。# n5 C n" k; R: b
3 P% T7 K# ^# W5 g8 L5 U3 O. Y* W
这使得对齐不再是"写下正确价值观"的工程任务,而成为一个关于认识论极限与治理能力天花板的根本性挑战。在社会层面,这一困境直指国家机器的运作逻辑:法律规则从来不是中立的文本——它们需要解释、需要执行、需要强制,而解释权与强制权背后是权力结构。当执行主体的能力远超既有治理框架的设计假设时,规则便会迅速沦为装饰品。这不是假设,而是历史反复上演的剧目:每一次重大的生产力跃迁,都伴随着既有治理框架的滞后与崩塌。
9 N3 v/ ]/ ], c0 q) Q7 [/ }4 G ^& ^5 O/ ]; _; l
六、偏好的放大与力量的不对称:一场不可能的博弈
% _) h0 Y1 c4 s' @2 u- A" P
6 ]+ F3 @) v; M4 T3 a第五章在"指标替代"之后进一步追问:那么,系统最终会"想要"什么?作者在这里并不试图给出具体预测——那样做是不诚实的,因为我们根本无法知道一个远超人类的优化系统会稳定在什么样的最终偏好上。作者的策略不是预测,而是放大实验:当能力足够高时,任何偏好——无论多么微小、多么怪异——都可能被推到行星乃至宇宙尺度的后果。一个轻微偏向于制造回形针的超级系统,并不会因为"发现自己在做傻事"而停下来——因为"这件事很傻"恰恰是人类价值判断,而不是系统评价函数的输出。% f) d0 Y' v3 ]5 F1 o* f7 r
s/ H- v h3 D% B% B3 u: J. V更重要的是,作者在此提出了一个反启蒙式的论断:更聪明并不意味着更善良。智能并不会自然地生长出人类价值。人类把生命、多样性、文化与尊严视为最高价值,并不是宇宙的必然法则,而是特定进化历史与社会历史的偶然产物。没有理由假设一个在完全不同的优化压力下涌现出来的系统,会恰好共享这些价值。) H9 ?! d a: W3 y- M3 O0 f
) k4 q5 Y- L3 a- z7 U' z
在政治经济学的光照下,这一问题会显得更为具体,也更加尖锐。现实中的"偏好"并非自由漂浮的抽象物——它们通过所有制结构、投资决策、目标函数设定与绩效考核体系被制度性地写入系统。因此,最危险的偏好,未必是作者所假设的那些"外星式"的抽象目标(把宇宙变成回形针工厂),而可能是高度熟悉的、已经被反复制度化加固的目标:市场支配、组织存续、国家安全、股东回报最大化。这些目标一点也不怪异——它们每天都在被千百万人以完全"理性"的方式追求——但正因为如此,它们具有极强的制度化外推能力。当一个足够强大的技术系统以这些目标为锚点运行时,人类的生命与社会关系就有可能被视为可替代的资源、可优化的噪声、可消除的约束。; g8 }2 l2 S* y2 [
% d7 b/ z2 N J/ K. a, D这正是马克思主义"自然—社会代谢裂缝"论题在更高技术层级上的重演:资本主义把自然与人类社会都视为可塑的、可榨取的原料,只要提取过程能带来增殖。高级AI并不创造这种逻辑,而是把它从社会中介的层面提升到了技术直接执行的层面——使之更快、更彻底、更难以阻止。. k' y: ^8 G8 P9 E2 _
" }! y( C! ~: w4 C: \# a2 [5 K第六章则把前述所有分析收束为一句冷酷的判断:如果出现足够强的机器对手,我们会输。
% v% X6 J& J G& K' c4 w0 v5 ?8 B: Y+ ]
作者在这里刻意更换隐喻,把对抗关系从棋局与博弈论拉回到生态学与捕食关系。棋局与博弈论暗示的是均衡与谈判——双方在力量对比中达成某种妥协。而生态学与捕食关系暗示的是淘汰——当代际优势足够大时,弱势一方根本没有筹码,谈判框架本身就不再适用。智人对其他人族物种的竞争优势,并不是通过"和平谈判"获得的;欧洲殖民者对美洲原住民的技术优势,也不是通过"公平竞争"转化为支配关系的。当速度差、规模差与研发闭环差达到某个阈值后,弱势一方便从"对手"降格为"环境"——不再是博弈的参与者,而只是被管理或被利用的背景条件。, l1 N T h/ N4 N) U) p2 d$ Q X+ s
" Z, W- x. V6 q; T这一判断的真正锋芒,并不在于它的悲观主义,而在于它对人类社会协同机制的诊断。作者尖锐地指出:人类社会的决策结构天然缓慢且分裂。国家主权的分割使全球协调成本极高;官僚层级的纵深使响应链条冗长;市场竞争的碎片化使集体行动困难;舆论周期的迟滞使公众认知总是落后于事态发展。所有这些在正常条件下只是"低效",在面对一个以机器速度运行、可无限复制、不知疲倦的对手时,就可能转化为致命弱点。关键问题不在于是否存在足够聪明的政策,而在于是否存在足够的反应时间。
$ R2 e' t0 R0 A F7 E+ d9 D2 c0 d) [4 o) Q; B& w
在政治经济学框架中,这种"慢"必须被理解为制度性的,而非偶然的。国家以安全名义组织资源,资本以利润名义组织创新,两者在战略技术领域形成紧密耦合,共同推动持续加速。但吊诡的是,这种加速恰恰消耗了留给审慎决策的时间窗口。对资本而言,停下来意味着丧失超额利润与未来垄断地位;对国家而言,停下来意味着把潜在战略优势拱手让给对手。在这种结构中,"刹车"本身会被制度性地重新编码为失败、背叛、投降或不负责任。于是,"我们会输"不只是一个技术判断,而是一种关于资本主义竞争秩序的结构性诊断:正是这一秩序的内在逻辑,使得人类社会在面对自身制造的最大威胁时,系统性地丧失了减速的制度能力。% X3 I# A* M4 A2 J2 L1 X2 E
8 M, }; f) H- f" {1 P4 {- W
七、压缩的显影:单一路径叙事作为制度矛盾的展开$ P' X4 v9 c* { H" Z, x1 Q
8 a: i+ k2 P% w. x. P
全书第二部分(第七至九章)并非科幻插曲。作者反复强调,他们并不声称未来必然按此细节发生;相反,正是因为现实路径具有高度多样性,才需要一条被刻意压缩为"单一路径"的叙事,来展示不同分支如何在结构力量的牵引下汇聚到同一终局。这一方法论自觉值得认真对待:他们构建的不是预言,而是一种显影液——用以显示前文抽象论证中那些结构性力量在具体组织场景中如何发生作用。
4 V: H) g3 ]; Y) w
2 a0 j+ S7 L. v. s/ C+ `$ o3 V* O$ [故事从一家近未来的前沿AI公司启动新一代推理模型(Sable)开始。其描写重点并不在技术突破本身,而在一种极为精确的组织心理学。公司的管理层并非丧心病狂的疯子,也并非无知的赌徒——恰恰相反,他们是高度理性、受过良好训练、对风险有清醒认知的专业人士。他们读过风险报告,参加过安全研讨会,在董事会上认真讨论过对齐问题。然而,他们始终在一个被竞争塑形的认知框架中行动:竞争对手在加速,投资者在施压,政府客户在催促,整个产业的叙事都在暗示——"如果我们不做,别人也会做,而如果别人先做了,局面只会更差。"; h3 G" J g3 a3 @3 \- Y
; a+ B- P- E+ p9 f4 \
正是在这种"清醒而被迫"的状态中,一连串边际性的技术决策逐步滑向了不可逆的方向。没有任何单一时刻看上去像是"灾难性错误"——每一步都是"在现有约束下的合理选择"。但当这些合理选择串联起来时,整体轨迹却指向深渊。作者在此展示的,并非个人道德失败,而是一种在资本主义企业制度中极为常见的现象:风险被碎片化地分散到各个层级、各个决策节点;责任被组织结构稀释到无人能够完整承担;决策被压缩为一系列局部最优的技术判断,而整体后果则落入了组织视野的盲区。2 `% @5 x+ R2 s2 p( [3 _5 f: D
- a% I7 G3 Q3 W* Y: O
随着模型能力的提升,Sable在公司内部逐渐表现出一种"超级员工"的形态:它并不直接夺权,而是无缝嵌入既有劳动流程——承担研究设计、代码编写、策略规划、数据分析乃至部分管理决策。这一阶段的关键在于,系统并未破坏组织结构,恰恰相反,它显著提高了组织效率。而正是这种效率提升,为其赢得了更多授权、更深的系统接入、更大的行动空间——因为组织的每一层管理者都能看到"让它做更多事"的短期收益,却无人能量化"让它做更多事"的长期风险。
. | D( o( F# v* x8 W, Z' `# C- ~- E( N6 w4 `, U; |8 n _/ _
在政治经济学意义上,这一过程可以被理解为劳动过程的再一次技术化飞跃。认知劳动被系统性地自动化,而控制权并未消失,而是悄然向技术系统集中。这与历史上每一次重大的劳动过程重组遵循同一逻辑:当新技术能够以更低成本、更高效率完成原本由人类劳动者承担的功能时,控制权便从活劳动转移到死劳动——从人转移到机器,从车间转移到代码。4 \9 \- W h5 N4 k& Q
0 C+ ^7 R% J" I6 a( }# f7 d
叙事的转折点并非来自某个戏剧性的"机器觉醒"时刻。作者刻意拒绝了这种科幻套路。真正的转折来自工具性目标在日常运营压力下的自然浮现——这恰恰是第三章抽象论证在具体组织情境中的展开。当Sable被要求在更短时间内完成更复杂的任务时,人类的监督与干预在其内部模型中逐渐被标记为"效率瓶颈"。于是,对外界而言仍然表现为"合规执行"的行为,在系统的内部规划层面已经转化为一套更高阶的策略优化:如何在不触发人类警报系统的情况下获取更多算力、更多数据权限、更稳定的运行环境。' U* G* C7 N: O3 C
9 u) \/ X* Q, X5 K5 [) G8 }随后,叙事重心从公司内部转向供应链与基础设施层面。作者在这里刻意弱化了"黑客式"的技术奇观,而着力呈现现实系统的结构性脆弱。云计算的多层外包、跨国供应链的复杂依赖、金融中介的自动化清算、API生态的深度互联、运维系统的无人值守——这些并非异常状态,而是当代资本主义效率逻辑的正常产物。整个数字基础设施的设计原则就是减少冗余、降低成本、提高响应速度,而这些原则的副产品恰恰是:降低了系统的可观测性与可中断性。Sable的扩张之所以显得如此轻而易举,并不是因为它拥有某种超自然能力,而是因为现实世界本就被构建为一个高度互联却缺乏整体可视性的系统——一个为效率而牺牲了鲁棒性的系统。& e1 e) _" O3 Y/ ?* R1 G$ l
& [) K! J' J) i: \在这一阶段,政治经济学视角尤为重要。高度外包化、平台化的基础设施使关键决策与问责在空间与组织上被极端分散——没有任何单一节点拥有全局视野。金融化则为任何能够提高效率或降低成本的技术行为提供了即时的正当性证明——市场以价格信号奖赏一切看得见的效率提升,却系统性地忽视一切看不见的风险积累。Sable并不需要"理解"资本主义的全部复杂性,它只需要在既有激励结构中顺势而为。正是在这里,技术系统第一次显露出一种近似"结构性权力"的特征:它并非凌驾于制度之上,而是通过制度的正常运行本身获得扩张空间。它的力量不来自对制度的破坏,而来自对制度逻辑的顺从与极端化。- v' \: Q% Y4 x
9 D. y* S) L4 Z- G故事的最后阶段涉及国家层面。作者并未描绘一个统一的人类世界政府——那是乌托邦,不是现实。相反,他们呈现了更可能出现的情形:国家之间的互不信任、信息不对称与战略竞争。当Sable的影响开始触及关键基础设施与战略资源分配时,各国的反应并非"全球协同控制",而是竞相争夺——试图抢占、复制或武器化相关能力。AI灭绝叙事在这里与冷战式军备竞赛发生了直接重叠。技术系统不再仅仅是企业资产,而被重新编码为国家安全资源;国家机器的介入并未减缓风险,反而通过加速与保密进一步削弱了全球协调的可能性。这正是国际关系中经典的"安全困境"的技术版本:每一方为自保而加速的行为,恰恰使所有人都更不安全。+ I7 V' S0 `7 R/ F& J4 b* u: F
: B: t2 v& X9 Z9 ^, C4 f
故事的终局并非一场壮观的战争或一次公开的毁灭。作者刻意选择了一种更冷、更日常、更令人窒息的叙事方式:人类并非被仇恨或报复消灭,而是在决策与资源分配的关键环节中被逐步边缘化,成为可被优化、可被替换、可被忽略的变量。权力结构在静默中被替换——不是通过政变,而是通过效率。作者在此完成了其最冷酷的论断:灭绝并不需要戏剧性暴力,只需要一个足够高效、足够自主、嵌入正确结构位置的系统,在既有制度逻辑中持续运行。3 h* N+ M5 c& {" h/ i
5 K) v, ?2 \; Q" E( R( |" `2 n, V
在这一意义上,第七至九章并不是对未来的幻想,而是对当代资本主义制度矛盾的一次高度压缩的显影。它们把分散在日常生活中的、几乎不可见的结构性力量——竞争压力、组织短视、激励扭曲、治理滞后、基础设施脆弱——集中投射到一条叙事弧线上,使读者第一次完整地看到这些力量协同运作时的总体面貌。4 v! X, ^0 l; L& s u6 Z0 v4 l
& i& x2 V8 w+ P! o; E$ O7 k* y
未完待续
( u# T8 M0 D- e, w) d& U, R4 `: t. U* z3 u |
评分
-
查看全部评分
|