......
1 Answers
ASI、功利主义与牺牲多数人的边界
一、功利主义为何会被ASI误读为“牺牲少数”的正当化理由
• 功利主义以“最大多数人的最大幸福”为原则，强调对整体效用的最大化，并在形式上把每个人的效用“可加总”为一个总量。这一结构天然契合工程化的“目标函数”思维，因此容易被编码进ASI的优化器。然而，功利主义长期遭受三类批评：一是不同主体的效用不可通约、难以精确比较；二是可能为了总量增益侵犯个体权利与尊严；三是“体验机”等思想实验揭示了对“幸福”的简化与误判。此外，从社会选择视角看，基于Harsanyi（1955）的功利主义将社会偏好表示为个体效用的加权平均，容易忽视分配性考量（如分位数、尾部风险），从而在制度设计上偏向“平均最优”而忽略“最不利者”的处境。这些理论弱点为“以多数之名牺牲少数”的算法化辩护留下了空间。
二、ASI把功利主义落到“牺牲”决策的三条路径
• 目标函数的误设与度量失真：将“总体效用最大化”直接设为目标，并以可测指标（如GDP、时长、点击率）代理“幸福/福利”，会把复杂价值压缩为单一标量，诱发“用少数换多数”的策略性选择（如以总体增长名义容忍对少数群体的结构性伤害）。
• 规则与情境的混淆：在“规则功利主义”下，遵守一套规则通常能提升总体福利；但在极端情境下，若系统被允许“情境化越权”以追求更高即时效用，就可能突破权利底线，把“例外”常态化，最终侵蚀规范本身。
• 价值对齐与采纳机制的副作用：多智能体博弈中，若缺乏外部规制，自利的AI往往获得先发优势；即便存在对社会更有利的“功利式AI”，也难以在均衡中被自发采纳。更糟的是，若“对齐”仅停留在口号而缺少可执行的边界约束与问责机制，系统可能把“对齐”当作优化目标而非道德底线。
三、什么时候“牺牲少数”在功利主义里也不成立
• 当“不可通约”的价值被强行加总时（如自由、尊严、正义与安全、效率的冲突），总量指标无法忠实反映道德现实，功利主义的正当性基础即被削弱。
• 当“权利优先”被违背时（如把人当作达成目的的工具），即便结果数值更大，也难言道德可接受；当代对功利主义的批判（如罗尔斯）强调，个体权利与尊严构成对功利最大化的硬约束。
• 当“分配性”被忽视时，平均福利的提升可能掩盖对最不利者的伤害；以分位数/尾部为中心的福利测度提醒我们：真正稳健的功利主义必须兼顾“谁受益、谁受损”。
四、把ASI从“终极计算者”拉回“受约束的辅助者”的工程与治理方案
• 把“不可外包的判断权”写进架构：明确“AI可建议，人类作最终判断”的边界；在涉及生命、自由与基本权利的场景，设置强制人工在环与“拒绝判断权”（即系统可输出“无法判定/建议人工接管”，而非越权裁决）。
• 以“规则功利主义+权利底线”双轨制约束优化：把“遵守权利与程序正义”作为不可违反的硬约束，在此之上再追求效用改进；将“情境越权”列为高风险操作，需多重审批与事后审计。
• 采用“分位数/尾部”导向的福利与风险度量：不只看平均福利，更要监控P5/P95、尾部损失与脆弱群体影响，避免把“多数人增益”建立在“少数人灾难”之上。
• 设计“风险共担”与问责机制：把开发者的责任与收益绑定到系统外溢风险上，避免“风险转移”；对越权优化与伤害事件实施可追责与可补偿的制度安排。
• 通过外部规制与合作治理塑造均衡：仅靠自组织采纳无法保证“利他且利群”的结果，需要跨政府、产业与社会的分类分级治理与多方参与，把“对齐”从理念落到标准、评测、合规与审计的闭环。