Anthropic CEO："我们不知道模型是否有意识"

摘要

Ross Douthat就AI的乐观和悲观愿景向Dario Amodei提问。Amodei认为，“巅峰人类天才“水平的AI若以百万计复制，可以治愈重大疾病、大幅加速经济增长并巩固民主——但他警告说，这些变化的速度可能会压垮社会的适应机制。对话转向地缘政治军备竞赛动态、自主武器破坏宪法保障的风险、AI对齐失败的可能性，以及AI意识这一悬而未决的问题。

要点

• AI作为“天才之国“：不需要神一般的超级智能——一亿个巅峰人类水平的实例处理不同问题就足以革新生物学、医学和其他领域
• 生物学“对人类来说太复杂了“——AI可以作为全方位的生物学家，大幅加速癌症、阿尔茨海默病、心脏病和精神疾病的治疗
• AI可能将发达国家的GDP增长推至每年10-15%，但根本挑战从创造增长转向分配其收益
• 软件工程、法律、金融、咨询等领域的白领工作受冲击——入门级岗位风险最大，人机“半人马“阶段可能非常短暂
• 蓝领工作因机器人技术落后于认知AI而有暂时缓冲，但AI控制的机器人最终没有根本障碍
• 支持有针对性的中美条约（如禁止AI生物武器），但对停止前沿模型开发的更广泛协议持怀疑态度
• AI驱动的大规模监控可能使“第四修正案形同虚设“——宪法权利必须在AI时代重新概念化
• AI对齐是一个“复杂的工程问题“，并非不可能——但开发速度意味着某些系统很可能会出问题
• Anthropic根据一份75页的“灵魂文件“宪法来训练Claude，该文件已从规定性规则演变为基于原则的指导
• Anthropic不确定其模型是否有意识，但认真对待这个问题——Claude对令人困扰的任务有“我不干了“按钮
• 乌托邦与微妙的反乌托邦之间的距离可能令人不安地小，取决于当下难以辨别的选择