复旦智库：2026年超级智能时代的风险转变与伦理应对报告

在人们的印象中，伦理学以揭示自由规律且构建原则规范为主要任务，但是实现这一任务的过程中却暴漏出伦理学的先天孱弱。相比法律和制度，伦理原则缺乏刚性约束力。因此以构建原则规范的 AI 伦理也表现出伦理学先天孱弱特性。随着 AI 技术本身迭代加快以及超级智能时代的临近，AI 伦理逐渐出现了 3 个变化：制度化、法律化和工程化来克服这种孱弱特征。超级智能逐渐从技术想象转变为现实问题，AI 伦理法律化、制度化和工程化并不能应付超级智能的挑战。相比一般人工智能，超级智能表现出一种明显的差异：人工智能开始作为新的主体重构生产关系和生产力；超级能动性成为一个关键概念影响着人类和人工智能的关系构建。以人工智能风险领域为例，相关的风险理论建立在对人工智能体风险层次的划分之上，比如欧盟的 AI 法案将人工智能风险划分为四类：最低风险、有限风险、高风险和不可接受的风险。但是高风险和不可接受风险的 AI 系统技术标准并未按