计算智能体理论与 ASI 对齐系列前言
作者预告「计算智能体理论与 ASI 对齐」系列，主张 ASI 对人类构成严重生存风险，需以数学理论构建智能体以实现安全对齐。作者 2018 年提出学习论 AI 对齐研究纲领（LTA），2023 年概述对齐协议 Computational Superimitation，并创立 CORAL 实验室；今年在组合学习理论（compositional learning theory）上取得突破。
#大佬观点
AI对齐论坛推荐指数2828
Redwood Research推荐指数5858 Redwood Research：能力研究同样会推动安全-有用性帕累托前沿
Redwood Research 的 Alex Mallen 发文论证，仅以“提升安全且不显著损害有用性”定义安全研究并不成立，因为开发者最终要在帕累托前沿上选择具体一点，而能力研究通常把前沿推向“更有用但更不安全”的方向，诱导开发者牺牲安全换取有用性。