美国国会下属的经济与安全审查委员会已将“推动建立并资助一项堪比曼哈顿计划的通用人工智能研发项目”列为其对国会的核心建议之一，明确显示出对AI竞赛战略意义的高度重视。与此同时，美国能源部在近几个月中多次公开将人工智能的突破比作“下一场曼哈顿计划”，并表示愿意动用其全部政策与资源工具，为这一国家级技术竞赛提供支持。在其一条近期发布的官方推文中，更是直言不讳地写道：
“AI曼哈顿计划”这一概念，正在人工智能的未来讨论中成为热门议题，尤其是在国家安全与全球战略力量竞争的背景下。这一提法直接借鉴了历史上的曼哈顿计划——二战期间一项高度机密、由政府主导的原子弹研发项目。然而，若将这一模型套用于AI，特别是通用人工智能（AGI），则引发了巨大争议。支持者强调快速进展的必要性，而批评者则警告其可能带来的深远风险，并主张采取替代性方案。
“AI曼哈顿计划”的核心设想，是动员一场全国范围的科技竞赛，其规模与强度堪比当年的曼哈顿计划。通常具备三个特征：政府发起、整合私营部门AI资源（如算力），以及总投入占据GDP一定比例——与曼哈顿计划或阿波罗登月计划相当。
历史上的洛斯阿拉莫斯国家实验室，在原曼哈顿计划中发挥了核心作用，如今也再次站上AI前沿。该实验室新设立的国家安全AI办公室，旨在整合各领域任务，联合政府、产业和学术界，共同推进AI安全与前沿研究。从上世纪50年代教会“Maniac”计算机下棋开始，洛斯阿拉莫斯便深耕AI应用，当前在材料研究、生物信息学、疫苗开发等几乎所有技术领域都已融合AI，并拥有AI驱动的“Venado超级计算机”。该实验室致力于让美国在AI竞赛中保持科学优势。
这一项目背后的推动力，源于对AI“重塑国家安全、情报系统、基础设施乃至全球力量格局”的深刻理解。其增长速度惊人——过去五年取得的进展超过此前四十年之和。2024年11月，美国国会下属的中美经济与安全审查委员会就建议设立类似曼哈顿计划的AGI国家项目。
在技术和财政方面，“AI 曼哈顿计划”可能带来史无前例的算力飞跃。据Epoch AI报告测算，若有足够财政与政策支持，一种估算方式是考察当前GPU的性能价格比。例如，H100 GPU在FP16精度下的性能价格比约为2.2e10 FLOP/s/$。若在接下来三年中每年投入2440亿美元，则一次持续100天的训练运行可达约1.2e29 FLOP。这大约是GPT-4（2.1e25 FLOP）规模的1万倍。
若参照阿波罗计划的投入标准（年均2440亿美元，占GDP的0.8%），连续三年可采购约2700万块H100等效GPU，支持为期100天的AGI模型训练，总算力约为3e29 FLOP。这一规模的能耗约为7.4GW，相当于纽约市全年平均用电量，也接近世界最大核电站。尽管能源基础设施通常建设周期较长，若动用《国防生产法》（DPA）则可加速推进。田纳西州奥克里奇国家实验室已建设铀浓缩设施，为AI数据中心提供核能，反映了对中国在能源与AI基础设施竞争压力的直接回应。
然而，支持“AI 曼哈顿计划”的观点面临重大质疑。许多AI伦理学者和安全倡导者认为，这种军工主导、集中化、保密式的做法，可能诱发灾难性后果，尤其在AGI层面。
人工通用智能（AGI）的追求正站在一个关键的十字路口，它既承诺将带来颠覆性进步，同时也带来了前所未有的风险。在全球范围内，关于AGI的讨论充满了真实的担忧与根本性的误解，这些观点正在影响国家战略、企业研发路径乃至整个社会对未来的规划。理解这些风险与误解的本质，对于今天作出的任何决策都至关重要，因为这些决策将深远地影响人类的未来。
首先，AGI带来的风险远不止技术挑战，它可能引发社会动荡，甚至构成人类生存的威胁。OpenAI、Anthropic、Google DeepMind等机构的CEO均公开表示，AGI的发展有可能导致人类灭绝。这一观点不再只是遥远的假设，而被视为在当前技术轨迹下“极有可能”发生的情形。如果一个智能体的认知与控制力远超人类，而我们又无法对其意图进行可靠校准，它可能会接管核设施、金融系统等关键基础设施，而人类却无力阻止。如AI领域的“图灵奖”得主Geoff Hinton所言：“一旦AI比我们聪明，它们就会接管一切。”
其最大的不确定性，在于人类是否有能力保持对其的控制，以及是否有方法将AGI的目标与人类价值对齐。这一挑战不只是工程问题，更是深刻的道德与哲学难题。目前并不存在可预测或可靠的方法来确保AGI的行为符合人类利益，我们甚至尚未对“对齐”这一概念有公认的定义。更糟的是，在AGI竞赛日益激烈的今天，为了追求速度与领先地位，几乎没有激励机制去解决这些复杂且未解的问题。一旦在缺乏安全保障的前提下部署AGI，人类将处于被动与危险之中。
这一竞赛本身也极具破坏性。当前的AGI竞速已被一些学者称为“自杀性竞赛”，各参与方并不是为了合作或安全，而是陷入“负和博弈”，争先恐后地抢占第一。这种格局极易促成AI军事化，激化大国间的紧张关系，并可能因误判引发全球冲突。例如中国正在快速推进核电建设计划，2020至2035年间将建成150座核电站，其年度发电扩张量约为美国的五倍。这不仅为其AI算力提供强大支撑，也进一步加剧了全球AI能力竞赛的紧迫感。
同时，AGI的发展也可能带来权力过度集中与社会结构的剧烈变化。如果以类似“曼哈顿计划”的方式进行秘密研发，最终可能只让极少数科技公司与政府部门掌控巨大的权力。这可能催生一种“科技封建主义”，使AI掌控经济主导地位，而缺乏透明度与公共问责机制。此外，AGI的发展可能使人类劳动的价值迅速接近于零，推动全民基本收入（UBI）等政策浮出水面，但也可能带来“僵尸资本主义”等全新经济困局。
公众信任的崩塌同样是不可忽视的后果。如果其的研发完全在军事、封闭的环境下进行，公众将自然联想到核武器的历史：尽管核能致死率极低，但公众因核战争与辐射恐惧而强烈反对核能，使得其商业化进程严重滞后。AGI也可能重蹈这一覆辙，一旦公众对其失去信任，即使技术本身安全，也难以获得广泛接受。
除了风险之外，关于AGI的误解同样危险。例如将AGI视为一种战略性“奇迹武器”，可以带来国家压倒性优势，这种观点其实源自对曼哈顿计划的类比。但AGI本质上更像是“通用技术”而非“单一用途武器”，其广泛用途横跨医疗、教育、科研、国防等各个领域。美国一些政策制定者对AGI寄予“获得权力”的幻想，而非务实地推进其安全应用，这种“幻想战争”心态已被部分学者批评为“希望毒瘤”。
另一个重大误区是认为AGI是“可控”的，或认为“对齐”问题已经得到解决。这是一种危险的误导，甚至被某些AI伦理专家称为“科学欺诈”。目前AI的进展主要基于模型扩展与黑箱方法，而非对智能本质的科学理解。科幻作品中如阿西莫夫机器人三定律那样的“简单规则”在现实中根本无法治理超级智能，因为世界过于复杂，任何预设规则都可能被误解或规避。现实中的“对齐”很多时候只是“公关洗白”或“安全洗白”，比如让聊天机器人表现得更“友善”，但这远不足以解决AGI真正带来的深层风险。
一些机构主张以“曼哈顿计划”的方式推进AGI，然而包括RAND在内的研究机构指出这种模式是“战略错误”。曼哈顿计划是一次高度保密、军方主导、目标单一的研发项目，它的思维模式并不适用于AGI。AGI的广泛影响需要更开放、更民主的公共治理模式，更像阿波罗登月计划那样，通过国家主导、民间协作、全社会参与的方式实现跨学科突破。否则，只会加剧公众不信任，并激发全球对抗局势，特别是在与中国的竞争中，美国并不具备算力与能源上的压倒性优势。
未来生命研究所（FLI）明确指出，AGI竞赛本质上是一场“自杀性竞赛”，曼哈顿计划式的做法建立在对AGI本质的误解之上。他们强调，目前全球顶尖AI专家普遍认为我们无法预测、无法控制超级智能，也无法确保其价值观与人类一致。FLI呼吁应停止以军事控制为目标的AGI竞赛，转而建设“颠覆性工具型AI”，用于强化工业、科研、教育、医疗与国防等具体领域。
RAND智库则指出，以曼哈顿计划为模型来构建AGI是战略错误。他们建议应学习阿波罗计划的路径——这是一项全民参与、公开透明、强调社会福祉的工程。在阿波罗计划中，美国不仅实现了登月，更推动了全民STEM教育、技术扩散与全球科学声望。
基于这一理念，RAND提出了“阿波罗式AGI发展方案”，强调以下关键目标：
推动AI教育普及，让中小企业、各行业广泛接触并运用AI；
聚焦民用价值，如个性化教育、医疗服务、政府治理；
投资多样化研究，避免对某一架构（如Transformer）过度依赖；
强化AI安全测试与监管，防止关键模型被盗或误用；
建设国家级数据基础设施；
扩大清洁能源，特别是核能供给；
推动国际AI外交，避免中美军备竞赛式发展。
在更进一步的AI安全讨论中，主张“AI 曼哈顿计划”应转为“AI安全曼哈顿计划”的呼声日渐高涨。许多AI研究者指出，目前的AI进展主要依赖“规模堆叠”，缺乏对“智能本质”的真正理解。当前对齐（alignment）问题仍未解决，即便拥有先进的技术，也难以确保AI行为符合人类价值。
真正的“对齐”不仅仅是让AI变得“好聊”，而是确保其行为在现实世界中始终符合人类长期利益。这不仅是工程问题，更是哲学、伦理与制度设计的多重挑战。
为了安全推进AGI，应加强如下工作：
法规优先限制AGI原型与全自动研发系统；
建立“紧急关机”机制（如总统红键），并定期演练；
推动国际条约，在全球GDP和人口门槛满足时生效；
动员基层公民教育与政策倡导，推动AI立法。
在治理方面，“对齐”不仅是技术难题，更是哲学命题。目前AI仍处于“前科学”阶段，我们尚未清楚为何它们有效，只是观察到它们有效。要制定治理规则，首先必须解决“可理解性”问题，即我们能否对智能、代理、意识等核心概念进行明确定义？如果不能，那么所谓“监管”只能依靠模糊直觉，这在法律上是非常危险的。然而，治理并非完全无望，我们已成功制定过欺诈、诽谤等复杂问题的法律框架。关键在于，从现在开始监管AI的“前兆特征”：大算力、自动研发能力、无关闭开关的系统等。
解决之道在于建立“可纠正性”（corrigibility）、“目标对齐”（intent alignment）、“强制控制”以及“权力约束”四重机制。当前社交平台治理的失败已经证明，即便是人类主导的科技企业，我们都难以施加有效监管，更何况面对一个远超人类的AGI？监管的“古德哈特定律”效应（即衡量指标一旦变成目标就会失效）也提醒我们，监管需要不断迭代与演进。
最终，要想在AGI领域赢得真正的“胜利”，需要超越眼前的技术竞赛，建立基于“伦理人本主义”的社会共识。这包括：提升全民AI素养，推动全球范围内的治理实验、国家级AI紧急预案、建立关键AI集群“关闭机制”、签署多边协议、强调司法透明，并广泛吸纳各行业、各阶层的声音。更重要的是，要唤醒公众参与——研究显示，在全球范围内，公众对AI带来“生存风险”的担忧正在快速增长。这种广泛的焦虑并非“泡沫”，而是对我们未来的真切关切。
AGI的未来不是不可控的神话，也不是简单的工具革命，而是一次关于“人类如何面对自身极限”的时代大考。我们仍然有机会选择不同的路径—— 是走向封闭、高危、少数掌权的科技独裁？还是走向开放、安全、公正、全民共享的AI未来？答案掌握在我们手中。
)
