曾 毅
中国科学院自动化研究所研究员
联合国人工智能高级别咨询机构专家组专家
我们现在讲的人工智能的概念已经和国际上提出科学人工智能的概念完全不同。在1956年“达特茅斯会议”上，科学意义的人工智能被定义为：学习人类智能的方方面面，如果能够精确描述，并且还能够用计算机模拟的话，这样的系统可以称为人工智能。这里有很多关键因素。
第一，人们首次提出该定义时，是希望人工智能不仅能够模仿人类行为，更能够模仿人类智能的方方面面。所以说，最开始提出科学意义上的人工智能时是面向通用人工智能的。
第二，科学意义上的人工智能不仅需要模仿人类的行为，还要模仿结构和机制。而现在，99.9%的科学家做的不是科学意义上的人工智能，而是产业意义上的人工智能。我们现代意义上的产业人工智能是构建一个信息处理的工具去驱动不同底层的技术，进而赋能社会和生态的发展。所以，产业意义上的人工智能如何发展、如何治理，已经关乎社会的发展。
人工智能如何赋能社会？我们不应只是用人工智能去赋能那些能够获得收益的事，而是要把它作为一个社会的基础设施和生态去推动，通过推动智能与赋能性的技术，从而推进全球可持续发展。
在分析了全球可持续发展的十七个目标以后，我们发现有两件事情大家做得比较多：一是用人工智能赋能健康；二是用人工智能赋能教育。
为什么是这两件事？因为健康和教育对人类的福祉意义重大，而且这两个领域也都能获得收益，所以科学界、技术界对其它领域的关注就会比较少。但是，其它十五个目标应该由谁承担？学术界、政府机构责无旁贷，包括联合国，因为站在长期发展的角度上讲，这十七个目标都是能够帮助全人类进步的。
接下来讲一下治理问题。人工智能的治理要从发展开始。因为治理人工智能的目的就是要保证人工智能的稳健发展，阻止其野蛮生长。整个治理体系要从数据、算法、平台和应用四个维度全面设计，并贯穿设计、研发、使用、部署、管理等人工智能全生命周期，真正实现人工智能的稳健发展。
任何一个国家的人工智能治理体系构建都无法独立于全世界，都要跟全世界建立一个接口。中国发展人工智能体系的每一步都不是闭门造车，都是在思考未来如何跟全球的科学链、产业链构建协同创新的模式。当然，这里有很多利益相关方，除了一般的生产者、制造者、用户以外，还涉及到教育机构、政府、国际组织和媒体。所以公众的每个行为环节都承担起人工智能治理体系中不同的责任。
中国的人工智能治理体系，特别是在法律层面上与欧盟有些区别。欧盟的人工智能法案建立的是上位的、整体的人工智能法，不针对垂直领域。而中国是从垂直领域着手，构建起算法推荐以及深度合成、生成式人工智能的治理体系。2023年，中国开始人工智能整体的进一步立法工作，相信在2024年和2025年会有很大进展。所以，进行真正的、科学的人工智能治理，不仅要在区域内、国家内进行不同层面的治理，更要关注如何与全球形成互相操作的接口。目前，联合国是唯一值得信赖的人工智能全球治理机构。所以，可以基于联合国的框架来推进全球人工智能治理，将区域性的努力协同在一起，又不剥夺任何一个区域性组织应该发挥的作用，形成一个全球人工智能的治理网络。
随着产业人工智能和科学人工智能的发展，人工智能会变得相对安全，因为我们对安全的考虑越来越谨慎。但我担心的问题是，当应用人工智能时，很多人放弃了人类应当承担的责任，这可能会给人类造成灾难性的影响。有些人说人工智能的发展不应该走老的开源模式，因为人工智能的风险还很大，一旦开源的话，风险是没有办法收回的。而其实，开源模式的好处就是可以利用全球的力量避免可能的、潜在的风险，但这并不代表开源模式对人工智能没有新的挑战。现在已经出现一些组织利用人工智能的风险去获取暴利，比如这些组织发现了一个人工智能的风险，只有他们有解决的方案，但是他们却把漏洞公布出去，借此依靠着手里的解决方案牟取暴利。
我国工信部发布过一个规范，就是当有人发布漏洞的时候，需要同步公布解决方案。所以，在未来人工智能的发展中，我们也要采用开源模式，才能推进全球的发展。
最后一个问题，我认为风险分层治理在生成式人工智能的时代是不成立的。因为生成式人工智能，特别是现在Agent技术的组合，会使得原有的人工智能系统认知功能得到极大的升级。原本设计的是一个感知系统，但由于背后支撑的是大模型，调用部分认知功能的话是可以涌现的。原本控制在风险等级或者应用方面的等级，由于背后基础都换成了人工智能大模型，涌现出来的认知能力是可以使得在行为上展示出来更深刻的认知能力。所以基于应用、基于风险，应用领域中人工智能的风险治理未来将遇到更多的挑战，我们还需要更加深刻地思考才能真正找到答案。
我们不应该去混淆人与人工智能之间的界限，在使用大模型的时候，大家看到大模型经常说“我认为怎么样”、“我以为怎么样”、“我推荐怎么样”。所以，很多公众在不理解人工智能的时候都倾向于相信它，因为觉得它教育方式非常拟人化，可以承担道德责任。但是，人工智能系统往往没有办法承担责任，所以公众被误导了。真正负责任的说法应该是“基于互联网统计的信息”，“具有统计显著性的是什么”。混淆人与人工智能之间的界限只会使人工智能遇到更多的问题。
基于现在人工智能发展的阶段，我们不应当让人工智能无处不在，而是要更负责任地、稳健地发展人工智能，并且适度使用人工智能，才会使得人工智能的技术可持续，对人类和生态有益的人工智能才能实现。我们希望未来的人工智能能够像君子、像觉者、像真人，但背后不只是需要人工智能强化学习人类的价值观，应该让人工智能在一定意义上获得认知和情感的共情，获得道德的约束，这样才能真正进行道德的决策，成为一个有道德的人工智能。
现在描述的是面向未来五十年到一百年的人类伙伴和社会准成员，但大家要知道，如果我们现在不思考这些长远的问题，挑战真正到来的时候，人工智能反思为什么制定规则的是人而不是“我”的时候，我们根本没有准备。面对这样的挑战，我们应该现在行动起来。
本文选自《国家创新发展战略》（季刊）2024年第1期
内容选自中国科学院自动化研究所研究员、联合国人工智能高级别咨询机构专家组专家曾毅在2023年“读懂中国”国际会议——“人工智能与人类未来”平行研讨会上发表的演讲。