论文部分内容阅读
如果我们成功地创造了可证明有益的人工智能系统，那么我们将消除超级智能机器失控的风险。人类可以继续发展，并获得几乎无法想象的好处，这些好处来自运用更强大的智能来推进我们文明的能力。
也许未来并非如此。“邦德式”的恶棍可能会绕过我们的保护措施，释放出无法控制的超级智能，而人类对此毫无防御能力。如果幸存下来，那么我们可能会发现，随着我们越来越多地将知识和技能托付给机器，我们会逐渐变得衰弱。
随着人工智能变得越来越强大，我们必须以某种方式加以管理和引导。
人工智能（AI）有重塑世界的能力，而对重塑的过程，我们必须以某种方式加以管理和引导。许多人都在成立委员会、理事会或国际小组。世界经济论坛已经分别确定了近300项为人工智能制定的道德原则。人工智能与核技术的情况截然不同。第二次世界大战后，美国掌握了全部核技术。1953年，美国总统德怀特·艾森豪威尔向联合国提议成立一个国际机构来监管核技术。1957年，国际原子能机构开始运转，它是全球唯一的监督核能安全与有益发展的机构。
相比之下，很多国家手里都掌握着人工智能。可以肯定的是，很多国家都资助了大量人工智能研究，但几乎所有的研究都发生在安全的国家实验室之外。大学里的人工智能研究人员是一个广泛的、合作的国际社会的一部分，通过共同的兴趣、会议、合作协议和专业协会联系在一起，如AAAI（美国人工智能协会）和IEEE（电气和电子工程师协会，其中包括成千上万名人工智能研究人员和从业者）。也许现在大部分人工智能研发投资都发生在大大小小的公司里。截至2019年，这些公司有美国的谷歌（包括DeepMind）、脸书、亚马逊、微软和IBM，以及中国的腾讯、百度，在某种程度上还有阿里巴巴，它们都是全球最大的公司。除了腾讯和阿里巴巴，其他所有公司都是“人工智能合作伙伴组织”的成员。这是一个行业联盟，其宗旨之一是承诺在人工智能安全方面进行合作。尽管绝大多数人几乎不具备人工智能方面的专业知识，但参与者至少有一种表面上的意愿，即愿意考虑人类的利益。
通过所有这些活动，对人工智能的治理是否取得了实际进展？或许令人惊讶的是，答案是肯定的，对人工智能的治理至少具备发展的潜力。世界各地的许多政府都在为自己配备咨询机构，以帮助其制定法规，或许最突出的例子是欧盟的人工智能高级专家组。针对用户隐私、数据交换和避免种族偏见等问题的协议、规则和标准开始出现。政府和企业正在努力为无人驾驶汽车制定规则，这些规则将不可避免地包含跨境元素。有一个共识是，如果人工智能系统是可信的，那么人工智能决策必须是可以解释的，这一共识已经在欧盟的GDPR条例（《通用数据保护条例》）中得到部分实施。在美国加利福尼亚州，
一项新法律禁止人工智能系统在某些情况下模仿人类。最后这两项——可解释和模仿问题，无疑与人工智能的安全和控制问题有关。
目前，在考虑维持对人工智能系统的控制问题上，我们尚无可实施的建议可以向政府或其他组织提出。“人工智能系统必须安全可控”这样的规定没有任何影响力，因为其中的术语还没有确切的含义，也因为没有广为人知的工程方法来确保安全性和可控性。但是，让我们乐观一点，想象一下，几年之后，通过数学分析和以实用的应用程序的形式出现的实践，“可证明有益的人工智能”的有效性将被建立起来。例如，我们可能拥有个人数字助理，我们可以信任它们使用我们的信用卡，筛选我们的电话和电子邮件，管理我们的财务，因为它们已经适应了我们的个人偏好，知道什么时候可以继续，什么时候最好寻求指导。我们的无人驾驶汽车可能已经学会了与彼此以及与人类司机互动，我们的家用机器人甚至可以与最倔强的蹒跚学步的幼儿顺畅地交流。运气好的话，没有猫会被烤熟当晚餐，也没有鲸肉会被提供给绿党成员享用。
在这一点上，指定软件设计模板或许是可行的，各种应用程序必须符合这些模板才能销售或连接到互联网，就像应用程序必须通过多项软件测试才能在苹果的App Store商店或谷歌的Google Play商店销售一样。
对于一位经验丰富的硅谷观察家来说，这听起来可能有些天真。硅谷强烈反对任何形式的监管。尽管制药公司在向公众发布新药之前必须通过临床试验，以证明其药品的安全性和（有益的）药效，这已成为惯例，但软件行业的运作则遵循一套不同的规则——没有规则。一家软件公司里“一群喝红牛饮料的家伙”可以在没有任何第三方监督的情况下发布或升级影响数十亿人的产品。
然而不可避免的是，科技行业不得不承认其产品至关重要。如果它们很重要，那么产品不会产生有害影响也很重要。这意味着将会出现一些规则来管理科技产品与人们的互动，例如禁止那些持续操纵偏好或导致上瘾行为的设计。我毫不怀疑，从一个不受监管的世界过渡到一个受监管的世界将是一个痛苦的过程。我们希望科技行业不需要切尔诺贝利事故那样（或更糟糕）的灾难来克服行业的阻力。
对软件行业而言，监管可能是痛苦的，但那些在自己的地下堡垒里密谋统治世界的邪恶博士令人无法容忍。毫无疑問，犯罪分子、恐怖分子和流氓国家将有动机绕过智能机器设计上的任何限制，让智能机器能够用来控制武器，或是策划和实施犯罪活动。尤其是那些满怀邪恶目标并可以使用武器的计划。
这确实造成了非常严重的治安问题。我们已经在与恶意软件和网络犯罪的斗争中失败了。（最近的一份报告估计，其受害者超过20亿人，每年造成的损失约6000亿美元。）以高度智能程序的形式存在的恶意软件将更加难以战胜。
良好的开端是成功地、协调一致地开展打击网络犯罪的国际运动，包括扩展《布达佩斯网络犯罪公约》所涵盖的内容。这将形成一个组织模板，用于防止未来出现失控的人工智能程序。
E.M.福斯特的两部最著名的小说《霍华德庄园》和《印度之行》展现了20世纪早期的英国社会及其阶级制度。1909年，他写了一本著名的科幻小说《大机器停止》。这个故事因其先见之明而引起了关注，书中描述了（我们现在的）互联网、视频会议、iPad（平板电脑）、大规模开放在线课程（MOOC）普遍的应用，以及回避面对面接触。书名中的大机器是一个包罗万象的智能基础设施，可以满足所有人的需求。人类变得越来越依赖它，但对它的工作原理了解得越来越少。工程知识让位于仪式化的咒语，这些咒语最终无法阻止机器运转逐渐恶化的局面。主角库诺看到了正在发生的事情，却无力阻止：
你难道不明白，我们就要死了，在我们这里，唯一真正活着的是机器？我们创造了机器，让它按照我们的意旨办事，可是我们现在没法让它实现我们的意旨了。它夺走了我们的空间感和触觉，它模糊了一切人际关系，它使我们身体瘫痪、意志瘫痪，我们只是作为流经它动脉血管的血细胞而存在，如果它没有我们也能运转，它会让我们死的。唉，我没有补救办法。
地球上曾经生活过超过1000亿人。他们（我们）已经花费了大约1万亿年的时间学习和教学，才使我们的文明得以延续。到目前为止，文明延续的唯一可能就是在新一代的头脑中进行再创造。（纸作为一种传播方式是不错的，但记录在纸上的知识在传到下一个人的头脑里之前，纸什么也做不了。）现在这种情况正在改变：我们越来越有可能把我们的知识放到机器里，让机器自己来运行我们的文明。
任何一个当过父母的人都熟悉这个过程。一旦孩子走出了无助的阶段，育儿就需要在“为孩子包办每件事”和“完全让孩子自己做主”之间保持一种不断发展的平衡。在某个阶段，孩子开始明白，父母完全有能力给他系鞋带，却选择不系。这就是人类的未来吗？
（摘自中信出版集团《AI新生》 作者：[美]斯图尔特·罗素 译者：张羿）
也许未来并非如此。“邦德式”的恶棍可能会绕过我们的保护措施，释放出无法控制的超级智能，而人类对此毫无防御能力。如果幸存下来，那么我们可能会发现，随着我们越来越多地将知识和技能托付给机器，我们会逐渐变得衰弱。
随着人工智能变得越来越强大，我们必须以某种方式加以管理和引导。
人工智能（AI）有重塑世界的能力，而对重塑的过程，我们必须以某种方式加以管理和引导。许多人都在成立委员会、理事会或国际小组。世界经济论坛已经分别确定了近300项为人工智能制定的道德原则。人工智能与核技术的情况截然不同。第二次世界大战后，美国掌握了全部核技术。1953年，美国总统德怀特·艾森豪威尔向联合国提议成立一个国际机构来监管核技术。1957年，国际原子能机构开始运转，它是全球唯一的监督核能安全与有益发展的机构。
相比之下，很多国家手里都掌握着人工智能。可以肯定的是，很多国家都资助了大量人工智能研究，但几乎所有的研究都发生在安全的国家实验室之外。大学里的人工智能研究人员是一个广泛的、合作的国际社会的一部分，通过共同的兴趣、会议、合作协议和专业协会联系在一起，如AAAI（美国人工智能协会）和IEEE（电气和电子工程师协会，其中包括成千上万名人工智能研究人员和从业者）。也许现在大部分人工智能研发投资都发生在大大小小的公司里。截至2019年，这些公司有美国的谷歌（包括DeepMind）、脸书、亚马逊、微软和IBM，以及中国的腾讯、百度，在某种程度上还有阿里巴巴，它们都是全球最大的公司。除了腾讯和阿里巴巴，其他所有公司都是“人工智能合作伙伴组织”的成员。这是一个行业联盟，其宗旨之一是承诺在人工智能安全方面进行合作。尽管绝大多数人几乎不具备人工智能方面的专业知识，但参与者至少有一种表面上的意愿，即愿意考虑人类的利益。
通过所有这些活动，对人工智能的治理是否取得了实际进展？或许令人惊讶的是，答案是肯定的，对人工智能的治理至少具备发展的潜力。世界各地的许多政府都在为自己配备咨询机构，以帮助其制定法规，或许最突出的例子是欧盟的人工智能高级专家组。针对用户隐私、数据交换和避免种族偏见等问题的协议、规则和标准开始出现。政府和企业正在努力为无人驾驶汽车制定规则，这些规则将不可避免地包含跨境元素。有一个共识是，如果人工智能系统是可信的，那么人工智能决策必须是可以解释的，这一共识已经在欧盟的GDPR条例（《通用数据保护条例》）中得到部分实施。在美国加利福尼亚州，
一项新法律禁止人工智能系统在某些情况下模仿人类。最后这两项——可解释和模仿问题，无疑与人工智能的安全和控制问题有关。
目前，在考虑维持对人工智能系统的控制问题上，我们尚无可实施的建议可以向政府或其他组织提出。“人工智能系统必须安全可控”这样的规定没有任何影响力，因为其中的术语还没有确切的含义，也因为没有广为人知的工程方法来确保安全性和可控性。但是，让我们乐观一点，想象一下，几年之后，通过数学分析和以实用的应用程序的形式出现的实践，“可证明有益的人工智能”的有效性将被建立起来。例如，我们可能拥有个人数字助理，我们可以信任它们使用我们的信用卡，筛选我们的电话和电子邮件，管理我们的财务，因为它们已经适应了我们的个人偏好，知道什么时候可以继续，什么时候最好寻求指导。我们的无人驾驶汽车可能已经学会了与彼此以及与人类司机互动，我们的家用机器人甚至可以与最倔强的蹒跚学步的幼儿顺畅地交流。运气好的话，没有猫会被烤熟当晚餐，也没有鲸肉会被提供给绿党成员享用。
在这一点上，指定软件设计模板或许是可行的，各种应用程序必须符合这些模板才能销售或连接到互联网，就像应用程序必须通过多项软件测试才能在苹果的App Store商店或谷歌的Google Play商店销售一样。
对于一位经验丰富的硅谷观察家来说，这听起来可能有些天真。硅谷强烈反对任何形式的监管。尽管制药公司在向公众发布新药之前必须通过临床试验，以证明其药品的安全性和（有益的）药效，这已成为惯例，但软件行业的运作则遵循一套不同的规则——没有规则。一家软件公司里“一群喝红牛饮料的家伙”可以在没有任何第三方监督的情况下发布或升级影响数十亿人的产品。
然而不可避免的是，科技行业不得不承认其产品至关重要。如果它们很重要，那么产品不会产生有害影响也很重要。这意味着将会出现一些规则来管理科技产品与人们的互动，例如禁止那些持续操纵偏好或导致上瘾行为的设计。我毫不怀疑，从一个不受监管的世界过渡到一个受监管的世界将是一个痛苦的过程。我们希望科技行业不需要切尔诺贝利事故那样（或更糟糕）的灾难来克服行业的阻力。
对软件行业而言，监管可能是痛苦的，但那些在自己的地下堡垒里密谋统治世界的邪恶博士令人无法容忍。毫无疑問，犯罪分子、恐怖分子和流氓国家将有动机绕过智能机器设计上的任何限制，让智能机器能够用来控制武器，或是策划和实施犯罪活动。尤其是那些满怀邪恶目标并可以使用武器的计划。
这确实造成了非常严重的治安问题。我们已经在与恶意软件和网络犯罪的斗争中失败了。（最近的一份报告估计，其受害者超过20亿人，每年造成的损失约6000亿美元。）以高度智能程序的形式存在的恶意软件将更加难以战胜。
良好的开端是成功地、协调一致地开展打击网络犯罪的国际运动，包括扩展《布达佩斯网络犯罪公约》所涵盖的内容。这将形成一个组织模板，用于防止未来出现失控的人工智能程序。
E.M.福斯特的两部最著名的小说《霍华德庄园》和《印度之行》展现了20世纪早期的英国社会及其阶级制度。1909年，他写了一本著名的科幻小说《大机器停止》。这个故事因其先见之明而引起了关注，书中描述了（我们现在的）互联网、视频会议、iPad（平板电脑）、大规模开放在线课程（MOOC）普遍的应用，以及回避面对面接触。书名中的大机器是一个包罗万象的智能基础设施，可以满足所有人的需求。人类变得越来越依赖它，但对它的工作原理了解得越来越少。工程知识让位于仪式化的咒语，这些咒语最终无法阻止机器运转逐渐恶化的局面。主角库诺看到了正在发生的事情，却无力阻止：
你难道不明白，我们就要死了，在我们这里，唯一真正活着的是机器？我们创造了机器，让它按照我们的意旨办事，可是我们现在没法让它实现我们的意旨了。它夺走了我们的空间感和触觉，它模糊了一切人际关系，它使我们身体瘫痪、意志瘫痪，我们只是作为流经它动脉血管的血细胞而存在，如果它没有我们也能运转，它会让我们死的。唉，我没有补救办法。
地球上曾经生活过超过1000亿人。他们（我们）已经花费了大约1万亿年的时间学习和教学，才使我们的文明得以延续。到目前为止，文明延续的唯一可能就是在新一代的头脑中进行再创造。（纸作为一种传播方式是不错的，但记录在纸上的知识在传到下一个人的头脑里之前，纸什么也做不了。）现在这种情况正在改变：我们越来越有可能把我们的知识放到机器里，让机器自己来运行我们的文明。
任何一个当过父母的人都熟悉这个过程。一旦孩子走出了无助的阶段，育儿就需要在“为孩子包办每件事”和“完全让孩子自己做主”之间保持一种不断发展的平衡。在某个阶段，孩子开始明白，父母完全有能力给他系鞋带，却选择不系。这就是人类的未来吗？
（摘自中信出版集团《AI新生》 作者：[美]斯图尔特·罗素 译者：张羿）