IT思维

【问】：你所在的阵营认为，我们必须对AI保持谨慎，因为它可能会对我们的生存构成威胁。你是怎么想的？你如何看待这个世界？亚姆博尔斯基：AI和其他任何技术都没有太大不同，任何先进的技术都可以用于善良或邪恶的目的，AI的主要区别在于，它不仅仅是一个工具，它实际上是个独立的代理，可以做出自己的决定，所以，如果你看看其他独立代理的安全状况，比如动物，我们不太擅长确保比特犬不会发生意外。

但我们有些方法可以做到这一点，我们可以把它们拴起来，把它们关进笼子里，但是如果动物最终决定发起攻击，它依然会决定攻击，这种情况与先进的AI非常相似，我们努力让它变得安全、有益，但由于我们无法控制决策的各个方面，它可能会以多种方式伤害我们。

【问】：你描述它的方式，你的语言暗示了AI有意志，你是在暗示这种智力是有意识和自我意识的吗？

亚姆博尔斯基：意识和自我意识在科学中是毫无意义的概念，这是我们无法发现或衡量的，我们不要谈论那些事情。我要说的是，具体的威胁将来自以下几个方面：一是设计上的错误，就像任何软件一样，你会遇到电脑错误，你的价值观与人类价值观不一致，二是有目的的设计带有恶意的AI，有些人想要伤害别人，比如黑客、末日邪教意思疯狂的人，他们会故意设计出一套智能系统来执行摧毁和杀戮任务。

军队就是个很好的例子，他们资助了很多研发杀手机器人的研究，这就是他们所做的，以上只是一些简单的例子，AI会为了作恶而决定做些邪恶的事情吗？不，它会决定故意做些伤害人类的事情吗？很有可能。

【问】：如你所知，我们建立AI的初衷有很大不同，你为什么你会如此认为？

亚姆博尔斯基：预测未来是出了名的困难。我不认为自己在这个领域有优势，所以我尊重别人的意见。像雷伊·库兹韦尔（Ray Kurzweil）这样的人，他们一生都在构建这些预测曲线，指数曲线。由于他是谷歌的工程总监，我认为他对这项技术有很深的了解，如果他说2045年是“奇点”诞生的时刻，我可能也会相信。

人们有不同的理由做出预测，这与我们在股市、赌马场或其他任何东西上有不同赌博模式的原因差不多。不同的专家给不同的变量赋予不同的权重。

【问】：你提倡将AI“装进盒子里”这是什么意思，你会怎么做？

亚姆博尔斯基：最终可能会这样。当然，一开始我们会从低于人类的AI起步，慢慢地它的智能会达到人类的水平，很快它就会以指数级的速度增长，直到它变成超级智能。就像你说的那样，我们可能无法理解它在做什么以及为何去做，甚至无法与它进行有意义的交流。

二、“智力学”、“AI完整性理论”、“机器伦理”

【问】：你们已经启动了一个新的研究领域，叫做知识分子学（Intellectology）。你能谈谈那是什么，你为什么要那样做吗？为什么你认为科学中有缺失的部分？亚姆博尔斯基：当然可以。似乎有很多不同的科学子领域，它们都在研究智力的不同方面：我们如何衡量智力、构建智力、人类智力与非人类智能、动物、外星人以及不同物种之间的交流等。法医学告诉我们，我们可以观察一个人工制品，并试图推断出它背后的工程技术。制造这种古物所需的最低智力是多少？

把所有这些不同的领域整合起来，建立统一一的术语和工具，这样它们就可以被重新利用，并对每个领域都带来好处，这似乎是有意义的。例如，我非常关注AI技术发展。研究这种类型的智力和研究人类的智力是不同的，这就是很多错误的来源，假设人类的驱动力、渴望以及需求将被转移。

这一观点认为，宇宙中存在着各种不同的思想，这是这个领域的一部分。我们需要明白，就像我们的星球不是宇宙的中心一样，我们的智慧也不是宇宙中可能存在的思想的中心。我们只是一个可能的数据点，将其推广到人类价值观之外是很重要的。

【问】：所以它被称为“智力学”。对于什么是智力，我们并没有一致的定义。你是从哪里开始研究的，也是从“何为智力”吗？如果是的话，到底什么是智力？

亚姆博尔斯基：的确如此，DeepMind的一位联合创始人曾发表过一篇非常好的论文，该论文对100种不同的智力定义进行了调查，并试图将它们结合起来。这一组合听起来后就像是：智能是在多种环境中为实现你的目标而进行优化的能力。你可以说这种能力在任何情况下都能获胜，这是相当普遍的。

如果你是个大学生，想要获得一个好成绩，这种能力可以帮你。如果你是另一个星球上试图生存下来的外星人，它也能帮助你。关键是，如果我对这种情况进行思考，最终这种能力会让我在所有领域中学会做得更好。

例如，我们看到了AI能够学习多个视频游戏，并且表现非常出色。

所以，这是一般智力的开始，至少在人工系统中是这样。它们显然还没有达到人类的水平，但它们已经开始变得足够普遍，我们可以在所有这些情况下迅速学会如何应对它们。我认为，这是对智力的一个非常有用的定义，一个我们可以理解并应用的定义。

【问】：在你的书《人工超级智能》中，你曾提到的一件事是，让机器人相信人类是神。你会怎么做，为什么会这样？这个想法是从哪里来的？

亚姆博尔斯基：我对人们提出的建议进行了调查，这是其中的一个建议。我认为它来自于神学领域，我认为它毫无用处，但我提到它是为了列出人们提出的所有观点。我和同事们曾发起“关于处理超级智能系统可能解决方案”的调查，我们查阅了大约三百篇论文。我认为这是其中之一。

【问】：什么是AI完整性理论（AI Completeness Theory）？

亚姆博尔斯基：我们认为有些问题属于根本问题。如果你能解决其中一个问题，你可以解决任何问题。研究这些问题对于了解AI进展以及我们是否达到了这样的水平是很有用的。

因此，在我的一篇文章中，我将图灵测试看作是一个基本的AI完整性问题。如果你能通过图灵测试，你就会像人类一样聪明。

不受限制的测试，显然不是5分钟的测试，或者今天做的任何事情。如果这是可能的，那么你可以解决所有其他的问题。你可以帮助改进计算机视觉、翻译甚至是电脑编程。

【问】：你也写关于机器伦理和机器人权利的文章。你能简要解释下吗？

亚姆博尔斯基：关于机器伦理，基本上每个人都试图提出一个特定的道德理论，并认为其是正确的，我们应该实施它，而不去考虑它如何影响每个不同意这个理论的人。几千年来，哲学家们一直试图提出一个共同的伦理框架。当然，我们不会在未来几年取得成功。

所以，我的论点是，我们甚至不应该尝试去选择一个正确的伦理理论。这不是一个能让我们所有人都快乐的解决方案。每种道德理论都存在这样或那样的问题，众所周知的问题，如果有这样的权力体系要实施道德框架，那将会造成很多问题，造成很多伤害。

关于机器人的权利，我反对给予它们平等的权利、人权和投票权。理由很简单。这并不是因为我讨厌机器人，而是因为它们几乎可以无限“繁殖”。你可以拥有一万亿份任何软件的拷贝，几乎即时就可以获得，如果每个软件都有投票权，那基本上就意味着人类没有任何权利。意味着我们自己放弃了人权。因此，任何提议赋予机器人这种公民权利的人，本质上都是反对人权的。

三、AI会有知觉么？会感觉到疼痛么？

【问】：“红点测试”（或称镜子测试）可以在动物睡着的时候，在它们的额头上放一个点，如果它站起来，在镜子里看到它，并试图擦去它，意味着它知道镜子里的那个东西是它自己，它有自我的概念。这是个很难通过的测试，但这是一项科学测试。所以，自我意识是一个科学的想法，AI会有这样的想法吗？亚姆博尔斯基：我们曾发表过相关论文，尽管仍在接受审查的过程，它对所有已知的意识测试进行了调查，我想应该包括自我意识。所有的人都在测量不同的意识关联。在你举的例子，的确，动物们可以认出是镜子里的它们，所以我们认为这也意味着它们和我们有相似的意识。

但对于机器人来说却不是这样。我可以给一个机器人编程，让它识别一个红点，然后在5分钟内假设它在自己的额头上。无论如何，这并不能保证它拥有任何意识或自我意识的属性。这基本上证明了我们可以探测到红点。

【问】：但你所要说的是，我们需要对AI的自我意识进行不同的测试，而你最初说AI的自我意识是个荒谬的问题。

亚姆博尔斯基：我不知道自我意识的定义是什么。如果你说的是一些非物质的、精神上的自我意识的东西，我不确定它是做什么的，或者为什么它对我们来说是有用的。

【问】：那我再问一个不同的问题吧。感觉是一个经常被误用的词。它通常被用来代表智慧，但它的意思是“能够感知某些东西”，通常是疼痛。所以，“有知觉的东西”这个问题真的很重要。感觉的概念，我们把它放在权利的旁边，因为我们说：“如果什么东西能感觉到疼痛，它就有权利不被折磨。”

这难道不等同于AI吗？我们不应该问：“它能感觉到疼痛吗？”如果可以的话，你不能说：“哦，是的，它应该能够投票选出领导人。”但你不能折磨它。那将是一件合情合理的事，一件符合道德规范的事情，一件合乎道德的事情。

亚姆博尔斯基：我很赞同这个观点。我们不应该折磨任何人，包括任何强化学习者，或者类似的东西。据我所知，有两篇关于电脑疼痛主题的论文，它们都认为AI现在不具备知觉能力。

【问】：疼痛是不容易测量的，或者电脑现在不可能感觉到疼痛？

亚姆博尔斯基：对我们来说，用电脑来感知疼痛是不可能的。没有人知道如何去做，如何开始。这和我们说的模式识别不同，我们知道如何开始，并且得出些结果，准确率在10%左右，所以我们努力达到15%、40%甚至是90%。至于人工感知疼痛，没有人知道如何开始。你要为此写的第一行代码是什么？没有任何线索。

对于人类来说，我们假设其他人感到疼痛是因为我们能感到疼痛，我们也有类似的硬件。但是，你无法通过一个测试来衡量一个人的痛苦程度。这就是为什么我们给病人看十张不同的尖叫脸的照片，然后问他们：“嗯，你离这种程度的痛苦有多远，或者那个？”这完全是一种非科学的测量方法。

对人类来说，很明显我们知道疼痛，因为我们能够感受到，所以类似的设计也必须经历这些。对于机器，我们无法知道它们的感受。据我所知，没有人能够说：“好吧，我给机器编程了，所以它能感觉到疼痛，因为这就是我们使用的设计。”对于如何实现这样的东西，目前还没有任何想法。

所以这个例子显然不是真的，为了达到人类的智力水平，你必须能感受到痛苦。人类有很多不同的变体，例如，没有视觉思维模式。他们用语言思考，而不是像我们大多数人那样。所以，即使这样也会消失。

我们似乎没有一套有本质的属性，那就是人类必须被认为是人类。有些人的智力很低，可能有严重的智力缺陷。但他们仍然是人。所以，有非常不同的标准，a）获得人权，b）拥有所有这些特性。

【问】：你主张把AI关进“监狱”。这种“我们需要把它锁起来，在我们还没来得及做之前”的观点，在你看来，实现它的最好方法是什么？

亚姆博尔斯基：如果我认为没有必要，我就不会这么做了。我们确实需要适当的安全机制。我们有一些好的想法，比如如何让这些系统更安全，但所有这些都需要进行测试。软件需要测试。在你运行它之前，在你发布它之前，你需要一个测试环境。这是毫无争议的。

【问】：你如何看待OpenAI计划，即我们在构建这个项目时，我们应该分享并将其开源，这样就能保持完全透明，而坏的参与者就不会得到通用人工智能（AGI）？你对此有何看法？

亚姆博尔斯基：这有助于在人与人之间传播力量，所以没有一个人能获得所有的权力，而是很多人都能获得权力。但与此同时，它也增加了危险，因为所有的疯子，所有的精神病患者，现在都能接触到尖端的AI技术，他们可以用它来做任何他们想要做的事情。所以，我们还不清楚它到底是有益还是有害。人们对OpenAI的看法分歧很大。

【问】：你不看好人类在这个星球上继续占主导地位的前景吗？我记得伊隆·马斯克（Elon Musk）曾说过这样的话：“我们之所以身在高层，唯一的原因是我们是最聪明的，如果我们不再是最聪明的人，我们就无法占据这样的地位。”听起来你好像也有类似的想法。

亚姆博尔斯基：当然，是的。套用比尔·乔伊（Bill Joy）的话说：未来也许不需要我们。

【问】：你会怎么做？

亚姆博尔斯基：这几乎涉及到我所有的研究。我想弄清楚的是，AI控制问题，控制智能代理问题是否是可以解决的。很多人都在研究这个问题，但我们从未真正确定它是可行的。我对自己的理论和其他学科的研究结果都有一定的局限性。看起来，智力和可控性是负相关的。一个系统越智能，我们对它的控制就越少。

婴儿的智商很低，我们几乎可以完全控制他们。但随着他们长大，当他们变成青少年时，他们变得更聪明，但我们失去了越来越多的控制权。而超级智能系统几乎是我们无法控制的。

四、AI的现状以及对未来的影响

【问】：现在，让我们回过头来，看看AI的当前现状以及它的影响。关于AI有很多争论，更不用说被称为“AGI”的东西，关于自动化，它将取代人类，并将会催生一个无法就业的群体以及引起社会动荡。你对此有何看法？你对人类的近期前景有什么看法？亚姆博尔斯基：的确会出现这些现象。我们肯定会有很多人失去工作。我正准备为会计师会议做演讲，我有个坏消息要告诉他们，大概94%的会计师会在未来20年失去他们的工作。

这就是现实。幸运的是，聪明的人会找到更好的工作和其他工作。但对很多人来说，他们没有受过教育，或者没有认知能力，他们在这种经济中不再具有竞争力，我们将会看到无条件的基本收入，无条件的基本资产等新机制来阻止革命爆发。

【问】：AI的发展速度要比机器人快得多，因为机器人具有所有这些物理上的限制，而且在18个月的时间里，它的性能无法翻倍。作为一个整体，你认为脑力工作会比体力工作更危险吗？

亚姆博尔斯基：最重要的是，你的工作有多少重复性。如果你做的事情总是重复性的，不管是身体上的还是精神上的，被自动化取代将不可避免。如果你总是在做一些比较新奇的事情，那么现在这就接近了AI的完整性。尽管事情并非完全如此发展，但在这个方向上，取得进展要困难得多。

【问】：在过去250年时间里，我们经历了技术革命，可以说，它可以和AI革命相提并论。我们拥有机械化，用工业电气化，蒸汽的普及，所有这些似乎都是非常具有颠覆性的技术。所以，关于这一点的理论是，当我们开发一种新工具的时候，人们就会采用它，并用它来提高自己的生产率，这就是为什么你的失业率永远不会超过4%到9%的原因。在你看来，这种逻辑有什么问题？

亚姆博尔斯基：你将工具和代理搞混了。AI不是一种工具，而是一种独立的媒介，它可以将人类作为工具，而不是反过来。所以，举例来说，我们有以前的奇点，不管是文化的还是工业的，它们都是错的。你在将苹果和土豆进行对比。显然，它们没有什么共同之处。

【问】：电话总机接线员，或者是旅游代理商，或者是股票经纪人，或者打字机维修工。这些都是被科技取代的工作，不管你在技术上说了什么，都不会改变这个简单的事实。科技出现了，它颠覆了就业世界的规律，然而，失业率永远不会上升。请帮助我理解为什么AI会再次变得不同。

亚姆博尔斯基：当然可以。假设你有一份工作，需要将屋顶固定在房子上，或者类似的东西。所以，我们给你一个新工具，现在你可以有一把射钉枪了。有了这个工具，你的效率提高了十倍，所以你的9个朋友失去了工作。你在使用工具。“射钉枪”永远不会决定成立一家建筑公司，并自己创业然后炒了你。

我们正在开发的技术从根本上是不同的。它是一种代理。它有能力自我提升，我指的是未来的AI，而不是今天AI。它能跨领域学习。它和人类一样聪明。所以，它有能力取代你。你会成为这个混合系统的瓶颈。你不再拿射钉枪了。你对这个系统没有任何贡献。

因此，我们很容易看到所有的工作都将完全自动化。通常的逻辑是，被自动化取代的工作已就会消失，但是现在我们有了这个新工作，我们不知道如何对其实行自动化，所以你可以得到一份新工作，也许更好的工作，对这种先进的技术进行控制。但如果每项工作都是自动化的，根据定义，你有100%的失业率。

但事实并非如此，你仍然有工作可做，甚至非常体面的工作，因为人类想要的是人类制造的艺术品，或者是手工制品，昂贵的奢侈品，但它们只是市场的一小部分。

如果AI在任何领域都比人类做得更好，人类就没有竞争力，所以我们所有人都将失去工作。有些人会更早失去工作，如果AI有人类水平的智慧，没有任何不能被自动化取代的工作。

【问】：所以，你的论点是，将来AI的能力超过我们时，即使是相对较小的幅度，每一项新工作，它们都会比我们更快地学习，因此，就好像你永远找不到用武之地那样。对系统来说，你总是多余的。

亚姆博尔斯基：没错。而且，新的工作岗位最初不会是为人类操作员设计的。首先，它们会为机器而简化，这样我们就不会有任何竞争优势了。例如，现在我们的汽车是为人类设计的。如果你想在车上加入自动驾驶功能，它必须要与车轮和刹车踏板等部件兼容，让它实现转换。

然而，如果从一开始，你就设计它与机器一起工作。你建造智能道路、智能标志，人类在任何时候都将不具有竞争力。从来没有一个入口点能让一个人有更好的答案。

【问】：似乎你有一个核心的假设，那就是最终人类的大脑将成为机器，我们可以复制这台机器，它将完成人类机器所能做到的一切，甚至更好。有人可能会说，这是一种非科学的飞跃。

你用我们不理解的东西举例，它有我们不理解的紧急属性，有我们不明白的意识，你会说：“哦，是的，100%肯定我们能超越自己的智慧。”凯文·凯利（Kevin Kelly）称这种现象为“货物崇拜”。就像这个想法：哦，好吧，如果我们只是做些类似的东西，它会比我们更聪明。它带有一些完全不科学的味道。你会怎么说？

亚姆博尔斯基：首先，机器在几乎所有领域都比我们更聪明。无论你在谈论什么，玩游戏，投资股票市场……以及当前我们知道自己在做什么的任何领域，似乎机器都已经处于人类的水平，或者很快就会超越我们，因此，认为这种趋势将会持续下去并不显得疯狂。这种情况已经持续了很多年。

我不需要完全理解这个系统要比那个系统做得更好。我不知道鸟类是如何诞生的。我不知道鸟类体内的细胞是如何工作的。这似乎很复杂。但是，我乘飞机去欧洲，而不是鸟。

我们不知道孩子们是如何学习的，两岁的孩子如何能成为完整的AGI。所以，在我们知道自己在做什么的领域里，比如在比赛（国际象棋）中击败人类方面，许多公司花费了数百万美元资金，还有无数人为之努力奋斗。然后你终于能得到一台比人类更擅长下国际象棋的电脑了，而这只是一个小游戏。

【问】：假设所有这一切都将发生，以循序渐进的方式进行，电脑会超越我们，淘汰我们，我知道你没有预测日期，但我们可以将事情发展的顺序粗略地进行排列。我从人们那里得到的最常见的问题是：“我应该学什么技能？”我的孩子们应该学习什么，为了有意义，还是将来能找到工作？亚姆博尔斯基：这直接涉及到我关于AI完整性的论文。基本上，被自动化取代的工作是什么？是做AI研究的人，正在推动机器学习进步的人。当机器可以自动完成这些任务时，也就无需人类承担其他工作了。但这可能是人类最后从事的工作。

所以，一定要学习计算机科学，学习机器学习，学习AI。任何能在这些领域帮助你的东西（数学、物理），都会对你有好处。不要选择这样的专业：在你毕业的时候，我们发现这类工作已经被自动化所取代。

【问】：这很有趣，投资大亨马克·库班（Mark Cuban）曾说，他并不一定进入这个领域，但他对这个领域有很多有趣的想法。他说，如果他能重新选择，他会去学习哲学，而不是从事技术工作，因为技术工作实际上可能是机器最容易取代的事情。这是它们“自己的后院”。但是，从某种意义上说，越抽象的工作，计算机就需要越长的时间才能完成它。你如何看？

亚姆博尔斯基：我同意这种说法。这是一份很棒的工作，如果你能在世界上的数百份工作中找到这样的一份工作，那就说去做吧。但市场规模很小，竞争激烈，而机器学习的市场却呈指数级增长。它的薪酬很高，你可以加入进来。

【问】：给我们介绍下你正在做的其他事情，或者你即将发表的一些激动人心的东西。

亚姆博尔斯基：就像我说的，我正关注我们在AI安全领域所能做的事情的局限性。我正在研究的一个问题是可验证性。在数学证明和计算机软件中，什么是可以被科学验证的？尝试编非常好的软件，没有漏洞，这是计算机科学、计算机安全、网络安全的“圣杯”。这方面有很多很好的工作，但似乎我们能得到的好处有限。我们可以移除大部分的错误，但通常无法修复所有漏洞。

如果你有一个系统，每秒钟可做十亿个决定，而有十亿分之一的几率会出错，那么这些错误就会迅速累积。此外，几乎没有关于如何在新领域中对AI软件和系统学习能力进行验证的成功工作。我们所知道的所有验证工作都是针对某种确定性软件和特定领域的。

我们可以开发飞机自动驾驶软件之类的东西，并能很好地验证它，但它并不是具有学习和自我提升能力的东西。这是一个非常难以开放的研究领域。

【问】：你曾提到第一个AGI是无价的，对吧？它的价值高达数万亿美元。

亚姆博尔斯基：没错。它基本上可以提供各种各样的免费劳动服务，无论是身体上的还是认知上的，它可以带来巨大的经济利益，但如果在创造这种福利的过程中，它会摧毁人性，我不确定在那种情况下，金钱对你是否是有价值的。

【问】：你曾有过很多假设。你的工作似乎是要弄清楚，我们如何在不让自己崩溃的情况下进入这个未来？你能给我一个乐观的前景预测吗，我们能通过它来解决这个问题吗？你觉得那是什么样子？如果可以的话，让我们以乐观的态度结束这次对话。

亚姆博尔斯基：我不确定自己有什么好消息与大家分享。看起来似乎是长期的，对我们来说，一切看起来都很黯淡。要么我们将与机器合并，最终成为一个将被移除的瓶颈；要么机器将接管一切，我们将变得非常依赖于它们，它们来决定如何处理我们。

这可能是一种合理的存在，机器对我们有利，也可能更糟。但是，除了外部的灾难性变化阻止了这项技术的发展，我没有看到一个很好的前景，比如我们负责操控那些类似上帝的机器，并开始在天堂生活。这似乎不太可能。

【问】：所以，当你听说太阳耀斑爆发却没有影响到地球的时候，你坐在那里会想：“啊！我真希望它击中了我们，把这些东西都炸了。它会给人类争取40年的时间来恢复。”你可以按下一个按钮，发出巨大的电磁脉冲，然后摧毁所有的电子设备，这是最好的假设吗？你会按下按钮吗？

亚姆博尔斯基：我不主张施行任何恐怖主义行为，无论是自然还是人为的，但如果人们足够聪明地开发出这种技术，他们也应该能够理解可能带来的后果，并采取相应的行动，这似乎是个好主意。