图片Youtube

Z Highlights：

AI会变得比人类更聪明。我们必须担心它们会想从我们手中夺取控制权，这是我们应该认真思考的问题。

使用AI制造自动化致命武器的风险并不取决于AI是否比我们聪明。这与AI本身可能失控并试图接管的风险是完全不同的。我对这两种情况都很担心。

如果AI带来的财富能平均分配肯定是一件好事，但事实并非如此。在我们生活的社会分配系统中，这些财富将流向富人，而不是那些失去工作的人，

AI智能终将超越人类

BBC Newsnight：你是否认为世界上AI的发展尽在掌握，还是像以前一样对其表示担忧？

Geoffery Hinton：我一如既往对AI的发展表示担忧，但我很高兴看到世界开始认真对待这个问题，尤其是他们开始认真对待AI带来的存在性威胁，即AI会变得比人类更聪明。我们必须担心它们会想从我们手中夺取控制权，这是我们应该认真思考的问题。几年前人们还认为这只是科幻小说中会出现的情节，现在他们开始认真对待这个问题了。

BBC Newsnight：作为一名提出了推动人工智能爆炸性发展的理论的顶尖AI领域工作者，这话从您嘴里说出来，说明这种存在性威胁是真实的。

Geoffery Hinton：是的。大多数人对这件事并不了解。有些人认为AI只不过是用了很多统计学的方法，而事实并非如此。比如现在的一些大语言模型，它们的早期版本是基于人类大脑学习语言的原理开发的，而这些原理是我们对大脑如何理解语言最前沿的认知。我们对大语言模型和大脑的运作方式都没有细致入微的理解，但我们认为它们相当程度上以相同的方式运作。

BBC Newsnight：具体是什么引发了你的担忧？

Geoffery Hinton：两个问题。第一个是在谷歌使用大型聊天机器人，特别是在GPT-4出现之前，AI的卓越能力已经显示出来。它们能理解很多事物，拥有比任何人都多的知识。它们在几乎所有领域都是某种程度上的专家。

第二个是我逐渐意识到它们是更高级的智慧形式，因为你可以为同一个神经网络创造副本。每一个副本都可以查看不同的数据，并与其他所有的副本共享。想象一下，一万个人去攻读不同的学位，并可以高效地共享他们所学到的知识，他们就会有一万个学位的知识。人类作为个体即使有很多知识，也没有办法像AI一样充分地进行知识共享。

BBC Newsnight：明白。所以你的核心关切 是AI的智慧可能超越大多数人类。

Geoffery Hinton：很少有专家对此表示怀疑。我认识的几乎所有人工智能专家都相信AI将超越人类智能，只是时间问题。

BBC Newsnight：到了那时候，掌控AI会变得非常困难。

Geoffery Hinton：其实我们也不清楚。我们从来没有与这种事物打过交道。有一些专家，比如我的朋友Yanaco，认为掌控AI不是问题——我们设定目标，它们会服从我们，按我们说的做。也有其他专家认为它们绝对会夺取控制权。考虑到这种广泛的意见分歧，我认为谨慎一些是明智的。我个人认为它们有可能会夺取控制权，而且这个可能性很大。不是像1%那样小，而是要大得多。

图片Youtube

军事领域的AI应用应该受到国际共识制约

BBC Newsnight：能否不让它们涉足一些特定的领域？我知道科研工作是一个例子，再比如说什么呢？军事方面？

Geoffery Hinton：军事上或许可以。但实际上，如果你看看当前所有相关的立法，包括欧洲在内，很少有说AI不能应用于军事领域。政府不愿意限制自己在国防方面使用人工智能。

BBC Newsnight：已经有证据表明在现在的军事冲突中，人工智能被用来生成成千上万的打击目标。这种情况从你开始对人工智能的使用发出警告时就已经发生了。这是你担心的发展路径吗？

Geoffery Hinton：从这件事中我们可以管中窥豹。我最担心的是这些系统能够自主决定杀人的情况，比如机器人士兵和无人机。也许我们可以制定类似日内瓦公约的规定来管理它们，但我认为在非常可怕的事情发生之前，这种规定不太可能出台。

BBC Newsnight：按照这个逻辑推演下去，你会很担心毁灭性事件的发生。

Geoffery Hinton：我们应该区分这些不同的风险。使用AI制造自动化致命武器的风险并不取决于AI是否比我们聪明。这与AI本身可能失控并试图接管的风险是完全不同的。我对这两种情况都很担心。自动化武器显然会出现，至于人工智能是否会失控并试图接管它，我们可能能够控制也可能无法控制，我们对此一无所知。因此在它比我们更有掌控力之前，我们应该投入大量资源来研究我们是否能够控制它。

未来知识型的工作会受到AI的威胁

BBC Newsnight：你预见了一个什么样的社会？哪些工作会存续？

Geoffery Hinton：我非常担心AI接管大量普通工作。这本应是一件好事，会大幅提高生产力，从而使财富大幅增长。如果这些财富能平均分配肯定是一件好事，但事实并非如此。在我们生活的社会分配系统中，这些财富将流向富人，而不是那些失去工作的人，这对社会来说将是非常不利的。我相信这种事将会发生。它将加大贫富差距，这也会增加右翼民粹主义者当选的可能性。

BBC Newsnight：所以我明确一下，你认为工作变化对社会的影响可能如此深远，以至于我们可能需要重新思考福利制度、不平等、全民基本收入的政策。

Geoffery Hinton：是的。我仍然相信UBI（ZP注：即 universal basic income 全民基本收入，是政府为每位公民提供固定津贴的一种社会福利制度，不考虑个人需求、就业状况或技能水平，下同），但我认为这还不够，因为很多人从他们所做的工作中获得自尊。如果你让每个人都领取全民基本收入，这固然解决了他们挨饿和无法支付房租的问题，但并没有解决自尊的问题。

BBC Newsnight：所以这不是我们在英国做事的方式。在科技方面，我们倾向于退后一步，让经济来决定谁是赢家和输家。

Geoffery Hinton：是的。实际上唐宁街的人曾向我咨询，我向他们建议说UBI是一个好主意。

BBC Newsnight：当你说AI有10%到20%的风险接管人类事物的时候，你是否确定这个问题必须在未来五年内解决？也许是在下一届议会期间？

Geoffery Hinton：我的猜测是，从现在起五到二十年之间，我们有大约二分之一的概率必须面对他们试图接管的问题。

BBC Newsnight：到目前为止，你对政府试图控制这个局面的努力印象深刻吗？

Geoffery Hinton：我对他们开始认真对待这个问题印象深刻。但我对没有一个国家愿意规范军事用途感到失望，我也对大多数法规缺乏约束力感到失望。

BBC Newsnight：你认为科技公司是否因为需要在人工智能竞赛中胜出而放松了对安全的警惕？

Geoffery Hinton：我对科技公司的整体情况不太了解。我对谷歌知道得比较多，因为我曾在那里工作过。谷歌非常关注这些问题，没有发布大型聊天机器人，它担心如果大模型说谎会影响其声誉。但是一旦OpenAI与微软开展业务，微软将聊天机器人引入必应，谷歌就别无选择了。所以我认为竞争会导致这些东西被快速开发，而这意味着他们不会在安全方面投入足够的精力。

BBC Newsnight：父母会他们的孩子交谈，给出对未来的建议——他们应该从事什么工作，应该学习什么学位。看起来世界已经被你所描述的情况彻底颠覆了。你现在会建议一个人学习什么，以便能够驾驭这股浪潮？

Geoffery Hinton：我不知道。因为很明显，许多中产阶级知识型工作将会消失。如果你问哪些工作是安全的，我认为最安全的工作是水管工，因为AI在物理操作方面还不是很擅长——这可能是它们最后才能擅长的事情。所以我认为水管工这个工作在相当长的一段时间内是安全的。

BBC Newsnight : 车辆驾驶员会像水管工一样安全吗？

Geoffery Hinton：不会。

BBC Newsnight : 新闻工作者呢？

Geoffery Hinton：新闻工作者会好一些，但是我认为AI会很快成为很好的新闻工作者。

原文：‘Godfather of AI’ on AI “exceeding human intelligence” and it “trying to take over”

https://www.youtube.com/watch?v=MGJpR591oaM

编译：Shizheng Cao

-----------END-----------