Google推出AlphaGo Zero，可轻松战胜AlphaGo Master

AlphaGo AlphaGo Zero| 2017-10-19

10月19日消息，专注于推进人工智能（AI）研究的谷歌子公司DeepMind今天发布了一款新版本的AlphaGo程序，它能通过自学玩转多种游戏。这套系统名为“AlphaGo Zero”，它通过一种名为“强化学习”的机器学习技术，可以在与自己游戏中吸取教训。

仅三天时间，AlphaGo Zero自行掌握了围棋的下法，还发明了更好的棋步。这期间，除了被告知围棋的基本规则，它未获得人类的帮助。随着AlphaGo Zero被不断训练时，它开始在围棋游戏中学习先进的概念，并挑选出一些有利的位置和序列。

经过三天的训练，该系统能够击败AlphaGo Lee，后者是去年击败了韩国选手李世石（Lee Sedol）的DeepMind软件，胜率是100比0。。经过大约40天的训练（约2900万场自玩游戏），AlphaGo Zero击败了AlphaGo Master(今年早些时候击败了世界冠军柯洁)。

图0：Google推出AlphaGo Zero，可轻松战胜AlphaGo Master

旧版AlphaGo接受的训练是，观摩由实力强大的业余或专业棋手对弈的海量棋局。但AlphaGo Zero没有获得这样的帮助。它自我对弈数百万次，并从中学习。一开始，它只是随意把棋子放在棋盘上，但后来它发现了获胜的策略，棋艺就快速提升了。

AlphaGo的首席研究员大卫·席尔瓦(David Silver)表示，“由于未引入人类棋手的数据，AlphaGo Zero远比过去的版本强大，我们去除了人类知识的限制，它能够自己创造知识。”

AlphaGo Zero通过“强化学习”这一程序来积累技能。当AlphaGo Zero走出一步好棋，它更有可能获胜。若这步棋没走好，它输棋的概率变大了。

这一程序的核心是一组连在一起形成人造神经网络的 “神经元”。对于棋局的每个回合，神经网络会观察棋子在棋盘上的位置，并推算接下来的棋步以及这些棋步让全盘获胜的概率。每次对弈后，它会更新神经网络，让棋艺更精进。虽然性能远胜于以前的版本，但AlphaGo Zero是一个更简单的程序，掌握棋法的速度更快，接受训练的数据更少，使用的电脑更小。席尔瓦表示，如果拥有更多的时间，AlphaGo Zero还能够自己学会围棋规则。

研究团队在《自然》杂志上发表的文章写道，一开始AlphaGo Zero的棋艺糟透了，后来它逐渐成为一名缺乏经验的业余棋手，最终进阶为围棋高手，能够走出极具战略性的棋步。这些进步仅花费了几天时间。最初10小时内它就发现了一个定式。随后不久它又领悟了一些棋法。三天后，AlphaGo Zero发现了人类专家正在研究的全新棋步。有趣的是，程序在发现更简单的棋步之前就早已掌握了一些复杂棋步。

图1：Google推出AlphaGo Zero，可轻松战胜AlphaGo Master

这一进展标志着通用型AI发展的大一里程碑。除了下棋赢过人类，通用型AI能做更多事情。由于AlphaGo Zero能够从一无所知实现自学成才，如今其天赋可以在诸多现实问题上派上用场。

AlphaGo Zero正在研究蛋白质如何折叠的问题，这是一个艰难的科学挑战，不过有望成为药物发明的一大突破。

图2：Google推出AlphaGo Zero，可轻松战胜AlphaGo Master

(丹米斯·哈撒比斯)

DeepMind的CEO丹米斯·哈撒比斯(Demis Hassabis)表示，“对我们来说，AlphaGo不仅限于在围棋对弈中获胜，这也是我们开发通用算法的一大进步。”大多数AI被认为“用途有限”，因为它们只能执行单一任务，例如，翻译、识别面孔。但通用型AI在许多不同任务上拥有超越人类的潜能。哈撒比斯认为，在接下来十年，AlphaGo的迭代产品将成为科学家和医学专家，与人类并肩工作。

此外，AlphaGo Zero比它的许多前辈都要高效得多。AlphaGo Lee需要使用几台机器和48个谷歌张量处理单元机器学习加速器芯片，该系统的早期版本AlphaGo Fan需要176个GPU。而AlphaGo Zero和AlphaGo Master一样，只需要一台机器和4个TPU。