这次，是用深度强化学习和神经网络来建立导航系统。无需标注好的地图指引，AI仅仅依靠街景照片的图像识别就能到达目的地。类似于AlphaGo Zero的没有棋谱，也能学会下棋。

注意，这无关乎驾驶，仅仅关乎导航——穿越真实城市，到达指定的经纬度坐标。整个过程不涉及交通数据（周围有没有车和人），也没有对车辆控制建模。

但这已经足够复杂了。在曼哈顿的5个区域、伦敦和巴黎市中心，AI能成功穿过复杂的交叉路口、人行道、隧道和各种拓扑结构。

3月31号，DeepMind在ArXiv上发布了相关论文：Learning to Navigate in Cities Without a Map。大数据文摘公众号后台回复“导航”即可下载这篇论文。

DeepMind随后发表的一篇博客文章称，AI做的这件事类似于一个小孩如何记住周边的环境。小孩并不需要看一张地图，只需记住街道的视觉外观并沿途转向，就能前往朋友家、学校或杂货店。而且会越走越熟练。如果迷路了，他可以通过关键地标甚至太阳的朝向来认路。

这是人类的导航系统。

导航是一项重要的认知任务，有导航系统的人类和动物可以在复杂的世界中远距离穿行，而无需地图。同时，可以自我定位（“我在这里”）和表述目标（“我要去那里”）。

那么，AI如何学习在没有地图的城市中进行导航？

一个利器是谷歌街景视图（Google Street View）。这些图像数据是现成的。这样，AI不用真的到某个城市里穿行，只要在街景里游荡就可以了。利用街景视图建模的优势在于，这些照片以人眼视角拍摄，也就是说，如果一个人站在相同的地理位置，他看到的图像就和模型看到的一样的

研究人员建立了一个基于神经网络的人工智能体，学习使用视觉信息（来自街景图像的像素）在多个城市中导航。当AI到达目标目的地（例如，指定的经纬度坐标）时，该AI就会得到奖励。

好比一个7x24小时无限循环工作的快递员，要不断地到达指定地点，但是又没有地图可以看。

随着时间的推移，AI学习以这种方式跨越整个城市。经过在多个城市的训练和学习，在适应新的城市时AI的表现非常好。

AI在巴黎街景中训练。街景图像与城市地图叠加，显示目标位置（红色），代理位置和视野（绿色）。请注意，AI不会看到地图，只能看到目标位置的纬度/经度坐标。

与传统的依赖明确映射和探索的方法（例如试图本地化并同时绘制地图）相反，DeepMind让AI只使用视觉观察，而不使用地图、GPS定位或其他辅助工具。

用到的技术是，构建了一个神经网络代理，用于输入从环境中观察到的图像，并预测它应该在该环境中执行的下一个操作。使用深度强化学习进行端对端训练，类似于此前关于学习穿越复杂3D迷宫，以及用无监督辅助任务进行强化学习来玩游戏的研究，但是使用到的数据规模比小型模拟迷宫环境要大得多。

神经网络由三部分组成：

1. 可以处理图像并提取视觉特征的卷积网络

   
   

2. 特定场所的循环神经网络，其隐含任务是记住环境，并学习“这里“（代理的当前位置）和”那里“（目标的位置）

   
   

3. 产生关于代理行为的导航策略的场所不变循环网络。特定于语言环境的模块被设计为可互换，并且如其名称所示，对于代理导航的每个城市都是唯一的，而视觉模块和策略模块可以是语言环境不变的。

就像在Google Street View界面中一样，AI代理可以在适当的位置旋转，或者在可能的情况下前进到下一个街景。与谷歌地图和街景环境不同，AI不会看到小箭头，本地或全球地图，或著名的Pegman：它需要学习区分开放道路和人行道。目标可能在真实世界中距离数公里，AI要通过数百个街景图才能到达。

值得注意的是，这是一个可以转移到新城市的模块化神经网络架构。与人类一样，当AI访问一个新的城市时，我们会期望它必须学习一组新的地标，但不必重新学习其视觉表现或其行为（例如，沿着街道向前走或在交叉路口处转向）。因此，使用MultiCity体系结构，DeepMind首先在许多城市进行训练，然后冻结策略网络和视觉卷积网络，并在一个新城市中只建立一个新的特定地区路径。这种方法使AI能够获得新的知识，而不会忘记它已经学到了什么，类似于渐进式神经网络架构。

导航系统是研究和开发人工智能的基础，也对了解人类的生物导航系统有帮助。