人工智能的传感器和执行器（1）。在现实中插入人工智能

传感器和执行器，被遗忘的元素

传感器和执行器是人工智能在各个层面发展的关键，包括在实际应用方面。然而，在讨论人工智能的扩展和未来时，这两个元素在大多数时候都被忽略了。这主要是由于这种缺乏关注，接口可能成为破坏性的。事实上，通过传感器和执行器的人工智能方法可能是许多人寻求的非常普遍的繁荣的关键？同时，人工智能的许多子领域也可以从这种进一步的发展中受益。另外，如果不能完全整合这种方法，可能会导致不必要的障碍，包括暂时的破产。

传感器和执行器，人工智能竞赛中的另一个赌注

概要

本文使用两个案例研究来逐步解释什么是传感器和执行器。因此，它详细说明了人工智能-代理和其环境之间的双界面。作为结果和第三点，我们强调，人们对人工智能的理解最好是作为一个序列。这种理解使我们能够设想整个经济活动的未来世界。然而，这个世界并非没有危险，我们强调它将需要一种新型的安全。最后，我们将指出，有必要区分人工智能序列所连接的现实类型。

下一篇文章将重点讨论处理人工智能序列及其孪生接口的不同方式，特别是执行器。我们将更多地关注物联网（IoT）、人类本身和自主系统，也就是我们熟知的机器人。同时，我们将进一步探索人工智能创造的新活动。

以不同的眼光看待与AlphaGo的比赛

我们将再次考察（谷歌）DeepMind的 阿尔法狗这是一个有监督的学习/AI-agent，可以下围棋，并且胜利地开始了当前AI的发展阶段。

回放与AlphaGo的比赛

现在，让我们想象一下，在范辉先生、2015年10月以5比0击败的围棋欧洲冠军AlphaGo和AI-agent (阿尔法狗 网页）。范辉先生，就像现实中发生的那样，首先与人工智能代理AlphaGo对弈。在他面前，我们可以看到一个五番棋（围棋的棋盘名称）。AlphaGo被连接到云端，以获得分布式计算能力，因为它需要大量的计算能力。

范辉先生开始下棋，并在戈班上放了一颗白子。然后就轮到AlphaGo了。这个人工智能代理将如何回答？它是走典型的棋还是走原创的？然后它将如何快速下棋？悬念是巨大的，而...

什么都没有发生。

什么地方出了问题？

DeepMind的（正确）方法

如果你仔细观看下面展示原始游戏的视频，你会发现，实际上，设置并不完全是我上面描述的那样。还有一些其他的关键因素也存在。如果DeepMind按照我描述的设定让人类和AI-agent面对面，那么他们的实验就会出错。相反，由于他们添加的元素，他们的游戏是成功的。

你可以在视频的1:19处观察到这三个要素，如下面的注释截图所示。

• 答：一个人类球员
• B: 一个屏幕
• C：一个人，桌子上有一个奇怪的装置。

传感器

在我们想象的环境中，我没有创建一个界面来告诉人工智能代理，许先生移动了一块石头，以及哪一块。因此，就人工智能代理而言，没有任何输入。

在DeepMind的真实环境中，我们有人类代理人（C）。我们可以推测，在她面前的桌子上的奇怪装置允许她在计算机中为人工智能代理输入范辉先生在整个游戏中的动作。

更一般地说，在现实世界和人工智能-代理之间必须存在一个第一输入接口，才能看到它的运作。因此，我们需要传感器。它们将为人工智能感知现实世界。我们还需要以人工智能理解的方式，将传感器捕获的数据传达给人工智能代理。

现在让我们假设，我们把代理C和它的设备--即传感器系统--添加到我们的设置中。

同样，什么也没有发生。

为什么？人工智能代理继续进行并决定其行动。然而，算法的结果仍然在计算机中，作为机器的输出，无论其形式如何。 事实上，在现实世界中没有任何界面可以行动。所需要的是一个执行器。

执行器

与外部世界的接口不仅要产生我们的围棋大师能够理解的每一步棋的输出，而且还要在整个棋局中对他有意义。

仅仅根据棋盘上的坐标得到一块石头的位置是不够的。这样的结果首先要求樊麾先生有很好的可视化和制图能力来翻译棋盘上的这些坐标。其次，它要求我们的围棋冠军有一个真正非常好的记忆。事实上，在几步棋之后，能够想象并记住整个棋局将是一个挑战。

DeepMind实际上使用了所需的执行器，使人类和AI之间的游戏成为可能。

在（B）处，我们有一个显示整个游戏的屏幕。该屏幕也很可能显示人工智能代理每次的行动。然后，在（A），我们有一个人类代理人，他把屏幕上的虚拟游戏转化为现实中的戈班。为了做到这一点，他通过在棋盘上放置相应的石头来复制屏幕上显示的人工智能代理的行动。

注意到这个人（A）的存在是很重要的，尽管这对范辉先生来说可能不是真正必要的，他可以在屏幕前玩。首先，它是一个交流工具，使整个实验对观众来说更充分的理解和有趣。然后，对范辉先生来说，可能更容易在真正的戈壁上玩。从虚拟世界到现实世界的转换是至关重要的。它很可能是真正让人工智能出现和发展的一个重要利害关系。

正如我们上面所举的例子，指定与AI-agent的互动过程，突出了双界面的重要性。

这实际上是DeepMind对其最新人工智能成就之一的构想，我们现在就来谈谈这个问题。

走向看成是一个人

2018年6月，DeepMind解释了它是如何建立一个AI-agent，可以像人类一样感知周围的情况(开放访问; S. M. Ali Eslami等人，"神经性场景表示和渲染“, 科学  2018年6月15日。Vol. 360, Issue 6394, pp. 1204-1210, DOI: 10.1126/science.aar6170）。

"例如，当第一次进入一个房间时，你会立即认出其中的物品以及它们的位置。如果你看到一张桌子的三条腿，你会推断出可能还有第四条形状和颜色相同的腿隐藏在视野之外。即使你不能看到房间里的所有东西，你也很可能能够勾勒出它的布局，或者想象它从另一个角度看是什么样子。"("神经性场景表示和渲染"，DeepMind网站）。 

科学家们的目的是创造一个具有与人类相同能力的人工智能代理，他们成功地做到了这一点。

DeepMind使用 "传感器和执行器"

对我们来说最有趣的是，我们在第一部分所描述的正是科学家们建立他们的过程和解决人工智能代理的视觉问题的方式。

他们教他们的AI-agent从外部世界（在这种情况下仍然是一个虚拟世界）获取图像--我们称之为传感器系统--然后通过第一个深度学习算法--表示网络--将其转换成一个结果，一个输出--场景表示。在这个阶段，输出对AI-agent有意义，但对我们没有意义。最后一步代表我们所说的执行器。它是将对人工智能有意义的输出转换为对我们有意义的东西，即 "预测"。为此，DeepMind开发了一个 "生成网络"，称为 "神经渲染器"。事实上，就三维计算机图形而言，渲染是将计算转化为图像的过程，即渲染。

下面的截图显示了工作过程（我在原截图上添加了红色的圆圈和箭头）。

下面的视频展示了整个动态。

为AI-agent的视觉开发自主传感器

用DeepMind的科学家的话说，生成查询网络（GQN）的开发是为了创造 "一个框架，在这个框架内，机器学会只用自己的传感器来表示场景"。事实上，目前的人工视觉系统通常使用监督式学习。这意味着需要人类干预来选择和标记数据。DeepMind的科学家希望尽可能地克服这种类型的人类参与。

这里的实验使用了一个 "合成 "环境（同上，第5页）。下一步将需要新的数据集，以允许扩展到 "自然景象的图像"（同上）。最终，我们可以想象，GQN将从现实开始，由人工智能控制的光学设备捕获。这意味着GQN将需要整合计算机视觉方面的所有进展。此外，我们的AI-agent的传感器也将不得不在其环境中移动，以捕捉它所需要的观察结果。例如，这可以通过一个移动摄像机网络来完成，比如那些被越来越多地安装在城市中的摄像机。同样由人工智能控制的无人机可能会补充传感网络。

改进AI-agent的视觉执行器

研究人员还将需要改进执行器（同上）。DeepMind的科学家建议，生成性建模能力的进步，如通过生成性对抗网络（GAN）取得的进步，将允许走向 "自然的场景渲染"。

同时，GANs可以导致重要的进步，不仅是视觉表达，而且是人工智能代理的 "智能"。

当GANs训练表示视觉输出时，它们似乎也发展了将类似的物体单独分组的能力，这些物体被研究人员称为 "概念"（Karen Hao, "一个神经网络可以学习把它看到的世界组织成概念--就像我们一样“, 麻省理工学院技术评论，2019年1月10日）。例如，GAN可以 "将树的像素与树的像素分组，将门的像素与门的像素分组，而不管这些物体在训练集的照片中如何改变颜色".它们也会 "在具有乔治亚建筑风格的砖房上画出乔治亚风格的门，或在哥特式建筑上画出石门。它还拒绝在一片天空上画任何门"（同上）。

在语言研究领域也有类似的动态。

使用虚拟机械臂作为执行器

在一个相关的实验中，DeepMind的研究人员用一个深度强化网络来控制一个虚拟机械臂，而不是初始生成网络（Ali Eslami等人，Ibid., p.5）。GQN首先训练代表其观察结果。然后，它训练控制合成机械臂。

在未来，我们可以想象一个真正的机器人手臂将取代合成的手臂。因此，"最终执行系统 "将成为虚拟世界和现实之间的一个接口。

人工智能是世界之间的一个序列

现在让我们概括一下我们对传感器和执行器的理解，或者说对AI输入和AI输出的界面的理解。

在现实中插入人工智能意味着把它看成一个序列

我们可以把涉及人工智能代理的过程理解为以下序列。

环境 -> 感知环境（根据任务） ->
做一个任务-->输出一个人工智能可理解的结果-->根据任务和互动的行为者来表达结果

新活动的出现

这个序列以及关于GAN执行器的细节表明，如果想把人工智能完全融入现实，实际上需要不止一个人工智能代理。因此，执行人工智能代理的开发将涉及许多团队和实验室。

设想未来的生产链

因此，在人工智能领域可能会出现新型的经济活动和功能。特别是，我们可以有正确的操作序列的组装。同样，最初设计正确的架构，跨类型的人工智能代理和子领域可能成为一项必要的活动。

依次分解人工智能的整合，让我们开始了解未来的生产链。因此，我们可以想象能够和将要出现的一系列经济活动。这些活动将远远超出目前对信息技术或消费者分析的重视，而这正是大多数人工智能的早期采用者迄今为止所青睐的（德勤，"企业中的人工智能状况“, 2018).

令人眼花缭乱的可能性倍增

此外，人工智能序列的定制可以根据需要进行调整。我们可以想象，各种执行器系统可以被添加到一个序列中。例如，对于使用我们第二个案例研究的AI-agent来说，一个可以理解的 "场景表现 "可以被表达为一个现实的视觉渲染，一个叙述和一个机器人的动作。我们在这里更接近于感官刺激会在我们人类身上引发一系列可能的反应的方式。然而，与人类世界相比，如果加上云，那么 "场景表现 "的各种表现形式可以根据可用的通信基础设施，位于地球和空间的任何地方。

所涉及的可能性和组合是惊人的，令人眼花缭乱。我们将在接下来的文章中探讨正在创造的不可思议的可能性。

走向重新定义安全的需要？

改变了我们的现实

就危险而言，如果我们开始只依赖或主要依赖一个由人工智能序列感知、理解、然后表达的世界，那么我们也为改变我们的现实打开了大门，这种改变可能比我们使用自己的感官更容易做到。例如，如果一个人依靠人工智能代理序列来识别和感知离我们所在的地方几英里远的外部世界，那么一个无意的问题或恶意的意图可能意味着我们收到了错误的现实的视觉表现。在没有树的地方可能会设置一棵树。结果是，一辆自驾车，试图避开它，可能会走出道路。在人工智能世界中，用户对现实的这种表达方式的行为是有意义的。然而，在它之外，它将是反复无常的。

演员们可以用一种以前从未想过的方式创造诱饵。想象一下 坚韧行动在第二次世界大战期间，盟军在1944年的入侵地点方面欺骗纳粹的行动，是以多个人工智能序列的力量组织的。

事实上，正是我们的现实，因为我们习惯于看到它通过照片来表达，可能会以一种我们的视觉感官无法直接掌握的方式而变得改变。

破坏了世界网络？

在这里，我们还需要考虑宣传和现在所谓的 "假新闻 "的传播，最重要的是 "假互联网 "的传播，正如马克斯-雷德在 "中国 "一书中巧妙地解释的那样。互联网有多少是假的？事实证明，很多都是这样的” (智能化报》杂志，2018年12月26日）。假设 "虚假的一切 "的传播信号确立了广泛的恶意，那么再加上人工智能代理的力量，可能会打破世界网络。其影响将是巨大的。为了避免这样的灾难，行为者将不得不制定非常强大的法规，并支持和传播新的规范。

人工智能完全重新定义了安全可能被破坏的方式，因此必须进行防御。

根据不同的现实情况，整合人工智能代理。虚拟-虚拟和虚拟-物质

从虚拟世界到虚拟世界

当人工智能代理的环境和其他演员是虚拟的，那么这个序列--在某种程度上--更容易建立。事实上，一切都发生在一个具有独特性质的世界里。

然而，恐惧和了解的需要很可能意味着人类会在序列的不同点上想要控制。因此，将虚拟世界转化为至少是人类可以感知的东西的方法可能会被引入。这将提高发展的复杂性。

从虚拟到物质

当环境是真实的，当AI-agent和人类之间发生互动的时候，这个顺序就变得更加复杂。双胞胎界面必须成为两种不同类型的世界--数字和现实--之间的桥梁。

实际上，如果我们通过这些镜头来观察深度学习生态系统及其自2015年以来的演变，研究人员将其最初的大部分努力用于创建能够 "完成一项任务"（播放、分类、贴标签等）的AI-代理。同时，科学家们首先开发了使人工智能代理能够理解现实世界的方法。同时，所开发的执行器系统对人类来说是可理解的，但它们仍然大多是虚拟的。

在现实世界中表达虚拟世界方面的滞后 - 视觉AI-代理人

例如，现实世界被转化为数字照片，AI-agent通过深度学习算法识别这些照片。人工智能将以人类理解的方式对它们进行分类或标记。例如，人类很容易理解文字，或显示在屏幕上的图像，这些都是序列中执行器部分的结果。然而，这种输出仍然是虚拟的。如果我们想进一步改进，那么我们必须创造和使用其他设备来加强或缓解从虚拟到现实的界面。物体识别也是以类似的方式进行的。

在与视觉人工智能相关的工作方面，我们可能会想，我们在给人工智能代理提供视觉方面的进展是否比在以对现实世界中的人类足够有用的方式使用这种视觉方面的进展更大。

从虚拟到现实，感应比表达更先进？

在中国，声音识别也有类似的过程（Joseph Hincks，" "）。中国正在创建一个公民声音的数据库，以提高其监控能力。报告“; 时间, 2017年10月23日）。 数据分析也是一种向人工智能代理机构解释的方式，根据各种标准，互联网用户是什么。传感器收集数据，例如从管道（例如（Maria S. Araujo和Daniel S. Davila，"机器学习改善石油和天然气监测"，2017年6月9日。 谈论能源领域的物联网》。裘-奥夫斯塔斯，"大数据和机器学习用于预测管道的腐蚀情况"，2017年6月12日，DNV GL）或来自飞机的飞行，或来自任何实际的东西，都是使世界对具有特定设计的算法的理解的方式。

然而，我们在开发人工智能代理的虚拟世界和人类的现实之间的接口的执行器方面是否取得了类似的进展？或者，是否我们确实改进了整个序列，但进展仍然限于虚拟世界？在所有情况下，在安全、政治和地缘政治方面的影响是什么？

这就是我们接下来要看到的，特别是要看看物联网、机器人和人类，作为人工智能的潜在执行系统。

*最初，我使用了 "表达者 "这个词，而不是 "执行者 "这个适当的词。感谢 Teeteekay Ciar 帮忙找找看。

特色图片。美国陆军图形由Sonya Beckett，CERDEC NVESD - 公共领域 - 来自Aris Morris, 2018年1月9日。 陆军ALT杂志, 科学和技术。