在这篇文章中,我们将更详细地探讨人工智能(AI)在其深度学习部分与计算能力或硬件之间的关系,我们在之前的文章《深度学习》中开始探索这种关系。当AI开始创造AI时".在为理解人工智能-深度学习和计算能力之间的联系奠定基础之后,下一篇文章将重点讨论这种关系的政治和地缘政治后果,同时考虑这里发现的一个关键不确定性,根据这个不确定性,向共同设计人工智能-深度学习架构和硬件的演变可能会改变整个领域。
相关的
人工智能、计算能力和地缘政治 (2):在一个人工智能世界里,没有足够的HPC的行为者会发生什么,在这个世界里,权力的分配现在也是由人工智能造成的,同时出现了对威斯特伐利亚秩序的威胁。
高性能计算竞赛和权力--人工智能、计算能力和地缘政治(3)。:考虑到HPC的重要意义,需要确定一个复杂的框架,在这个框架内,行为者可以做出反应。
赢得超大规模计算的竞赛 - 人工智能、计算能力和地缘政治 (4):通往超大规模计算的竞赛,现状,以及对权力和政治及地缘政治(不)秩序的影响;竞赛可能出现的中断。
我们的目的是更好地理解计算能力如何同时成为人工智能扩张和相关新兴人工智能世界的驱动力、利害关系和力量。计算能力是我们确定的六个驱动因素之一,它们不仅是人工智能扩张背后的力量,而且也因此成为争夺人工智能力量的行为者之间竞争的赌注(Helene Lavoix, "人工智能--力量、驱动力和赌注" The Red Team Analysis Society, 2018年3月26日)。
在这篇文章中,我们展示了人工智能-深度学习确实需要大量的计算能力,尽管在计算的不同阶段有所不同,并随着改进而不断发展。尽管人工智能系统的进步导致人工智能系统创建过程中对计算能力的需求不断减少,但对优化的探索不仅需要更多的计算能力,而且还导致硬件领域的变化(我们将在下一篇文章中详细介绍),甚至可能导致算法方面的变化。同时,更多的计算能力也意味着有能力在深度学习和人工智能方面走得更远,确实证实了计算能力是人工智能扩张的一个驱动力。因此,在人工智能及其扩张和至少两个驱动因素--计算能力和 "算法 "之间开始出现反馈回路,或者说是螺旋式上升。
我们首先解释了用于揭示人工智能-深度学习(DL)和计算能力在快速发展的生态系统中的联系的方法,并指出了深度学习领域的两个可能的新前沿,即应用于一般深度学习的进化算法和强化学习。我们还简要介绍了人工智能-深度学习系统的三个计算阶段。然后,我们深入到每个阶段:创建、训练或开发,以及推理或生产。我们解释每个阶段以及每个阶段的计算能力需求。然后,我们超越了分类,解释了在这三个阶段中对改进的不断追求,指出了在关键元素之间所寻求的平衡。我们特别强调了深度神经网络架构和硬件代码设计的最新发展。
在快速发展的生态系统中,AI-DL系统的生命和计算能力 - 方法论
特色图片。 ORNL推出Summit超级计算机 on Flickr (Public Domain) 30 May 2018.