2018 pourrait être l'année où les États-Unis reprendront l'avantage sur la Chine grâce au superordinateur le plus puissant du monde. Ce pourrait être l'année où la guerre de la puissance de calcul de l'IA a commencé.
2017 est l'année où l'Intelligence Artificielle a commencé à créer l'Intelligence Artificielle (IA). C'est l'année où la Chine a dépassé les États-Unis en termes de nombre total de supercalculateurs classés et de performance de calcul globale.
Tous ces événements façonnent profondément notre avenir... et notre présent. Ils remanient la façon dont les guerres seront et sont déjà menées, tandis que la stratégie et, en fait, la portée de la sécurité nationale, s'étendent considérablement. Ils sont intimement liés. Il est essentiel de comprendre pourquoi et comment pour prévoir ce qui va probablement se passer et ce qui se passe déjà, et pour comprendre à quoi ressemblera le monde émergent de l'IA.
Cet article et les suivants expliqueront, à l'aide d'exemples et de cas concrets, comment et pourquoi l'IA et la puissance de calcul sont liées. Ils se concentreront donc sur le matériel et la puissance de calcul en tant que moteur, force et enjeu du développement de l'IA, dans le sous-domaine de l'IA du Deep Learning (DL). Précédemment, nous avons identifié la puissance de calcul comme l'un des six moteurs qui non seulement agissent comme des forces derrière l'expansion de l'IA mais aussi, en tant que tels, deviennent des enjeux dans la compétition entre les acteurs dans la course à la puissance de l'IA (Helene Lavoix, "Intelligence artificielle - forces, moteurs et enjeux". The Red Team Analysis Society, 26 mars 2018). Nous avons examiné en détail le premier conducteur avec "Le Big Data, moteur de l'intelligence artificielle... mais pas dans le futur ?" (Hélène Lavoix, The Red Team Analysis Society16 avril 2018)
Nous commencerons par les cas les plus récents - et les plus frappants - qui illustrent la relation étroite qui existe entre le matériel et sa puissance de calcul et le développement exponentiel actuel de l'IA, ou plus exactement l'expansion de la DL. La puissance de calcul et l'IA-DL évoluent en fait de concert. Nous présentons deux cas d'IA-DL créant des architectures de réseaux neuronaux et donc de DL : Le projet AutoML de Google, ainsi que son impact, par exemple en termes d'applications de vision par ordinateur, et le MENNDL (Multinode Evolutionary Neural Networks for Deep Learning) de l'Oak Ridge National Laboratory (ORNL) du ministère américain de l'énergie, et nous les mettons en relation avec la puissance de calcul nécessaire. Nous commençons ainsi à identifier les éléments cruciaux de la puissance de calcul nécessaire à l'IA-DL, nous soulignons le potentiel des algorithmes évolutionnaires et nous signalons que nous nous rapprochons peut-être d'une intelligence générale artificielle.
Nous approfondirons cette coévolution avec les prochains articles, afin de mieux comprendre comment et pourquoi la DL et la puissance de calcul/le matériel informatique sont liés. Nous examinerons plus en détail l'impact de cette relation et de sa coévolution en termes de matériel. Nous présenterons donc l'état des lieux de l'évolution rapide et identifierons les autres domaines qui doivent être surveillés. En attendant, nous expliquerons autant que possible le jargon technique des TFLOPS aux CPU, NPU ou TPU, qui n'est pas immédiatement compréhensible pour les scientifiques et spécialistes non AI et non TI, et qui doit pourtant être compris par les analystes politiques et géopolitiques et les personnes concernées. Cette plongée en profondeur nous permettra de mieux comprendre la dynamique correspondante qui émerge du nouveau monde de l'IA qui est en train de se créer.
En effet, nous expliquerons comment l'interdiction de sept ans imposée par les États-Unis à la société chinoise de télécommunications ZTE et d'autres actions américaines connexes doivent être comprises comme un mouvement stratégique dans ce qui fait partie de la course au pouvoir de l'IA - c'est-à-dire la course au statut de pouvoir relatif dans la nouvelle répartition internationale du pouvoir en cours d'élaboration - et ressemble de plus en plus à la première bataille d'une guerre pour la suprématie de l'IA, comme le suggère le durcissement des actions américaines contre le chinois Huawei (par exemple Li Tao, Celia Chen, Bien Perez, "La ZTE est peut-être trop grande pour échouer, car elle reste le dernier maillon de la chaîne de l'ambition technologique mondiale de la Chine“, SCMP21 avril 2018 ; Koh Gui Qing, "Exclusif - Les États-Unis envisagent de resserrer l'étau sur les liens entre la Chine et les entreprises américaines“, Reuters, 27 avril 2018).
Comme nous l'avions prévu, l'IA a déjà commencé à redessiner la géopolitique et le monde international (voir "Intelligence artificielle et apprentissage profond - le nouveau monde de l'IA en devenir". et "Quand l'intelligence artificielle influencera la géopolitique - Presenting AI ".).
On commence à envisager que l'IA crée des IA : AutoML de Google, la naissance de NASNet et d'AmoebaNets.
En mai 2017, Google Brain Team - l'un des laboratoires de recherche de Google - a annoncé avoir lancé "une approche" appelée AutoML qui vise à "explorer les moyens d'automatiser la conception de modèles d'apprentissage automatique", en utilisant notamment les algorithmes évolutionnaires et les algorithmes d'apprentissage par renforcement (RL), c'est-à-dire un aspect de l'apprentissage automatique et donc de l'IA (Quoc Le & Barret Zoph, "Utiliser l'apprentissage machine pour explorer l'architecture des réseaux neuronaux“, Blog de recherche Google, 17 mai 2017). Ils ont d'abord appliqué avec succès l'approche pour la reconnaissance d'images et la modélisation du langage, mais avec de petits ensembles de données : "notre approche peut concevoir des modèles qui atteignent des précisions équivalentes à celles des modèles de pointe conçus par des experts en apprentissage automatique (dont certains de notre propre équipe !)." (Ibid.) Ensuite, ils ont testé AutoML pour de grands ensembles de données "tels que ImageNet classification d'images et détection d'objets COCO" (Barret Zoph, Vijay Vasudevan, Jonathon Shlens et Quoc Le, "AutoML pour la classification des images à grande échelle et la détection d'objets, Blog de recherche Google, 2 Nov 2017). C'est ainsi qu'est né NASNet, de différentes tailles, qui, pour la reconnaissance d'images a atteint une précision plus élevée et des coûts de calcul plus faibles que les autres architectures (voir la figure de Google à droite). Par exemple, "Le grand NASNet atteint une précision de pointe tout en réduisant de moitié le coût de calcul du meilleur résultat rapporté sur arxiv.org (c'est-à-dire SENet)". [5] Les résultats pour la détection d'objets étaient également meilleurs que pour les autres architectures (Ibid.).
Comme le soulignent les scientifiques de Google, NASNet peut donc améliorer considérablement les applications de vision par ordinateur (Ibid.). Compte tenu de l'importance de la vision par ordinateur pour la robotique en général, et pour les systèmes d'armes autonomes létaux (LAWS) en particulier, il peut devenir crucial de pouvoir utiliser NASNet et les types d'architecture NASNet, et plus encore de créer de meilleurs programmes. Google "a ouvert NASNet pour l'inférence sur la classification des images et pour la détection des objets" (Ibid.), ce qui devrait limiter - jusqu'à un certain point compte tenu de la nécessité d'utiliser également la plate-forme de Google TensorFlow ainsi que le début de la guerre entre les États-Unis et la Chine au sujet de l'IA (à venir) - l'utilisation possible de NASNet par un acteur et non par un autre. Cet exemple montre que la capacité de développer et de faire fonctionner une "IA qui crée de l'IA", qui est meilleure que les architectures d'IA conçues par l'homme, peut s'avérer cruciale pour la course à la puissance de l'IA qui commence, y compris en termes de guerre future éventuelle, ainsi que pour la gouvernance de l'IA.
Un GPU est une unité de traitement graphique. Il a été lancé en tant que tel par NVIDIA en 1999 et est considéré comme le composant crucial qui a permis le décollage de la DL.
Une unité centrale de traitement est une unité centrale de traitement. C'était la norme notamment avant l'avènement des GPU et l'expansion de DL-AI.
Les deux microprocesseurs sont construits avec des architectures différentes, avec des objectifs et des fonctions différents, par exemple Kevin Krewell, "What's the Difference Between a CPU and a GPU ? blog de NVIDIA, 2009.
Si les architectures d'IA résultantes ont un "coût de calcul inférieur" à celui des architectures conçues par l'homme, quelle est la puissance de calcul nécessaire à la création de l'IA ? Selon les scientifiques de Google, "la recherche initiale d'architecture [utilisée pour AutoML] a utilisé 800 GPU pendant 28 jours, soit 22 400 heures GPU. La méthode présentée dans cet article [NASNet] utilise 500 GPU pendant 4 jours, soit 2 000 GPU-heures. Le premier effort a utilisé NVIDIA K40 Les GPU, alors que les efforts actuels ont été utilisés plus rapidement NVIDIA P100s. Sans tenir compte du fait que nous utilisons du matériel plus rapide, nous estimons que la procédure actuelle est environ 7 fois plus efficace (Barret Zoph, Vijay Vasudevan, Jonathon Shlens, Quoc V. Le, "Apprendre les architectures transférables pour la reconnaissance d'images à l'échelle", Soumis le 21 juillet 2017 (v1), dernière révision le 11 avril 2018 (cette version, v4), arXiv:1707.07012v4 [cs.CV] ).
La Google Brain Team poursuit ses efforts AutoML pour trouver la meilleure façon de développer des IA qui créent des IA. D'une expérience visant à comparer les mérites relatifs de l'utilisation de la RL et de l'évolution pour la recherche d'architecture afin de découvrir automatiquement des classificateurs d'images sont nés des algorithmes évolutifs AmoebaNets : "C'est la première fois que des algorithmes évolutionnaires produisent des classificateurs d'images à la pointe du progrès" (Esteban Real, Alok Aggarwal, Yanping Huang, Quoc V Le, "Évolution régularisée pour la recherche d'architecture de classificateur d'images", Soumis le 5 février 2018 (v1), dernière révision le 1er mars 2018 (cette version, v3) arXiv:1802.01548v3 [cs.NE]).
Un TPU est une unité de traitement des tenseurs, le circuit intégré spécifique à l'application créé par Google à des fins d'IA et lancé en mai 2016
Cependant, comme le soulignent les scientifiques, "toutes ces expériences ont nécessité beaucoup de calculs - nous avons utilisé des centaines de GPU/TPU pendant des jours". (Esteban Real, "Utiliser l'AutoML évolutif pour découvrir les architectures de réseaux de neurones“, Blog de recherche Google15 mars 2018). L'expérience d'évolution dédiée "a fonctionné sur 900 puces TPUv2 pendant 5 jours et a entraîné 27 000 modèles au total", tandis que chaque expérience à grande échelle "a fonctionné sur 450 GPU pendant environ 7 jours" (Real et al, Ibid., pp 12 & 3).
La puissance de calcul est donc cruciale dans cette nouvelle recherche de systèmes DL créant d'autres systèmes DL ou de systèmes AI créant des AI. Si le résultat obtenu permet alors de réduire le coût de calcul, c'est uniquement parce que, dans un premier temps, un matériel puissant était disponible. Or, quelle que soit l'importance de la puissance de calcul de Google consacrée à AutoML, elle n'est pas - encore ? - à la hauteur de ce qui peut se passer avec les superordinateurs.
Créateur d'IA rapide ... mais seulement avec un superordinateur : MENNDL - Réseaux neuronaux évolutifs multinodaux pour l'apprentissage profond (Multinode Evolutionary Neural Networks for Deep Learning)
Le 28 novembre 2017, des scientifiques du laboratoire national d'Oak Ridge (ORNL) du ministère américain de l'énergie, ont annoncé avoir mis au point un algorithme évolutionnaire " capable de générer des réseaux neuronaux personnalisés " - c'est-à-dire des systèmes d'intelligence artificielle (IA) sous sa forme Deep Learning - " qui égalent ou dépassent les performances des systèmes d'intelligence artificielle fabriqués à la main " pour l'application de l'IA à des problèmes scientifiques (Jonathan Hines pour ORNL, "La science à l'échelle de l'apprentissage profond", ORNL, 28 novembre 2017). Ces nouveaux systèmes d'IA sont produits en quelques heures et non en quelques mois comme si des êtres humains les fabriquaient (Ibid.), ou en jours et semaines comme ce que Google a réalisé.
FLOPS signifie Floating Point Operations Per Second.
Il s'agit d'une mesure de la performance des ordinateurs.Un teraFLOPS (TFLOPS) représente un million (1012) des opérations en virgule flottante par seconde.
Un pétaFLOPS (PFLOPS) représente 1000 téraFLOPS (TFLOPS).
Toutefois, cet exploit n'est possible que parce que MENNDL (Multinode Evolutionary Neural Networks for Deep Learning) - l'algorithme évolutionnaire qui "est conçu pour évaluer, faire évoluer et optimiser les réseaux neuronaux pour des ensembles de données uniques" - est utilisé sur l'ordinateur Titan de l'ORNL, un système Cray XK7. Ce superordinateur était le plus puissant au monde en 2012 (Liste du Top500, novembre 2017). En novembre 2017, il ne se classait " que " numéro cinq, mais était toujours le plus gros ordinateur des États-Unis (Ibid.) : "Ses 17,59 pétaflops sont principalement le résultat de ses accélérateurs GPU NVIDIA K20x" (Ibid.).
Maintenant, l'ORNL devrait se doter d'un nouveau superordinateur, qui devrait être en ligne fin 2018, le Summit, un "superordinateur IBM AC922 de 200 pétaflops". 
(Katie Elyce Jones "Les visages du sommet : Préparer le lancement ", ORNL, 1er mai 2018). "Summit fournira plus de cinq fois [cinq à dix fois] les performances de calcul des 18 688 nœuds de Titan, en utilisant seulement environ 4 600 nœuds lorsqu'il arrivera en 2018." (Sommet et FAQ sur le sommet). Chaque nœud Summit se compose notamment "de deux CPU IBM Power9, de six GPU NVIDIA V100" (FAQ sur le sommet). Cela signifie que nous avons ici la puissance de calcul de 9200 CPU IBM Power9 et de 27600 GPU NVIDIA V100. À titre de comparaison, Titan dispose de 299 008 CPU Opteron Cores et de 18 688 K20X Keplers GPU, soit 16 CPU et 1 GPU par noeud (TitanORNL) .
En comparaison, l'ordinateur le plus puissant de Chine - et du monde - "Sunway TaihuLight, un système développé par le Centre national de recherche sur l'ingénierie et la technologie des ordinateurs parallèles (NRCPC), installé au Centre national de supercalcul à Wuxi, affiche une performance de 93,01 pétaflops (Liste du Top500, novembre 2017). Il utilise 10 649 600 cœurs de processeur Shenwei-64 (Jack Dongarra, "Rapport sur le système Sunway TaihuLight", www.netlib.orgLe Conseil de l'Union européenne a adopté une résolution sur le sujet en juin 2016 : 14).
En termes d'énergie, "Titan a démontré une consommation instantanée typique d'un peu moins de 5 millions de watts (5 Méga Watts ou 5MW), soit une moyenne de 3,6 millions de kilowattheures par mois (3,6MkW/h/m)" (Jeff Gary, "Titan s'avère plus économe en énergie que son prédécesseur“, ORNL20 août 2014). La consommation d'énergie de pointe prévue pour le sommet est de 15MW. Sunway TaihuLight consommerait en énergie 15,37MW (liste Top500, Sunway TaihuLight). L'efficacité énergétique de Titan est de 2 143 GFlops/watts et se classe ainsi au 105e rang, tandis que celle de Sunwai TaihuLight est de 6 051 GFlops/watts et se classe 20e (Le Green500, novembre 2017).
Le calcul du Titan approche l'exascale, soit un million de milliards de calculs par seconde (Titan), tandis que Summit devrait offrir "des performances de niveau exascal pour les problèmes d'apprentissage profond - l'équivalent d'un milliard de milliards de calculs par seconde", améliorant ainsi considérablement les capacités du MENNDL, tandis que de nouvelles approches de l'IA deviendront possibles (Hines, Ibid.).
La nécessité et l'utilisation d'une immense puissance de calcul liée à la nouvelle quête réussie de création d'IA avec l'IA est encore plus évidente lorsqu'on regarde le MENNDL ORNL. En attendant, les possibilités que la puissance de calcul et la création d'IA offrent ensemble sont immenses.
À ce stade, nous nous demandons comment la Chine notamment, mais aussi d'autres pays ayant déclaré leur intention de promouvoir fortement l'IA en général, la gouvernance de l'IA en particulier, tels que les E.A.U. (voir Stratégie AI 2031 des E.A.U. - vidéo) se portent bien en termes d'IA capables de créer des IA. Les petits pays peuvent-ils rivaliser avec les États-Unis et la Chine en termes de puissance de calcul ? Qu'est-ce que cela signifie pour leur stratégie en matière d'IA ?
Avec ces deux cas, nous avons identifié la nécessité d'ajouter un autre type de DL, les algorithmes évolutifs, aux deux sur lesquels nous nous sommes concentrés jusqu'à présent, c'est-à-dire l'apprentissage supervisé et l'apprentissage de renforcement. Nous avons également commencé à délimiter les éléments fondamentaux de la puissance de calcul tels que les types d'unités de traitement, le temps, le nombre de calculs par seconde et la consommation d'énergie. Nous approfondirons ensuite notre compréhension de ces éléments en relation avec l'IA.
Enfin, en ce qui concerne ces nouveaux systèmes d'IA, nous devons souligner que leur activité même, c'est-à-dire leur création, est l'un des éléments que les êtres humains craignent de l'IA (voir Présentation de l'AI). En effet, le pouvoir créateur n'est généralement dévolu qu'à Dieu(x) et aux êtres vivants. On peut également y voir un moyen pour l'IA de se reproduire. Cette crainte que nous avons identifiée était censée être principalement liée à l'intelligence artificielle générale (AGI) - un objectif probablement lointain selon les scientifiques - et non à l'IA étroite, dont la DL fait partie (Ibid.). Pourtant, compte tenu du nouveau pouvoir créatif de la DL qui est en train de se libérer, nous pouvons nous demander si nous ne sommes pas en train de faire un pas de plus vers l'AGI. Cela signifierait également que la puissance de calcul (ainsi que, bien sûr, les algorithmes au fur et à mesure que les deux évoluent) n'est pas seulement un moteur pour la DL et l'IA étroite, mais aussi pour l'AGI.
À propos de l'auteur: Dr Hélène LavoixM. Lond, PhD (relations internationales), est le directeur de la Red (Team) Analysis Society. Elle est spécialisée dans la prévision et l'alerte stratégiques pour les questions de sécurité nationale et internationale.
Image en vedette : Graphique concernant Summit, le nouveau supercalculateur du Oak Ridge National Laboratory du ministère de l'énergie (DOE). L'image a été recadrée et fusionnée avec une autre, de Laboratoire national d'Oak Ridge Flickr, Attribution 2.0 Générique (CC BY 2.0).