Dans cet article, nous allons examiner plus en détail la relation entre l'intelligence artificielle (IA) dans sa composante d'apprentissage approfondi et la puissance de calcul ou le matériel informatique, une relation que nous avons commencé à explorer dans notre article précédent, "Quand l'IA a commencé à créer l'IA“. Les bases pour comprendre le lien entre AI-Deep Leaning et la puissance de calcul étant posées, le prochain article se concentrera sur les conséquences politiques et géopolitiques de cette relation, tout en considérant une incertitude critique mise à jour ici et selon laquelle l'évolution vers la co-conception de l'architecture et du matériel d'AI-Deep Learning pourrait modifier l'ensemble du domaine.
Liens connexes
Intelligence artificielle, puissance informatique et géopolitique (2)ce qui pourrait arriver à des acteurs dont le HPC est insuffisant dans un monde AI, un monde où la distribution du pouvoir résulte désormais aussi de l'AI, alors qu'une menace pour l'ordre westphalien émerge
Course et puissance du calcul haute performance - Intelligence artificielle, puissance de calcul et géopolitique (3): Le cadre complexe dans lequel les réponses disponibles aux acteurs en matière de HPC, compte tenu de son importance cruciale, doivent être situées.
Gagner la course à l'informatique à l'échelle industrielle - Intelligence artificielle, puissance de calcul et géopolitique (4): La course à l'exascale informatique, état des lieux, et impacts sur le pouvoir et le (dés)ordre politique et géopolitique ; perturbations possibles de la course.
Notre objectif est de mieux comprendre comment la puissance de calcul peut être à la fois le moteur, l'enjeu et la force de l'expansion de l'IA et du monde émergent de l'IA qui y est lié. La puissance de calcul est l'un des six moteurs que nous avons identifiés et qui non seulement agissent comme des forces derrière l'expansion de l'IA mais aussi, en tant que tels, deviennent des enjeux dans la compétition entre les acteurs dans la course à la puissance de l'IA (Hélène Lavoix, "Intelligence artificielle - Forces, moteurs et enjeux” The Red Team Analysis Society26 mars 2018).
Dans cet article, nous montrons que l'apprentissage en profondeur de l'IA a effectivement besoin d'une grande puissance de calcul, bien qu'elle varie selon les différentes phases de calcul et évolue avec les améliorations. Même si les progrès des systèmes d'IA entraînent une diminution de la demande de puissance de calcul tout au long du processus de création d'un système d'IA, la recherche même d'optimisation exige non seulement une plus grande puissance de calcul, mais entraîne également des changements dans le domaine du matériel (que nous verrons plus en détail dans le prochain article), et même, potentiellement, en termes d'algorithmes. En attendant, plus de puissance de calcul signifie également la possibilité d'aller plus loin en termes d'apprentissage approfondi et d'IA, confirmant en fait que la puissance de calcul est un moteur de l'expansion de l'IA. Des boucles de rétroaction ou plutôt des spirales commencent donc à apparaître entre l'IA et son expansion et au moins deux de ses moteurs, la puissance de calcul et les "algorithmes".
- La nouvelle course à l'espace (1) - Les BRICS et l'exploitation minière de l'espace
- De l'uranium pour la renaissance nucléaire américaine : Répondre à des besoins sans précédent (1)
- Cinquième année de formation avancée sur les systèmes d'alerte précoce et les indicateurs - ESFSI de Tunisie
- Vers une renaissance nucléaire américaine ?
- AI at War (3) - L'hyper-guerre au Moyen-Orient
Nous expliquons d'abord la méthodologie utilisée pour découvrir le lien entre l'apprentissage en profondeur de l'IA (AI-Deep Learning, DL) et la puissance de calcul dans un écosystème en évolution rapide, et nous soulignons deux nouvelles frontières probables dans le domaine de l'apprentissage en profondeur, à savoir les algorithmes évolutifs appliqués à l'apprentissage en profondeur en général et l'apprentissage de renforcement. Nous présentons également brièvement les trois phases de calcul d'un système d'AI-DL. Ensuite, nous plongeons dans chacune des phases : création, formation ou développement, et inférence ou production. Nous expliquons chacune des phases et les besoins en termes de puissance de calcul pour chacune d'entre elles. Nous allons ensuite au-delà de la catégorisation et expliquons la recherche constante d'amélioration à travers les trois phases, en soulignant l'équilibre recherché entre les éléments clés. Nous y soulignons notamment la dernière évolution vers le codage de l'architecture et du matériel des réseaux neuronaux profonds.
La vie d'un système AI-DL et la puissance de calcul dans un écosystème en évolution rapide - méthodologie
Image : L'ORNL lance le superordinateur du sommet sur Flickr (domaine public) le 30 mai 2018.
