Aujourd’hui, quand on parle d’intelligence artificielle, le nom de ChatGPT nous vient directement à l’esprit. Lors de sa sortie en novembre 2022, le chatbot d’OpenAI a surpris tout le monde par ses capacités à écrire dans un langage proche de celui des humains et pour son érudition. Bien que beaucoup de gens l’utilise de manière quotidienne, peu on connaissance de la technologie nécessaire pour permettre à l’IA d’OpenAI d’atteindre un tel niveau de performances. Dans deux articles de blog, Microsoft a expliqué a quel point le développement de ChatGPT fut un challenge, et c’est peu de le dire, la firme de Redmond a mis les grands moyens.
Un ordinateur surpuissant adapté à ChatGPT
Le partenariat entre Microsoft et OpenAI a débuté il y a plus de six ans, lorsque OpenAI a demandé à Microsoft de construire une infrastructure d’IA sur des milliers de GPU Nvidia. Pour relever le défi, Microsoft a dû trouver des moyens d’assembler des dizaines de milliers de puces graphiques A100 de Nvidia pour entrainer les modèles d’IA, et à du complètement modifier sa façon de positionner les serveurs sur les racks pour éviter les pannes d’électricité.
Scott Guthrie, vice-président de Microsoft chargé de l’IA et du cloud, a reconnu que l’entreprise avait dépensé « plusieurs centaines de millions de dollars sur le projet« . La majeure partie de cet argent est allée à Nvidia, qui est aujourd’hui à la pointe du matériel informatique nécessaire à l’entraînement des modèles d’IA. Ce matériel comprend des GPU d’entreprise tels que les A100 et H100.
Toutefois, Guthrie précise que la mise en place de l’infrastructure ne s’est pas limitée à rassembler des cartes graphiques et à former un modèle de langage. De nombreuses optimisations au niveau du système ont été nécessaires pour obtenir les meilleures performances.
Microsoft ouvre ses infrastructures surpuissantes à d’autres entreprises
L’infrastructure étant désormais établie, Microsoft propose à des entreprises autres qu’OpenAI d’accéder à son matériel en offrant des systèmes Nvidia H100 « à la demande, dans des configurations allant de huit à plusieurs milliers de GPU Nvidia H100 », déployés via le réseau Azure. Cette initiative a été salué par les développeurs en intelligence artificielle, qui requièrent d’importants ensembles d’unités de traitement graphique interconnectées pour entraîner leurs modèles d’IA.
A lire également
L’IA continue de se répandre et de transformer les entreprises dans de nombreux secteurs. Ces avancées sont essentielles pour repousser les limites de ce qui est réalisable dans ce domaine. Le partenariat de Microsoft avec OpenAI a permis de répondre aux besoins de formation en matière d’IA, rendant possible la recherche et le développement de systèmes tels que ChatGPT. La poursuite de l’innovation dans le domaine de l’IA laisse présager des avancées encore plus importantes à l’avenir.
