Blog

Aug 29, 2023

La puce Nvidia H100 est la plus recherchée au monde

Il semble que tout le monde veuille mettre la main sur les puces H100 de Nvidia ces jours-ci. Microsoft et Google, qui développent des moteurs de recherche génératifs basés sur l'IA, comptent parmi les plus gros clients.

Il semble que tout le monde veuille mettre la main sur les puces H100 de Nvidia ces jours-ci.

Microsoft et Google, qui développent des moteurs de recherche génératifs basés sur l'IA, sont parmi les plus gros clients des puces H100 de Nvidia. Fabricants de serveurs affirment avoir attendu plus de six mois pour recevoir leurs dernières commandes. Les investisseurs en capital-risque achètent des puces H100 pour les startups dans lesquelles ils investissent.

Mais les entreprises technologiques ne sont pas les seules à chercher à sécuriser les H100 : l'Arabie saoudite et les Émirats arabes unis se seraient procuré des milliers de ces puces d'une valeur de 40 000 dollars pour créer leurs propres applications d'IA, selon le Financial Times, qui cite des sources anonymes.

Cette forte demande pour une puce de la part d’une entreprise a conduit à une sorte de frénésie d’achat. "Qui reçoit combien de H100 et quand est le top des potins de la vallée", comme l'a dit Andrej Karpathy d'OpenAI dans un message sur Twitter.

Même Elon Musk, au milieu de son obsession de combattre Mark Zuckerberg, a trouvé le temps de commenter la rareté des puces Nvidia. (Musk ne précise pas s'il fait référence aux puces H100 – qui ont fait leurs débuts l'année dernière – ou aux puces de Nvidia en général. Mais les puces pour l'IA font certainement fureur en ce moment.) La Tesla de Musk dépense 1 milliard de dollars pour construire un nouveau supercalculateur nommé Dojo. , pour entraîner sa flotte de véhicules autonomes et traiter les données de ceux-ci. Le plan Dojo a commencé, a déclaré Musk, uniquement parce que Tesla n'en avait pas assez GPU Nvidia : unités de traitement graphique, comme on appelle ces puces. "Franchement... s'ils pouvaient nous fournir suffisamment de GPU, nous n'aurions peut-être pas besoin de Dojo", a déclaré Musk aux investisseurs et aux analystes lors d'une conférence téléphonique en juillet. « Ils ont tellement de clients. Ils ont néanmoins eu la gentillesse de donner la priorité à certaines de nos commandes de GPU.

Si Tesla avait pu recevoir de Nvidia le nombre de puces dont il avait besoin, ces puces auraient été transférées dans des ordinateurs spécialisés qui auraient pu stocker la grande quantité de données vidéo, ce qui, selon Musk, est nécessaire pour parvenir à une « solution généralisée d’autonomie ». »

Les données doivent être traitées d'une manière ou d'une autre. Dojo est donc conçu pour être optimisé pour la formation vidéo, et non pour les systèmes d'IA générative, afin de traiter la quantité de données nécessaires aux véhicules autonomes, a déclaré Musk, ce qui est important pour parvenir à une conduite autonome plus sûre que la conduite humaine.

Les grands modèles de langage (LLM) sont formés sur des quantités massives de données pour générer des réponses complexes aux questions. Mais l’intégration des LLM dans des applications réelles telles que les moteurs de recherche nécessite beaucoup de puissance de calcul.

Dans une étude, des chercheurs de l’Université de Washington et de l’Université de Sydney ont analysé les coûts élevés liés à la gestion des LLM. Google traite plus de 99 000 requêtes de recherche par seconde. Si GPT-3 devait être intégré à chaque requête, et en supposant que chaque requête génère 500 jetons, qui sont des objets qui représentent le droit d'effectuer certaines opérations, Google aurait besoin d'environ 2,7 milliards de GPU A100 (une ancienne puce Nvidia AI) pour conserver en haut. Le coût de ces GPU dépasserait les 40 milliards de dollars rien qu’en dépenses d’investissement, estiment les chercheurs.

Ce dont Google et d'autres entreprises ont besoin, c'est d'une puce plus puissante et plus performante au même prix ou à un prix inférieur, a déclaré Willy Shih, professeur de pratiques de gestion à la Harvard Business School et qui a auparavant travaillé chez IBM et Silicon Valley Graphics. Entrez le Nvidia H100, du nom de l'informaticien Grace Hopper. Le H100 est conçu pour l’IA générative et fonctionne plus rapidement que les modèles précédents. Plus les puces sont puissantes, plus vous pouvez traiter les requêtes rapidement, a déclaré Shih.

La demande de puces IA hautes performances a été une aubaine pour Nvidia, qui domine le marché – en partie grâce à la chance – alors que ses concurrents se démènent pour rattraper leur retard.

Alors que les startups d’IA générative travaillent à se développer et se retrouvent à court de H100, cela présente des opportunités pour les concurrents, tels qu’Amazon et Google, qui travaillent à la construction de leurs propres puces de type Nvidia, de se montrer à la hauteur. Les puces d'Amazon s'appellent Inferentia et Tranium ; Les Google sont des unités de traitement tensoriel.