Les processeurs apparaissent comme des prétendants aux petits modèles d'IA générative

IA générative basée sur le processeur : Intel et Ampere affirment que leurs puces peuvent gérer des modèles plus petits. Les optimisations et les avancées matérielles réduisent les pénalités de performances associées à l'IA uniquement CPU. Les processeurs Intel Granite Rapids Xeon 6 et Altra d'Ampère démontrent des résultats prometteurs avec de petits LLM. Les processeurs ne remplacent peut-être pas les GPU pour les modèles plus grands en raison de goulots d'étranglement en matière de mémoire et de calcul, mais ils présentent un potentiel pour les applications d'entreprise gérant des modèles plus petits.

CPUs Emerge as Viable Option for Running Small Generative AI Models

Les processeurs apparaissent comme une option viable pour exécuter de petits modèles d’IA génératifs

Amidst the proliferation of generative AI chatbots like ChatGPT and Gemini, discussions have centered on their dependence on high-performance computing resources such as GPUs and dedicated accelerators. However, recent advancements in CPU technology are challenging this paradigm, suggesting that CPUs can effectively handle smaller generative AI models.

Au milieu de la prolifération des chatbots génératifs d’IA comme ChatGPT et Gemini, les discussions se sont concentrées sur leur dépendance à l’égard de ressources informatiques hautes performances telles que les GPU et les accélérateurs dédiés. Cependant, les progrès récents de la technologie des processeurs remettent en question ce paradigme, suggérant que les processeurs peuvent gérer efficacement des modèles d’IA génératifs plus petits.

Performance Enhancements through Software Optimizations and Hardware Improvements

Améliorations des performances grâce à des optimisations logicielles et des améliorations matérielles

Traditionally, running large language models (LLMs) on CPU cores has been hampered by slower performance. However, ongoing software optimizations and hardware enhancements are bridging this performance gap.

Traditionnellement, l’exécution de grands modèles de langage (LLM) sur les cœurs de processeur était entravée par des performances plus lentes. Cependant, les optimisations logicielles et les améliorations matérielles en cours comblent cet écart de performances.

Intel has showcased promising results with its upcoming Granite Rapids Xeon 6 processor, demonstrating the ability to run Meta's Llama2-70B model at 82 milliseconds (ms) of second token latency, a significant improvement over its previous Xeon processors. Oracle has also reported impressive performance running the Llama2-7B model on Ampere's Altra CPUs, achieving throughput ranging from 33 to 119 tokens per second.

Intel a présenté des résultats prometteurs avec son prochain processeur Granite Rapids Xeon 6, démontrant sa capacité à exécuter le modèle Llama2-70B de Meta à 82 millisecondes (ms) de latence du deuxième jeton, une amélioration significative par rapport à ses précédents processeurs Xeon. Oracle a également signalé des performances impressionnantes en exécutant le modèle Llama2-7B sur les processeurs Altra d'Ampère, atteignant un débit allant de 33 à 119 jetons par seconde.

Customizations and Collaborations Enhance Performance

Les personnalisations et les collaborations améliorent les performances

These performance gains are attributed to custom software libraries and optimizations made in collaboration with Oracle. Intel and Oracle have subsequently shared performance data for Meta's newly launched Llama3 models, which exhibit similar characteristics.

Ces gains de performances sont attribués aux bibliothèques logicielles personnalisées et aux optimisations réalisées en collaboration avec Oracle. Intel et Oracle ont ensuite partagé les données de performances des nouveaux modèles Llama3 de Meta, qui présentent des caractéristiques similaires.

Suitability for Small Models and Potential for Modestly Sized Models

Adéquation aux petits modèles et potentiel pour les modèles de taille modeste

Based on the available performance data, CPUs have emerged as a viable option for running small generative AI models. It is anticipated that CPUs may soon be capable of handling modestly sized models, especially at lower batch sizes.

Sur la base des données de performances disponibles, les processeurs sont apparus comme une option viable pour exécuter de petits modèles d’IA génératifs. Il est prévu que les processeurs soient bientôt capables de gérer des modèles de taille modeste, en particulier pour des lots de taille inférieure.

Persistent Bottlenecks Limit Replaceability of GPUs and Accelerators for Larger Models

Des goulots d'étranglement persistants limitent la remplaçabilité des GPU et des accélérateurs pour les modèles plus grands

While CPUs demonstrate improved performance for generative AI workloads, it is important to note that various compute and memory bottlenecks prevent them from fully replacing GPUs or dedicated accelerators for larger models. For state-of-the-art generative AI models, specialized products like Intel's Gaudi accelerator are still necessary.

Bien que les processeurs démontrent des performances améliorées pour les charges de travail d’IA générative, il est important de noter que divers goulots d’étranglement en matière de calcul et de mémoire les empêchent de remplacer complètement les GPU ou les accélérateurs dédiés pour les modèles plus grands. Pour les modèles d'IA générative de pointe, des produits spécialisés comme l'accélérateur Gaudi d'Intel sont toujours nécessaires.

Overcoming Memory Limitations through Innovative Technologies

Surmonter les limitations de mémoire grâce à des technologies innovantes

Unlike GPUs, CPUs rely on less expensive and more capacious DRAM modules for memory, which presents a significant advantage for running large models. However, CPUs are constrained by limited memory bandwidth compared to GPUs with HBM modules.

Contrairement aux GPU, les processeurs s'appuient sur des modules DRAM moins chers et plus volumineux pour la mémoire, ce qui présente un avantage significatif pour l'exécution de grands modèles. Cependant, les processeurs sont limités par une bande passante mémoire limitée par rapport aux GPU équipés de modules HBM.

Intel's Granite Rapids Xeon 6 platform addresses this limitation with the introduction of Multiplexer Combined Rank (MCR) DIMMs, which facilitate much faster memory access. This technology, combined with Intel's enhanced AMX engine, doubles the effective performance and reduces model footprint and memory requirements.

La plate-forme Granite Rapids Xeon 6 d'Intel résout cette limitation avec l'introduction de modules DIMM Multiplexer Combined Rank (MCR), qui facilitent un accès mémoire beaucoup plus rapide. Cette technologie, combinée au moteur AMX amélioré d'Intel, double les performances effectives et réduit l'encombrement du modèle et les besoins en mémoire.

Balanced Approach to AI Capability Optimization

Approche équilibrée de l’optimisation des capacités de l’IA

CPU designers face the challenge of optimizing their products for a wide range of AI models. Instead of prioritizing the ability to run the most demanding LLMs, vendors focus on identifying the distribution of models and targeting enterprise-grade workloads.

Les concepteurs de processeurs sont confrontés au défi d’optimiser leurs produits pour une large gamme de modèles d’IA. Au lieu de donner la priorité à la capacité d’exécuter les LLM les plus exigeants, les fournisseurs se concentrent sur l’identification de la distribution des modèles et le ciblage des charges de travail de niveau entreprise.

Data from both Intel and Ampere suggests that the sweet spot for AI models in the current market lies within the 7-13 billion parameter range. These models are expected to remain mainstream, while frontier models may continue to grow in size at a slower pace.

Les données d'Intel et d'Ampère suggèrent que le point idéal pour les modèles d'IA sur le marché actuel se situe dans la plage de 7 à 13 milliards de paramètres. Ces modèles devraient rester courants, tandis que les modèles frontières pourraient continuer à croître en taille à un rythme plus lent.

Competitive Performance Against GPUs at Low Batch Sizes

Performances compétitives par rapport aux GPU avec de faibles tailles de lots

Ampere's testing revealed competitive performance between its CPUs and Arm CPUs from AWS and Nvidia's A10 GPU for small batch sizes. However, GPUs gain an advantage at higher batch sizes due to their massive compute capacity.

Les tests d'Ampère ont révélé des performances compétitives entre ses processeurs et les processeurs Arm d'AWS et le GPU A10 de Nvidia pour les petits lots. Cependant, les GPU bénéficient d’un avantage dans les lots de taille plus élevée en raison de leur énorme capacité de calcul.

Nonetheless, Ampere argues that the scalability of CPUs makes them more suitable for enterprise environments where the need for large-scale parallel processing is less common.

Néanmoins, Ampere affirme que l'évolutivité des processeurs les rend plus adaptés aux environnements d'entreprise où le besoin de traitement parallèle à grande échelle est moins courant.

Conclusion

Conclusion

As generative AI technology evolves, CPUs are emerging as a viable option for running small and potentially modestly sized models, thanks to ongoing performance enhancements and innovative memory solutions. While GPUs and dedicated accelerators remain essential for larger models, CPUs are poised to play a significant role in the practical deployment of AI solutions for enterprise applications.

À mesure que la technologie de l'IA générative évolue, les processeurs apparaissent comme une option viable pour exécuter des modèles petits et potentiellement de taille modeste, grâce à l'amélioration continue des performances et aux solutions de mémoire innovantes. Si les GPU et les accélérateurs dédiés restent essentiels pour les modèles plus grands, les CPU sont sur le point de jouer un rôle important dans le déploiement pratique de solutions d’IA pour les applications d’entreprise.