Red Hat annonce la signature d’un accord définitif pour l’acquisition de Neural Magic

Red Hat, Inc annonce la signature d’un accord définitif portant sur l’acquisition de Neural Magic,entreprise pionnière de logiciels et d’algorithmes conçus pour accélérer les charges d’inférence d’IA générative (Gen AI). L’expertise en ingénierie des performances des inférences et l’engagement de Neural Magic en faveur du modèle open source sont complètement alignés avec la vision de Red Hat : fournir des workloads d’IA très performantes qui sont directement en phase avec les cas d’utilisation et les données propres aux clients, d’un bout à l’autre des environnements de cloud hybrides.

À l’heure où les promesses de l’IA générative dominent largement le paysage technologique, la taille des grands modèles de langage (LLM) sur lesquels reposent ces systèmes ne cesse d’augmenter. En conséquence, la création de services LLM à la fois fiables et rentables requiert une puissance de calcul, des ressources énergétiques et des compétences opérationnelles spécialisées considérables — autant de défis qui empêchent la plupart des entreprises de bénéficier des atouts d’une IA personnalisée, prête à l’emploi et davantage centrée sur la sécurité.

Red Hat entend relever ces défis en permettant à un plus grand nombre d’entreprises d’accéder aux avantages de l’IA générative grâce à l’innovation ouverte et aux bibliothèques vLLM (virtual Large Language Model). Développé par l’université de Berkeley (Californie), le référentiel vLLM est un projet mené par la communauté open source en faveur du déploiement (serving) de modèles ouverts (comment les modèles d’IA générique infèrent et résolvent les problèmes), avec prise en charge de toutes les familles de modèles clés, de la recherche avancée de l’accélération des inférences et de divers outils matériels, tels que les processeurs graphiques (GPU) d’AMD, le kit de développement logiciel (SDK) AWS Neuron, les accélérateurs Google TPU et Intel Gaudi, les processeurs graphiques signés NVIDIA et les processeurs de la famille x86. Combiné au solide portefeuille de technologies d’IA de Red Hat pour les environnements de cloud hybrides, le leadership de Neural Magic dans le développement du projet vLLM ouvrira aux entreprises une nouvelle voie pour élaborer des stratégies d’IA correspondant à leurs besoins spécifiques, indépendamment de l’endroit oùrésident leurs données.

Red Hat + Neural Magic : pour une IA générative adaptée aux environnements de cloud hybrides

Neural Magic a été créée par le MIT en 2018 dans l’optique de créer des logiciels d’inférence performants destinés au deep learning. Grâce à l’expertise de Neural Magic dans la technologie et l’ingénierie des performances, Red Hat entend accélérer sa vision d’avenir pour l’IA en s’appuyant sur le portefeuille technologique Red Hat AI. Soucieux de relever les défis de l’IA d’entreprise à grande échelle, Red Hat s’appuie sur l’innovation open source pour démocratiser l’accès à la puissance transformatrice de l’intelligence artificielle grâce à :

• des modèles sous licence open source (échelle de paramètres de 1B à 405B) capables de fonctionner en tous points des environnements de cloud hybrides — dans les datacenters d’entreprise, en environnements multiclouds et en périphérie du réseau.
• des capacités d’ajustage qui permettent aux entreprises de personnaliser leurs modèles LLM avec une facilité accrue par rapport à leurs données privées et à leurs cas d’usage avec un plus haut niveau de sécurité ;
• une expertise en ingénierie des performances des inférences avec à la clé une plus grande efficacité opérationnelle et infrastructurelle ; et
• un écosystème open source et de partenaires, ainsi que des structures d’assistance qui permettent d’élargir le choix offert aux clients, des grands modèles de langage aux outils, aux serveurs homologués et aux architectures microélectroniques sous-jacentes.

Bibiothèques vLLM, un leadership technologique pour améliorer l’IA de Red Hat

Neural Magic s’appuie sur son expertise et ses connaissances de la bibliothèque vLLM pour créer une pile d’inférences de niveau entreprise grâce à laquelle ses clients peuvent optimiser, déployer et mettre à l’échelle leurs charges de travail LLM d’un bout à l’autre de leurs environnements de cloud hybrides, avec un contrôle total sur le choix de l’infrastructure, des règles de sécurité et du cycle de vie des modèles. Par ailleurs, Neural Magic mène des recherches concernant l’optimisation des modèles, développe le LLM Compressor (une bibliothèque unifiée d’optimisation des LLM qui comporte des algorithmes de quantification et de parcimonie), et maintient un référentiel de modèles pré-optimisés et prêts à être déployés avec le référentiel vLLM.

L’IA de Red Hat a pour vocation d’aider les utilisateurs à réduire le coût de l’IA et à éliminer les barrières de compétences grâce à des technologies puissantes :

• Red Hat Enterprise Linux AI (RHEL AI), une plateforme de modèles de fondation conçue pour développer, tester et exécuter les modèles LLM open source de la famille IBM Granite avec une plus grande transparence pour les applications d’entreprise déployées sur des serveurs Linux ;

• Red Hat OpenShift AI, une plateforme d’IA dont les outils permettent de développer, d’entraîner, de déployer et de surveiller rapidement des modèles d’apprentissage automatique dans des environnements Kubernetes distribués — que ce soit sur site, dans un environnement de cloud public ou en périphérie du réseau ; et
• InstructLab, un projet communautaire d’IA open source facilement accessible créé par Red Hat et IBM pour permettre à tout utilisateur de façonner l’avenir de l’IA générative en améliorant de façon collaborative les modèles LLM Granite sous licence open source à l’aide de la technologie d’ajustage d’InstructLab.