Open AI Language Models Challenge Boundaries of Accessibility and Transparency

Mistral and Meta have recently announced and open-sourced their new models, Mixtral 8x22B and LLama 3, rivaling the likes of GPT-4, Gemini Pro, and Claude 3. These releases have rekindled debates on the risks and definitions of open source AI. While these models provide greater control over data and adaptability to specific needs, concerns arise regarding their accessibility for potentially malicious purposes and the need for transparency and responsibility in their development and deployment. As research continues to push the boundaries of LLM capabilities, the discussion on the merits and risks of open source AI will continue.

Nouveaux modèles de langage ouverts remettant en question les limites de l'IA

Dans le paysage de l'intelligence artificielle (IA) générative, les récentes annonces de Mistral et de Meta ont suscité une onde de choc. Les deux entreprises ont présenté leurs nouveaux modèles révolutionnaires à grande échelle - Mixtral 8x22B et Llama 3 - accessibles en open source, marquant ainsi un tournant potentiel dans l'accessibilité et les débats sur l'IA ouverte.

Mistral défie les modèles propriétaires avec Mixtral 8x22B

Mistral AI, une pionnière française de l'IA, a dévoilé Mixtral 8x22B, un LLM (Language Large Model) massif de 291 Go, accessible via un torrent en raison de sa taille imposante. Ce modèle se distingue par son approche innovante "Sparse Mixture of Experts" (SMoE), qui combine de petits modèles spécialisés avec un mécanisme dynamique de sélection de modèles. Cela permet à Mixtral 8x22B d'activer uniquement une fraction (39 milliards) de ses 141 milliards de paramètres, offrant ainsi la puissance d'un grand modèle avec une efficacité accrue.

Mixtral 8x22B maîtrise plusieurs langues, notamment l'anglais, le français, l'italien, l'allemand et l'espagnol, et offre des capacités avancées de programmation (génération de code) et de raisonnement mathématique. Il dispose d'une fenêtre contextuelle de 64 000 jetons, permettant des conversations plus longues et plus cohérentes.

Meta fait progresser les LLM avec Llama 3

Meta, le géant des réseaux sociaux, est entré en lice avec Llama 3, la dernière version de son populaire LLM open source. Llama 3 se démarque par sa conception multimodale, lui permettant d'analyser et de comprendre des images. Meta a également retravaillé les phases de pré-entraînement, post-entraînement et de tokenisation, avec des techniques telles que le filtrage des données, l'attention groupée aux requêtes et le réentraînement sur 15 000 milliards de jetons.

Le résultat est un modèle plus fiable, moins sujet aux hallucinations et surpassant les performances de Claude 3 et de Gemini Pro 1.5 d'OpenAI, du moins en anglais, selon les benchmarks de Meta. Llama 3 est disponible en versions "8B" et "70B", et une version "400B" plus ambitieuse est en cours de développement. Meta a également annoncé des partenariats avec des fournisseurs de cloud majeurs, notamment Google, Amazon et Microsoft, pour rendre Llama 3 largement accessible.

Le dilemme de l'IA open source

Les modèles open source comme Mixtral 8x22B et Llama 3 ont ravivé le débat sur l'IA open source. Bien que certains affirment que la publication des poids du modèle et du code d'inférence suffit à garantir l'ouverture, d'autres soutiennent qu'un accès à la base de données d'entraînement et au pipeline d'apprentissage est essentiel pour une véritable transparence.

Les partisans de l'IA open source soutiennent qu'elle favorise la transparence, permet aux entreprises d'adapter les IA à leurs besoins spécifiques et réduit les risques associés aux modèles propriétaires. Les détracteurs, quant à eux, expriment des inquiétudes quant à l'utilisation potentiellement malveillante de ces LLM puissants et à la diffusion de fausses informations et de propagande.

L'avenir de l'IA reste incertain

Alors que les modèles de langage continuent de gagner en sophistication, la R&D se poursuit à un rythme effréné. Les LLM ont encore beaucoup à offrir, mais des questions éthiques et sociétales complexes restent à résoudre. Les débats sur les risques et les avantages de l'IA open source vont probablement se poursuivre, influençant l'avenir du développement et du déploiement de l'IA.