Das offene KI-Sprachmodell stellt die Grenzen von Zugänglichkeit und Transparenz in Frage

Mistral und Meta haben kürzlich ihre neuen Modelle Mixtral 8x22B und LLama 3 angekündigt und als Open-Source-Modelle veröffentlicht, die mit Modellen wie GPT-4, Gemini Pro und Claude 3 konkurrieren. Diese Veröffentlichungen haben die Debatten über die Risiken und Definitionen von Open-Source-KI neu entfacht. Während diese Modelle eine bessere Kontrolle über Daten und eine Anpassungsfähigkeit an spezifische Bedürfnisse bieten, bestehen Bedenken hinsichtlich ihrer Zugänglichkeit für potenziell böswillige Zwecke und der Notwendigkeit von Transparenz und Verantwortung bei ihrer Entwicklung und Bereitstellung. Da die Forschung weiterhin die Grenzen der LLM-Fähigkeiten verschiebt, wird die Diskussion über die Vorzüge und Risiken von Open-Source-KI weitergehen.

Nouveaux modèles de langage ouverts remettant en question les limites de l'IA

Neue offene Sprachmodelle fordern die Grenzen der KI heraus

Dans le paysage de l'intelligence artificielle (IA) générative, les récentes annonces de Mistral et de Meta ont suscité une onde de choc. Les deux entreprises ont présenté leurs nouveaux modèles révolutionnaires à grande échelle - Mixtral 8x22B et Llama 3 - accessibles en open source, marquant ainsi un tournant potentiel dans l'accessibilité et les débats sur l'IA ouverte.

Im Bereich der generativen künstlichen Intelligenz (KI) haben die jüngsten Ankündigungen von Mistral und Meta Schockwellen ausgelöst. Beide Unternehmen stellten ihre revolutionären neuen Großmodelle – Mixtral 8x22B und Llama 3 – vor, die Open Source sind und einen möglichen Wendepunkt in der Zugänglichkeit und offenen KI-Debatte markieren.

Mistral défie les modèles propriétaires avec Mixtral 8x22B

Mistral fordert proprietäre Modelle mit Mixtral 8x22B heraus

Mistral AI, une pionnière française de l'IA, a dévoilé Mixtral 8x22B, un LLM (Language Large Model) massif de 291 Go, accessible via un torrent en raison de sa taille imposante. Ce modèle se distingue par son approche innovante "Sparse Mixture of Experts" (SMoE), qui combine de petits modèles spécialisés avec un mécanisme dynamique de sélection de modèles. Cela permet à Mixtral 8x22B d'activer uniquement une fraction (39 milliards) de ses 141 milliards de paramètres, offrant ainsi la puissance d'un grand modèle avec une efficacité accrue.

Mistral AI, ein französischer KI-Pionier, hat Mixtral 8x22B vorgestellt, ein riesiges LLM (Language Large Model) mit 291 GB, das aufgrund seiner imposanten Größe über Torrent zugänglich ist. Dieses Modell zeichnet sich durch seinen innovativen „Sparse Mixture of Experts“ (SMoE)-Ansatz aus, der kleine, spezialisierte Modelle mit einem dynamischen Modellauswahlmechanismus kombiniert. Dadurch kann Mixtral 8x22B nur einen Bruchteil (39 Milliarden) seiner 141 Milliarden Parameter aktivieren und bietet so die Leistung eines großen Modells mit erhöhter Effizienz.

Mixtral 8x22B maîtrise plusieurs langues, notamment l'anglais, le français, l'italien, l'allemand et l'espagnol, et offre des capacités avancées de programmation (génération de code) et de raisonnement mathématique. Il dispose d'une fenêtre contextuelle de 64 000 jetons, permettant des conversations plus longues et plus cohérentes.

Mixtral 8x22B beherrscht mehrere Sprachen, darunter Englisch, Französisch, Italienisch, Deutsch und Spanisch, und bietet erweiterte Programmier- (Codegenerierung) und mathematische Argumentationsfunktionen. Es verfügt über ein Popup mit 64.000 Token, was längere und kohärentere Gespräche ermöglicht.

Meta fait progresser les LLM avec Llama 3

Meta treibt LLMs mit Llama 3 voran

Meta, le géant des réseaux sociaux, est entré en lice avec Llama 3, la dernière version de son populaire LLM open source. Llama 3 se démarque par sa conception multimodale, lui permettant d'analyser et de comprendre des images. Meta a également retravaillé les phases de pré-entraînement, post-entraînement et de tokenisation, avec des techniques telles que le filtrage des données, l'attention groupée aux requêtes et le réentraînement sur 15 000 milliards de jetons.

Meta, der Social-Media-Riese, ist mit Llama 3, der neuesten Version seines beliebten Open-Source-LLM, in den Kampf eingestiegen. Llama 3 zeichnet sich durch sein multimodales Design aus, das es ermöglicht, Bilder zu analysieren und zu verstehen. Meta hat auch die Phasen vor dem Training, nach dem Training und der Tokenisierung überarbeitet, mit Techniken wie Datenfilterung, Abfrage-Clustering und Umschulung auf 15 Billionen Token.

Le résultat est un modèle plus fiable, moins sujet aux hallucinations et surpassant les performances de Claude 3 et de Gemini Pro 1.5 d'OpenAI, du moins en anglais, selon les benchmarks de Meta. Llama 3 est disponible en versions "8B" et "70B", et une version "400B" plus ambitieuse est en cours de développement. Meta a également annoncé des partenariats avec des fournisseurs de cloud majeurs, notamment Google, Amazon et Microsoft, pour rendre Llama 3 largement accessible.

Das Ergebnis ist ein zuverlässigeres Modell, das weniger anfällig für Halluzinationen ist und laut Metas Benchmarks Claude 3 und Gemini Pro 1.5 von OpenAI übertrifft, zumindest auf Englisch. Llama 3 ist in den Versionen „8B“ und „70B“ erhältlich, eine ehrgeizigere Version „400B“ ist in Entwicklung. Meta kündigte außerdem Partnerschaften mit großen Cloud-Anbietern an, darunter Google, Amazon und Microsoft, um Llama 3 allgemein zugänglich zu machen.

Le dilemme de l'IA open source

Das Open-Source-KI-Dilemma

Les modèles open source comme Mixtral 8x22B et Llama 3 ont ravivé le débat sur l'IA open source. Bien que certains affirment que la publication des poids du modèle et du code d'inférence suffit à garantir l'ouverture, d'autres soutiennent qu'un accès à la base de données d'entraînement et au pipeline d'apprentissage est essentiel pour une véritable transparence.

Open-Source-Modelle wie Mixtral 8x22B und Llama 3 haben die Open-Source-KI-Debatte neu entfacht. Während einige argumentieren, dass die Veröffentlichung von Modellgewichten und Inferenzcode ausreicht, um Offenheit zu gewährleisten, argumentieren andere, dass der Zugriff auf die Trainingsdatenbank und die Lernpipeline für echte Transparenz unerlässlich ist.

Les partisans de l'IA open source soutiennent qu'elle favorise la transparence, permet aux entreprises d'adapter les IA à leurs besoins spécifiques et réduit les risques associés aux modèles propriétaires. Les détracteurs, quant à eux, expriment des inquiétudes quant à l'utilisation potentiellement malveillante de ces LLM puissants et à la diffusion de fausses informations et de propagande.

Befürworter von Open-Source-KI argumentieren, dass sie die Transparenz fördert, es Unternehmen ermöglicht, KIs an ihre spezifischen Bedürfnisse anzupassen, und die mit proprietären Modellen verbundenen Risiken verringert. Kritiker äußern unterdessen Bedenken hinsichtlich der potenziell böswilligen Nutzung dieser leistungsstarken LLMs und der Verbreitung von Fehlinformationen und Propaganda.

L'avenir de l'IA reste incertain

Die Zukunft der KI bleibt ungewiss

Alors que les modèles de langage continuent de gagner en sophistication, la R&D se poursuit à un rythme effréné. Les LLM ont encore beaucoup à offrir, mais des questions éthiques et sociétales complexes restent à résoudre. Les débats sur les risques et les avantages de l'IA open source vont probablement se poursuivre, influençant l'avenir du développement et du déploiement de l'IA.

Da Sprachmodelle immer ausgefeilter werden, schreitet die Forschung und Entwicklung rasant voran. LLMs haben noch viel zu bieten, aber komplexe ethische und gesellschaftliche Fragen müssen noch geklärt werden. Die Debatten über die Risiken und Vorteile von Open-Source-KI werden wahrscheinlich weitergehen und die Zukunft der KI-Entwicklung und -Bereitstellung beeinflussen.