オープン AI 言語モデルは、アクセシビリティと透明性の限界に挑戦します

Mistral と Meta は最近、GPT-4、Gemini Pro、Claude 3 などに匹敵する新しいモデル Mixtral 8x22B と LLama 3 を発表し、オープンソース化しました。これらのリリースにより、オープンソース AI のリスクと定義に関する議論が再燃しました。これらのモデルは、データのより優れた制御と特定のニーズへの適応性を提供しますが、潜在的に悪意のある目的でのアクセス可能性と、開発と展開における透明性と責任の必要性に関して懸念が生じます。研究が LLM 機能の限界を押し広げるにつれて、オープンソース AI のメリットとリスクについての議論は今後も続くでしょう。

Nouveaux modèles de langage ouverts remettant en question les limites de l'IA

AI の限界に挑戦する新しいオープン言語モデル

Dans le paysage de l'intelligence artificielle (IA) générative, les récentes annonces de Mistral et de Meta ont suscité une onde de choc. Les deux entreprises ont présenté leurs nouveaux modèles révolutionnaires à grande échelle - Mixtral 8x22B et Llama 3 - accessibles en open source, marquant ainsi un tournant potentiel dans l'accessibilité et les débats sur l'IA ouverte.

生成人工知能 (AI) の世界では、ミストラルとメタの最近の発表が衝撃を引き起こしました。両社は、革新的な新しい大規模モデル、Mixtral 8x22B と Llama 3 をデモしました。これらはオープンソースであり、アクセシビリティとオープンな AI の議論における潜在的な転換点を示しています。

Mistral défie les modèles propriétaires avec Mixtral 8x22B

ミストラルは、Mixtral 8x22B で独自モデルに挑戦します

Mistral AI, une pionnière française de l'IA, a dévoilé Mixtral 8x22B, un LLM (Language Large Model) massif de 291 Go, accessible via un torrent en raison de sa taille imposante. Ce modèle se distingue par son approche innovante "Sparse Mixture of Experts" (SMoE), qui combine de petits modèles spécialisés avec un mécanisme dynamique de sélection de modèles. Cela permet à Mixtral 8x22B d'activer uniquement une fraction (39 milliards) de ses 141 milliards de paramètres, offrant ainsi la puissance d'un grand modèle avec une efficacité accrue.

フランスの AI パイオニアである Mistral AI は、その圧倒的なサイズにより torrent 経由でアクセスできる、大規模な 291 GB LLM (Language Large Model) である Mixtral 8x22B を発表しました。このモデルは、小規模で特殊なモデルと動的なモデル選択メカニズムを組み合わせた、革新的な「専門家の疎混合」(SMoE) アプローチで際立っています。これにより、Mixtral 8x22B は 1,410 億のパラメーターの一部 (390 億) のみをアクティブにすることができ、効率が向上した大規模モデルのパワーを提供します。

Mixtral 8x22B maîtrise plusieurs langues, notamment l'anglais, le français, l'italien, l'allemand et l'espagnol, et offre des capacités avancées de programmation (génération de code) et de raisonnement mathématique. Il dispose d'une fenêtre contextuelle de 64 000 jetons, permettant des conversations plus longues et plus cohérentes.

Mixtral 8x22B は、英語、フランス語、イタリア語、ドイツ語、スペイン語を含む複数の言語に堪能で、高度なプログラミング (コード生成) および数学的推論機能を提供します。 64,000 個のトークンのポップアップがあり、より長く、より一貫した会話が可能になります。

Meta fait progresser les LLM avec Llama 3

メタは Llama 3 で LLM を進化させます

Meta, le géant des réseaux sociaux, est entré en lice avec Llama 3, la dernière version de son populaire LLM open source. Llama 3 se démarque par sa conception multimodale, lui permettant d'analyser et de comprendre des images. Meta a également retravaillé les phases de pré-entraînement, post-entraînement et de tokenisation, avec des techniques telles que le filtrage des données, l'attention groupée aux requêtes et le réentraînement sur 15 000 milliards de jetons.

ソーシャル メディアの巨人である Meta は、人気の高いオープンソース LLM の最新バージョンである Llama 3 でこの争いに参入しました。 Llama 3 は、画像の分析と理解を可能にするマルチモーダルなデザインで際立っています。 Meta はまた、データ フィルタリング、クエリ クラスタリング、15 兆個のトークンの再トレーニングなどの技術を使用して、トレーニング前、トレーニング後、トークン化の各フェーズを作り直しました。

Le résultat est un modèle plus fiable, moins sujet aux hallucinations et surpassant les performances de Claude 3 et de Gemini Pro 1.5 d'OpenAI, du moins en anglais, selon les benchmarks de Meta. Llama 3 est disponible en versions "8B" et "70B", et une version "400B" plus ambitieuse est en cours de développement. Meta a également annoncé des partenariats avec des fournisseurs de cloud majeurs, notamment Google, Amazon et Microsoft, pour rendre Llama 3 largement accessible.

その結果、Meta のベンチマークによれば、より信頼性が高く、幻覚が起こりにくく、少なくとも英語では OpenAI の Claude 3 や Gemini Pro 1.5 よりも優れたモデルが得られました。 Llama 3 には「8B」バージョンと「70B」バージョンがあり、より野心的な「400B」バージョンが開発中です。 Meta はまた、Llama 3 を広くアクセスできるようにするために、Google、Amazon、Microsoft などの主要なクラウド プロバイダーとの提携も発表しました。

Le dilemme de l'IA open source

オープンソース AI のジレンマ

Les modèles open source comme Mixtral 8x22B et Llama 3 ont ravivé le débat sur l'IA open source. Bien que certains affirment que la publication des poids du modèle et du code d'inférence suffit à garantir l'ouverture, d'autres soutiennent qu'un accès à la base de données d'entraînement et au pipeline d'apprentissage est essentiel pour une véritable transparence.

Mixtral 8x22B や Llama 3 などのオープンソース モデルは、オープンソース AI の議論を再燃させています。オープン性を確保するにはモデルの重みと推論コードを公開するだけで十分だと主張する人もいますが、真の透明性を確保するにはトレーニング データベースと学習パイプラインへのアクセスが不可欠であると主張する人もいます。

Les partisans de l'IA open source soutiennent qu'elle favorise la transparence, permet aux entreprises d'adapter les IA à leurs besoins spécifiques et réduit les risques associés aux modèles propriétaires. Les détracteurs, quant à eux, expriment des inquiétudes quant à l'utilisation potentiellement malveillante de ces LLM puissants et à la diffusion de fausses informations et de propagande.

オープンソース AI の支持者は、オープンソース AI によって透明性が促進され、企業が AI を自社の特定のニーズに合わせて調整できるようになり、独自のモデルに関連するリスクが軽減されると主張しています。一方、批評家は、これらの強力な LLM の潜在的な悪意のある使用や、誤った情報やプロパガンダの拡散について懸念を表明しています。

L'avenir de l'IA reste incertain

AIの将来は依然として不確実である

Alors que les modèles de langage continuent de gagner en sophistication, la R&D se poursuit à un rythme effréné. Les LLM ont encore beaucoup à offrir, mais des questions éthiques et sociétales complexes restent à résoudre. Les débats sur les risques et les avantages de l'IA open source vont probablement se poursuivre, influençant l'avenir du développement et du déploiement de l'IA.

言語モデルが洗練され続けるにつれて、研究開発は猛烈なペースで続いています。 LLM にはまだ多くのことが提供されていますが、複雑な倫理的および社会的問題は解決されていません。オープンソース AI のリスクとメリットに関する議論は今後も続くと考えられ、AI の開発と展開の将来に影響を与えます。