|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Articles d’actualité sur les crypto-monnaies
Forçage de diffusion : une nouvelle approche de la modélisation de séquences qui combine les atouts des modèles de jeton suivant et de séquence complète
Oct 22, 2024 at 10:47 pm
Bon nombre des applications révolutionnaires de l’intelligence artificielle (IA) apparues ces dernières années doivent leur succès à une large catégorie d’algorithmes appelés modèles de séquence.
Sequence models have played a crucial role in the development of several groundbreaking artificial intelligence (AI) applications in recent years. For instance, the algorithms that power popular large language models like Llama, ChatGPT, and Gemini belong to a specific category of sequence models that perform next-token (or word) prediction.
Les modèles de séquence ont joué un rôle crucial dans le développement de plusieurs applications révolutionnaires d’intelligence artificielle (IA) ces dernières années. Par exemple, les algorithmes qui alimentent les grands modèles de langage populaires comme Llama, ChatGPT et Gemini appartiennent à une catégorie spécifique de modèles de séquence qui effectuent la prédiction du prochain jeton (ou mot).
Text-to-video tools, such as Sora, are also based on sequence models, but in these cases the models used can predict the full sequence of a result, not just the next token.
Les outils de conversion texte-vidéo, tels que Sora, sont également basés sur des modèles de séquence, mais dans ces cas, les modèles utilisés peuvent prédire la séquence complète d'un résultat, et pas seulement le jeton suivant.
Traditionally, sequence models built for next-token prediction can generate sequences of variable lengths but struggle with long-term planning. On the other hand, full-sequence models excel at long-term planning but are limited to fixed-length input and output sequences. This leaves both classes of models with their own set of trade-offs, each leaving something different to be desired.
Traditionnellement, les modèles de séquence construits pour la prédiction du prochain jeton peuvent générer des séquences de longueurs variables mais ont du mal à planifier à long terme. D’un autre côté, les modèles à séquence complète excellent dans la planification à long terme mais sont limités à des séquences d’entrée et de sortie de longueur fixe. Cela laisse les deux classes de modèles avec leur propre ensemble de compromis, chacun laissant quelque chose de différent à désirer.
Researchers at MIT CSAIL and the Technical University of Munich have proposed a novel approach called Diffusion Forcing to combine the strengths of both next-token and full-sequence models. This technique improves both the quality and adaptability of sequence models.
Des chercheurs du MIT CSAIL et de l'Université technique de Munich ont proposé une nouvelle approche appelée Diffusion Forcing pour combiner les atouts des modèles de jeton suivant et de séquence complète. Cette technique améliore à la fois la qualité et l'adaptabilité des modèles de séquence.
At its core, Diffusion Forcing builds on "Teacher Forcing," which simplifies sequence generation into smaller, manageable steps by predicting one token at a time. Diffusion Forcing introduces the concept of "fractional masking," where noise is added to the data in varying amounts, mimicking the process of partially obscuring or masking tokens. The model is then trained to remove this noise and predict the next few tokens, allowing it to simultaneously handle denoising and future predictions. This method makes the model highly adaptable to tasks involving noisy or incomplete data, enabling it to generate precise, stable outputs.
À la base, Diffusion Forcing s'appuie sur le « Teacher Forcing », qui simplifie la génération de séquences en étapes plus petites et gérables en prédisant un jeton à la fois. Le forçage de diffusion introduit le concept de « masquage fractionnaire », dans lequel du bruit est ajouté aux données en quantités variables, imitant le processus d'obscurcissement ou de masquage partiel des jetons. Le modèle est ensuite entraîné pour supprimer ce bruit et prédire les prochains jetons, ce qui lui permet de gérer simultanément le débruitage et les prédictions futures. Cette méthode rend le modèle hautement adaptable aux tâches impliquant des données bruitées ou incomplètes, lui permettant de générer des sorties précises et stables.
The researchers validated the Diffusion Forcing technique through a series of experiments in robotics and video generation. In one experiment, the team applied the method to a robotic arm tasked with swapping two toy fruits across three circular mats. Despite visual distractions like a shopping bag obstructing its view, the robotic arm successfully completed the task, demonstrating Diffusion Forcing’s ability to filter out noisy data and make reliable decisions.
Les chercheurs ont validé la technique de diffusion forcée grâce à une série d’expériences en robotique et en génération vidéo. Dans une expérience, l’équipe a appliqué la méthode à un bras robotique chargé d’échanger deux fruits jouets sur trois tapis circulaires. Malgré des distractions visuelles comme un sac de courses obstruant sa vue, le bras robotique a réussi la tâche, démontrant la capacité du Diffusion Forcing à filtrer les données bruyantes et à prendre des décisions fiables.
In another set of experiments, Diffusion Forcing was tested in video generation, where it was trained on gameplay footage from Minecraft and simulated environments in Google’s DeepMind Lab. Compared to traditional diffusion models and next-token models, Diffusion Forcing produced higher-resolution and more stable videos from single frames, even outperforming baselines that struggled to maintain coherence beyond 72 frames.
Dans une autre série d'expériences, Diffusion Forcing a été testé dans la génération vidéo, où il a été formé sur des séquences de jeu de Minecraft et des environnements simulés dans le DeepMind Lab de Google. Par rapport aux modèles de diffusion traditionnels et aux modèles de jetons suivants, Diffusion Forcing a produit des vidéos de plus haute résolution et plus stables à partir d'images uniques, surpassant même les lignes de base qui avaient du mal à maintenir la cohérence au-delà de 72 images.
Finally, in a maze-solving task, the method generated faster and more accurate plans than six baseline models, showcasing its potential for long-horizon tasks like motion planning in robotics.
Enfin, dans une tâche de résolution de labyrinthe, la méthode a généré des plans plus rapides et plus précis que six modèles de base, démontrant ainsi son potentiel pour des tâches à long terme telles que la planification de mouvements en robotique.
Overall, Diffusion Forcing provides a flexible framework for both long-term planning and variable-length sequence generation, making it valuable in diverse fields such as robotics, video generation, and AI planning. The technique's ability to handle uncertainty and adapt to new inputs could ultimately lead to advancements in how robots learn and perform complex tasks in unpredictable environments.
Dans l’ensemble, Diffusion Forcing fournit un cadre flexible pour la planification à long terme et la génération de séquences de longueur variable, ce qui le rend précieux dans divers domaines tels que la robotique, la génération vidéo et la planification de l’IA. La capacité de la technique à gérer l'incertitude et à s'adapter à de nouvelles entrées pourrait à terme conduire à des progrès dans la façon dont les robots apprennent et effectuent des tâches complexes dans des environnements imprévisibles.
Clause de non-responsabilité:info@kdj.com
Les informations fournies ne constituent pas des conseils commerciaux. kdj.com n’assume aucune responsabilité pour les investissements effectués sur la base des informations fournies dans cet article. Les crypto-monnaies sont très volatiles et il est fortement recommandé d’investir avec prudence après une recherche approfondie!
Si vous pensez que le contenu utilisé sur ce site Web porte atteinte à vos droits d’auteur, veuillez nous contacter immédiatement (info@kdj.com) et nous le supprimerons dans les plus brefs délais.
-
- Prédiction de prix Bittensor [TAO] : des perspectives haussières signalent un rebond potentiel à partir d'un support de 500 $
- Oct 23, 2024 at 02:30 am
- Bittensor [TAO] a attiré une attention considérable en tant que l'une des principales pièces d'IA prêtes pour une croissance à long terme. Malgré une baisse de 10 % au cours de la semaine dernière, le jeton a connu une augmentation de 20 % ce mois-ci, indiquant des perspectives haussières sur des périodes plus longues.
-
- D3 Global lance les noms de domaine .APE pour la communauté ApeCoin
- Oct 23, 2024 at 02:25 am
- D3 Global, une société de noms de domaine web3, a lancé des noms de domaine de premier niveau pour la communauté ApeCoin. Une annonce publiée par la société le 22 octobre indique que l'écosystème ApeCoin (APE) peut désormais utiliser les noms de domaine de premier niveau .APE sur la nouvelle solution de couche 2 ApeChain.
-
- ZeroLend conclut un partenariat de données avec Token Terminal
- Oct 23, 2024 at 02:25 am
- ZeroLend, un projet de prêt à croissance rapide, a conclu un partenariat de données avec Token Terminal. La collaboration vise à améliorer les rapports des parties prenantes grâce à des analyses en chaîne améliorées.
-
- La carte Avalanche : une nouvelle façon de dépenser votre crypto-monnaie
- Oct 23, 2024 at 02:25 am
- La Fondation Avalanche, connue pour ses contributions innovantes au paysage des crypto-monnaies et de la blockchain, a annoncé le lancement de l'Avalanche Card, une carte de dépenses Visa en crypto-monnaie.
-
- Pourquoi les baleines Dogecoin achètent des jetons DTX Exchange (DTX)
- Oct 23, 2024 at 02:25 am
- Les baleines Dogecoin ont commencé à acheter des jetons DTX Exchange (DTX) après avoir vendu leurs avoirs TON. Ce changement a attiré l'attention de nombreuses personnes dans le domaine de la cryptographie.
-
- Le volume des échanges d'Uniswap (UNI) a augmenté de 150 % au cours des dernières 24 heures, dépassant les 400 millions de dollars pour la première fois en près de 10 jours.
- Oct 23, 2024 at 02:25 am
- Ce développement s'est produit après que la bourse sud-coréenne Upbit a répertorié de nouvelles paires de trading pour l'altcoin.
-
- La prévente de BlockDAG (BDAG) entre dans l'histoire en atteignant 100 millions de dollars et les prévisions de prix du BCH suggèrent une cassure - En savoir plus sur Chainlink News
- Oct 23, 2024 at 02:25 am
- De nos jours, la plupart des traders sont caractérisés par un optimisme prudent, dont beaucoup trouvent un équilibre entre les risques identifiés et les possibilités de récompenses élevées.