|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Nachrichtenartikel zu Kryptowährungen
Diffusion Forcing: Ein neuer Ansatz zur Sequenzmodellierung, der die Stärken von Next-Token- und Full-Sequence-Modellen kombiniert
Oct 22, 2024 at 10:47 pm
Viele der bahnbrechenden Anwendungen der künstlichen Intelligenz (KI), die in den letzten Jahren entstanden sind, verdanken ihren Erfolg einer breiten Kategorie von Algorithmen, die als Sequenzmodelle bezeichnet werden.
Sequence models have played a crucial role in the development of several groundbreaking artificial intelligence (AI) applications in recent years. For instance, the algorithms that power popular large language models like Llama, ChatGPT, and Gemini belong to a specific category of sequence models that perform next-token (or word) prediction.
Sequenzmodelle haben in den letzten Jahren eine entscheidende Rolle bei der Entwicklung mehrerer bahnbrechender Anwendungen der künstlichen Intelligenz (KI) gespielt. Beispielsweise gehören die Algorithmen, die beliebte große Sprachmodelle wie Llama, ChatGPT und Gemini unterstützen, zu einer bestimmten Kategorie von Sequenzmodellen, die eine Vorhersage des nächsten Tokens (oder Wortes) durchführen.
Text-to-video tools, such as Sora, are also based on sequence models, but in these cases the models used can predict the full sequence of a result, not just the next token.
Text-zu-Video-Tools wie Sora basieren ebenfalls auf Sequenzmodellen, aber in diesen Fällen können die verwendeten Modelle die gesamte Sequenz eines Ergebnisses vorhersagen, nicht nur den nächsten Token.
Traditionally, sequence models built for next-token prediction can generate sequences of variable lengths but struggle with long-term planning. On the other hand, full-sequence models excel at long-term planning but are limited to fixed-length input and output sequences. This leaves both classes of models with their own set of trade-offs, each leaving something different to be desired.
Traditionell können Sequenzmodelle, die für die Vorhersage des nächsten Tokens erstellt wurden, Sequenzen variabler Länge generieren, haben jedoch Schwierigkeiten mit der langfristigen Planung. Vollsequenzmodelle hingegen eignen sich hervorragend für die langfristige Planung, sind jedoch auf Eingabe- und Ausgabesequenzen fester Länge beschränkt. Dies führt dazu, dass beide Modellklassen ihre eigenen Kompromisse eingehen müssen, die jeweils etwas anderes zu wünschen übrig lassen.
Researchers at MIT CSAIL and the Technical University of Munich have proposed a novel approach called Diffusion Forcing to combine the strengths of both next-token and full-sequence models. This technique improves both the quality and adaptability of sequence models.
Forscher am MIT CSAIL und der Technischen Universität München haben einen neuartigen Ansatz namens Diffusion Forcing vorgeschlagen, um die Stärken von Next-Token- und Full-Sequence-Modellen zu kombinieren. Diese Technik verbessert sowohl die Qualität als auch die Anpassungsfähigkeit von Sequenzmodellen.
At its core, Diffusion Forcing builds on "Teacher Forcing," which simplifies sequence generation into smaller, manageable steps by predicting one token at a time. Diffusion Forcing introduces the concept of "fractional masking," where noise is added to the data in varying amounts, mimicking the process of partially obscuring or masking tokens. The model is then trained to remove this noise and predict the next few tokens, allowing it to simultaneously handle denoising and future predictions. This method makes the model highly adaptable to tasks involving noisy or incomplete data, enabling it to generate precise, stable outputs.
Im Kern baut Diffusion Forcing auf „Teacher Forcing“ auf, das die Sequenzgenerierung in kleinere, überschaubare Schritte vereinfacht, indem jeweils ein Token vorhergesagt wird. Diffusion Forcing führt das Konzept der „fraktionalen Maskierung“ ein, bei der den Daten in unterschiedlichen Mengen Rauschen hinzugefügt wird, was den Prozess der teilweisen Verschleierung oder Maskierung von Token nachahmt. Anschließend wird das Modell darauf trainiert, dieses Rauschen zu entfernen und die nächsten paar Token vorherzusagen, sodass es gleichzeitig Rauschunterdrückung und zukünftige Vorhersagen durchführen kann. Diese Methode macht das Modell sehr anpassungsfähig an Aufgaben mit verrauschten oder unvollständigen Daten und ermöglicht die Generierung präziser, stabiler Ausgaben.
The researchers validated the Diffusion Forcing technique through a series of experiments in robotics and video generation. In one experiment, the team applied the method to a robotic arm tasked with swapping two toy fruits across three circular mats. Despite visual distractions like a shopping bag obstructing its view, the robotic arm successfully completed the task, demonstrating Diffusion Forcing’s ability to filter out noisy data and make reliable decisions.
Die Forscher validierten die Diffusion Forcing-Technik durch eine Reihe von Experimenten in der Robotik und Videogenerierung. In einem Experiment wandte das Team die Methode auf einen Roboterarm an, der die Aufgabe hatte, zwei Spielzeugfrüchte auf drei kreisförmigen Matten auszutauschen. Trotz visueller Ablenkungen wie einer Einkaufstasche, die ihm die Sicht versperrte, erledigte der Roboterarm die Aufgabe erfolgreich und demonstrierte damit die Fähigkeit von Diffusion Forcing, verrauschte Daten herauszufiltern und zuverlässige Entscheidungen zu treffen.
In another set of experiments, Diffusion Forcing was tested in video generation, where it was trained on gameplay footage from Minecraft and simulated environments in Google’s DeepMind Lab. Compared to traditional diffusion models and next-token models, Diffusion Forcing produced higher-resolution and more stable videos from single frames, even outperforming baselines that struggled to maintain coherence beyond 72 frames.
In einer weiteren Reihe von Experimenten wurde Diffusion Forcing bei der Videogenerierung getestet, wo es anhand von Gameplay-Aufnahmen von Minecraft und simulierten Umgebungen im DeepMind Lab von Google trainiert wurde. Im Vergleich zu herkömmlichen Diffusionsmodellen und Next-Token-Modellen erzeugte Diffusion Forcing aus Einzelbildern höher aufgelöste und stabilere Videos und übertraf sogar Basislinien, die über 72 Bilder hinaus Schwierigkeiten hatten, die Kohärenz aufrechtzuerhalten.
Finally, in a maze-solving task, the method generated faster and more accurate plans than six baseline models, showcasing its potential for long-horizon tasks like motion planning in robotics.
Schließlich generierte die Methode bei einer Aufgabe zur Lösung eines Labyrinths schnellere und genauere Pläne als sechs Basismodelle und demonstrierte damit ihr Potenzial für Langzeitaufgaben wie die Bewegungsplanung in der Robotik.
Overall, Diffusion Forcing provides a flexible framework for both long-term planning and variable-length sequence generation, making it valuable in diverse fields such as robotics, video generation, and AI planning. The technique's ability to handle uncertainty and adapt to new inputs could ultimately lead to advancements in how robots learn and perform complex tasks in unpredictable environments.
Insgesamt bietet Diffusion Forcing einen flexiblen Rahmen sowohl für die langfristige Planung als auch für die Generierung von Sequenzen variabler Länge, was es in verschiedenen Bereichen wie Robotik, Videogenerierung und KI-Planung wertvoll macht. Die Fähigkeit der Technik, mit Unsicherheiten umzugehen und sich an neue Eingaben anzupassen, könnte letztendlich zu Fortschritten bei der Art und Weise führen, wie Roboter in unvorhersehbaren Umgebungen lernen und komplexe Aufgaben ausführen.
Haftungsausschluss:info@kdj.com
Die bereitgestellten Informationen stellen keine Handelsberatung dar. kdj.com übernimmt keine Verantwortung für Investitionen, die auf der Grundlage der in diesem Artikel bereitgestellten Informationen getätigt werden. Kryptowährungen sind sehr volatil und es wird dringend empfohlen, nach gründlicher Recherche mit Vorsicht zu investieren!
Wenn Sie glauben, dass der auf dieser Website verwendete Inhalt Ihr Urheberrecht verletzt, kontaktieren Sie uns bitte umgehend (info@kdj.com) und wir werden ihn umgehend löschen.
-
- Bittensor [TAO] Preisprognose: bullischer Ausblick signalisiert möglichen Aufschwung von der 500-Dollar-Unterstützung
- Oct 23, 2024 at 02:30 am
- Bittensor [TAO] hat als einer der Top-KI-Münzen, die auf langfristiges Wachstum vorbereitet sind, große Aufmerksamkeit erregt. Trotz eines Rückgangs um 10 % in der vergangenen Woche verzeichnete der Token in diesem Monat einen Anstieg um 20 %, was auf einen optimistischen Ausblick über längere Zeiträume hindeutet.
-
- D3 Global führt .APE-Domainnamen für die ApeCoin-Community ein
- Oct 23, 2024 at 02:25 am
- D3 Global, ein Unternehmen für Web3-Domainnamen, hat Top-Level-Domainnamen für die ApeCoin-Community eingeführt. In einer am 22. Oktober veröffentlichten Ankündigung des Unternehmens heißt es, dass das ApeCoin (APE)-Ökosystem nun die .APE-Top-Level-Domainnamen auf der neu eingeführten Layer-2-Lösung ApeChain verwenden kann.
-
- ZeroLend geht eine Datenpartnerschaft mit Token Terminal ein
- Oct 23, 2024 at 02:25 am
- ZeroLend, ein schnell wachsendes Kreditprojekt, ist eine Datenpartnerschaft mit Token Terminal eingegangen. Die Zusammenarbeit zielt darauf ab, die Berichterstattung der Stakeholder durch verbesserte On-Chain-Analysen zu verbessern.
-
- Die Avalanche Card: Eine neue Möglichkeit, Ihre Kryptowährung auszugeben
- Oct 23, 2024 at 02:25 am
- Die Avalanche Foundation, bekannt für ihre innovativen Beiträge zur Kryptowährungs- und Blockchain-Landschaft, hat die Einführung der Avalanche Card angekündigt, einer Kryptowährungs-Ausgabekarte von Visa.
-
- Das Handelsvolumen von Uniswap (UNI) ist in den letzten 24 Stunden um 150 % gestiegen und hat zum ersten Mal seit fast 10 Tagen die 400-Millionen-Dollar-Marke überschritten.
- Oct 23, 2024 at 02:25 am
- Zu dieser Entwicklung kam es, nachdem die südkoreanische Börse Upbit neue Handelspaare für den Altcoin gelistet hatte.
-
- Der Vorverkauf von BlockDAG (BDAG) schreibt Geschichte, indem er 100 Millionen US-Dollar erreicht, und BCH-Preisprognosen deuten auf einen Ausbruch hin – mehr in den Chainlink-Nachrichten
- Oct 23, 2024 at 02:25 am
- Vorsichtiger Optimismus zeichnet heutzutage die meisten Händler aus, wobei viele zwischen erkannten Risiken und Möglichkeiten mit hohem Ertrag abwägen.