|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Articles d’actualité sur les crypto-monnaies
Pyramid Flow : une nouvelle technique pour des vidéos d'IA de haute qualité
Oct 10, 2024 at 11:23 pm
La génération de vidéos IA est une tâche gourmande en calcul qui implique généralement la modélisation de grands espaces spatio-temporels. Les méthodes traditionnelles nécessitent souvent
A new AI video generation model, Pyramid Flow, was released this week, offering high-quality video clips up to 10 seconds in length — quickly, and all open source.
Un nouveau modèle de génération de vidéo IA, Pyramid Flow, a été lancé cette semaine, offrant des clips vidéo de haute qualité d'une durée maximale de 10 secondes, rapidement et entièrement open source.
Developed by a collaboration of researchers from Peking University, Beijing University of Posts and Telecommunications, and Kuaishou Technology — the latter the creator of the well-reviewed proprietary Kling AI video generator — Pyramid Flow leverages a new technique wherein a single AI model generates video in stages, most of them low resolution, saving only a full-res version for the end of its generation process.
Développé par une collaboration de chercheurs de l'Université de Pékin, de l'Université des postes et télécommunications de Pékin et de Kuaishou Technology – ce dernier étant le créateur du générateur vidéo propriétaire Kling AI bien évalué – Pyramid Flow exploite une nouvelle technique dans laquelle un seul modèle d'IA génère de la vidéo dans étapes, pour la plupart en basse résolution, ne conservant qu'une version pleine résolution pour la fin de son processus de génération.
It’s available as raw code for download on Hugging Face and Github, and can be run in an inference shell here but requires the user to download and run the model code on their own machine.
Il est disponible sous forme de code brut en téléchargement sur Hugging Face et Github, et peut être exécuté dans un shell d'inférence ici, mais nécessite que l'utilisateur télécharge et exécute le code du modèle sur sa propre machine.
At inference, the model can generate a 5-second, 384p video in just 56 seconds—on par with or faster than many full-sequence diffusion counterparts — though Runway’s Gen 3-Alpha Turbo still takes cake in terms of speed of AI video generation, coming in at under one minute and often times 10-20 seconds in our tests.
En déduit, le modèle peut générer une vidéo 384p de 5 secondes en seulement 56 secondes, soit au même niveau ou plus rapidement que de nombreux homologues de diffusion en séquence complète, bien que le Gen 3-Alpha Turbo de Runway prenne toujours le gâteau en termes de vitesse de génération de vidéo AI. , arrivant en moins d'une minute et souvent 10 à 20 secondes dans nos tests.
We haven’t had a chance to test Pyramid Flow yet, but the videos posted by the model creators appear to be incredibly lifelike, high enough resolution, and compelling — analogous to those of proprietary offerings. You can see various examples here on its Github project page.
Nous n'avons pas encore eu l'occasion de tester Pyramid Flow, mais les vidéos publiées par les créateurs du modèle semblent incroyablement réalistes, avec une résolution suffisamment élevée et convaincantes, analogues à celles des offres propriétaires. Vous pouvez voir divers exemples ici sur sa page de projet Github.
Indeed, Pyramid Flow is available designed now to download and use — even for commercial/enterprise purposes — and is designed to compete directly with paid proprietary offerings such as Runway’s Gen-3 Alpha, Luma’s Dream Machine, Kling, and Haulio, which can cost hundreds of even thousands of dollars a year for users on unlimited generation subscriptions.
En effet, Pyramid Flow est disponible dès maintenant pour être téléchargé et utilisé – même à des fins commerciales/d'entreprise – et est conçu pour concurrencer directement les offres propriétaires payantes telles que Gen-3 Alpha de Runway, Dream Machine de Luma, Kling et Haulio, qui peuvent coûter cher. des centaines, voire des milliers de dollars par an pour les utilisateurs bénéficiant d'abonnements à génération illimitée.
As the race between various AI video providers to gain users continues, Pyramid Flow aims to bring more efficiency and flexibility to developers, artists, and creators seeking advanced video generation capabilities.
Alors que la course entre les différents fournisseurs de vidéo IA pour gagner des utilisateurs se poursuit, Pyramid Flow vise à apporter plus d'efficacité et de flexibilité aux développeurs, artistes et créateurs à la recherche de capacités avancées de génération de vidéo.
A new technique for high-quality AI videos: ‘pyramidal flow matching’
Une nouvelle technique pour des vidéos IA de haute qualité : la « correspondance de flux pyramidal »
AI video generation is a computationally intensive task that typically involves modeling large spatiotemporal spaces. Traditional methods often require separate models for different stages of the process, which limits flexibility and increases the complexity of training.
La génération de vidéos IA est une tâche gourmande en calcul qui implique généralement la modélisation de grands espaces spatio-temporels. Les méthodes traditionnelles nécessitent souvent des modèles distincts pour différentes étapes du processus, ce qui limite la flexibilité et augmente la complexité de la formation.
Pyramid Flow is built on the concept of pyramidal flow matching, a method that drastically cuts down the computational cost of video generation while maintaining high visual quality, completing the video generation process as a series of “pyramid” stages, with only the final stage operating at full resolution.
Pyramid Flow est construit sur le concept de correspondance de flux pyramidal, une méthode qui réduit considérablement le coût de calcul de la génération vidéo tout en conservant une qualité visuelle élevée, complétant le processus de génération vidéo comme une série d'étapes « pyramidales », avec seule l'étape finale fonctionnant. en pleine résolution.
It’s described in a pre-reviewed paper, “Pyramidal Flow Matching for Efficient Video Generative Modeling,” submitted to open access science journal arXiv on October 8, 2024.
Il est décrit dans un article pré-examiné, « Pyramidal Flow Matching for Efficient Video Generative Modeling », soumis à la revue scientifique en libre accès arXiv le 8 octobre 2024.
The authors include Yang Jin, Zhicheng Sun, Ningyuan Li, Kun Xu, Hao Jiang, Nan Zhuang, Quzhe Huang, Yang Song, Yadong Mu, and Zhouchen Lin. Most of these researchers are affiliated with Peking University, while others are from Kuaishou Technology.
Les auteurs incluent Yang Jin, Zhicheng Sun, Ningyuan Li, Kun Xu, Hao Jiang, Nan Zhuang, Quzhe Huang, Yang Song, Yadong Mu et Zhouchen Lin. La plupart de ces chercheurs sont affiliés à l'Université de Pékin, tandis que d'autres proviennent de Kuaishou Technology. .
As they write, the ability to compress and optimize video generation at different stages leads to faster convergence during training, allowing Pyramid Flow to generate more samples per training batch.
Au moment où ils écrivent, la possibilité de compresser et d'optimiser la génération vidéo à différentes étapes conduit à une convergence plus rapide pendant la formation, permettant à Pyramid Flow de générer plus d'échantillons par lot de formation.
For example, the proposed pyramidal flow reduces the token count by a factor of four compared to traditional diffusion models, which results in more efficient training.
Par exemple, le flux pyramidal proposé réduit le nombre de jetons d'un facteur quatre par rapport aux modèles de diffusion traditionnels, ce qui se traduit par une formation plus efficace.
The model can produce 5- to 10-second videos at 768p resolution and 24 frames per second, all while being trained on open-source datasets. Specifically, the paper states that Pyramid Flow was trained on trained on:
Le modèle peut produire des vidéos de 5 à 10 secondes à une résolution de 768p et 24 images par seconde, tout en étant formé sur des ensembles de données open source. Plus précisément, le document indique que Pyramid Flow a été formé sur :
In total, the authors curated approximately 10 million single-shot videos.
Au total, les auteurs ont organisé environ 10 millions de vidéos uniques.
However, many of these “public” or “open source” datasets have in recent years come under fire from critics for including copyrighted material without permission or informed consent of the copyright holders, and LAION-5B in particular accused of hosting child sexual abuse material.
Cependant, bon nombre de ces ensembles de données « publics » ou « open source » ont été critiqués ces dernières années pour avoir inclus du matériel protégé par le droit d'auteur sans la permission ou le consentement éclairé des détenteurs du droit d'auteur, et LAION-5B en particulier accusé d'héberger du matériel d'abus sexuel sur des enfants. .
Separately, Runway is among the companies being sued by artists in a class action lawsuit for training on materials without permission, compensation, or consent — allegedly in violation of U.S. copyright. The case remains being argued in court, for now.
Par ailleurs, Runway fait partie des sociétés poursuivies par des artistes dans le cadre d'un recours collectif pour formation sur du matériel sans autorisation, compensation ou consentement – prétendument en violation du droit d'auteur américain. L’affaire reste pour l’instant débattue devant les tribunaux.
Permissively licensed, open source for commercial usage
Licence permissive, open source pour un usage commercial
Pyramid Flow is released under the MIT License, allowing for a wide range of uses, including commercial applications, modifications, and redistribution, provided the copyright notice is preserved.
Pyramid Flow est publié sous la licence MIT, permettant un large éventail d'utilisations, y compris des applications commerciales, des modifications et une redistribution, à condition que la mention de droit d'auteur soit préservée.
This makes Pyramid Flow an attractive option for developers and companies looking to integrate the model into proprietary systems, and could challenge Luma AI and Runway as both look to offer paid application programming interfaces for developers seeking to integrate their proprietary AI video generation technology into customer or employee-facing apps.
Cela fait de Pyramid Flow une option attrayante pour les développeurs et les entreprises cherchant à intégrer le modèle dans des systèmes propriétaires, et pourrait défier Luma AI et Runway, car tous deux cherchent à offrir des interfaces de programmation d'applications payantes aux développeurs cherchant à intégrer leur technologie propriétaire de génération de vidéo IA dans les systèmes clients ou. applications destinées aux employés.
Yet those proprietary models already exist as inferences suitable for developers, while Pyramid Flow has a demo inference on Hugging Face, it is not suitable for building full applications atop it and users would need to host their own version of an inference, which
Pourtant, ces modèles propriétaires existent déjà en tant qu'inférences adaptées aux développeurs, alors que Pyramid Flow propose une inférence de démonstration sur Hugging Face, elle n'est pas adaptée à la création d'applications complètes et les utilisateurs devraient héberger leur propre version d'une inférence, ce qui
Clause de non-responsabilité:info@kdj.com
Les informations fournies ne constituent pas des conseils commerciaux. kdj.com n’assume aucune responsabilité pour les investissements effectués sur la base des informations fournies dans cet article. Les crypto-monnaies sont très volatiles et il est fortement recommandé d’investir avec prudence après une recherche approfondie!
Si vous pensez que le contenu utilisé sur ce site Web porte atteinte à vos droits d’auteur, veuillez nous contacter immédiatement (info@kdj.com) et nous le supprimerons dans les plus brefs délais.
-
- Warner Bros. Discovery fait jouer son grand métaverse avec Ready Player One IP
- Oct 11, 2024 at 02:20 am
- Le métaverse, bien que loin d’être courant, regorge déjà de grandes marques et de sociétés de divertissement. Ne voulant pas être laissées pour compte, plusieurs des plus grandes sociétés de divertissement américaines, comme Universal Music, des marques de vêtements et même des chaînes de restaurants, se sont taillé une place ou deux dans le métaverse grâce à une présence virtuelle ou grâce à des investissements stratégiques.
-
- WallitIQ (WLTQ) : le portefeuille décentralisé piloté par l'IA prêt à surpasser Shiba Inu (SHIB) et Pepe (PEPE)
- Oct 11, 2024 at 02:20 am
- À mesure que le paysage des cryptomonnaies évolue, les investisseurs recherchent des solutions innovantes qui promettent des rendements substantiels. Cependant, nombreux sont ceux qui détournent désormais leur attention des jetons établis comme Solana (SOL) et Cardano (ADA) vers WallitIQ (WLTQ), un portefeuille décentralisé piloté par l'IA, prêt pour une croissance explosive.
-
- À la poursuite du potentiel : le changement stratégique d'une baleine de Shiba Inu (SHIB) à WallitIQ (WLTQ)
- Oct 11, 2024 at 02:20 am
- Les gros titres dramatiques sur la création et l’accumulation de richesses n’ont jamais manqué dans le monde en constante évolution de l’actualité cryptographique. L’une de ces histoires qui a retenu l’attention de beaucoup est celle d’une baleine Shiba Inu (SHIB), dont l’investissement de 8 000 $ s’est transformé en un étonnant montant de 5 milliards de dollars. Après ce passage réussi, cette baleine perspicace a pris une nouvelle voie, en jetant son dévolu sur la prévente d'un nouvel acteur baptisé WallitIQ (WLTQ).
-
- Rollblock s'apprête à devancer Solana et Dogecoin grâce à sa plateforme de jeu cryptographique innovante, qui devrait augmenter de 100 fois en 2024
- Oct 11, 2024 at 02:20 am
- Alors que Solana et Dogecoin atteignaient de nouveaux sommets, Rollblock est sur le point de les devancer grâce à sa plateforme de jeu crypto innovante, qui devrait grimper 100 fois.
-
- Prédiction de prix Toncoin (TON) : TON connaît une forte tendance à la baisse et le sentiment baissier continue de dominer
- Oct 11, 2024 at 02:20 am
- Alors que Bitcoin [BTC] et la plupart des altcoins ont réalisé des gains modérés sur les discussions mensuelles, Toncoin [TON] a suivi un chemin différent. En tant que tel, TON a connu une forte baisse au cours du mois dernier.
-
- Le jeton ICO viral ETFSwap (ETFS) est programmé pour créer des millionnaires avec un rallye explosif 14 000x au quatrième trimestre 2024
- Oct 11, 2024 at 02:20 am
- Le jeton de prévente viral ETFSwap (ETFS), vendu à un prix sous-évalué de 0,03846 $, est à la mode sur X et se raréfie de minute en minute après un célèbre Ethereum.