Tokenverse: Vielseitige Multi-Konzept-Personalisierung im Token-Modulationsraum

Wir präsentieren Tokenverse-eine Methode zur Multi-Konzept-Personalisierung, die ein vorgebildetes Text-zu-Image-Diffusionsmodell nutzt. Unser Framework kann komplexe visuelle Elemente und Attribute von nur einem einzelnen Bild entwirren und gleichzeitig eine nahtlose Plug-and-Play-Generierung von Kombinationen von Konzepten ermöglichen, die aus mehreren Bildern extrahiert werden. Im Gegensatz zu vorhandenen Arbeiten kann Tokenverse mehrere Bilder mit jeweils mehreren Konzepten verarbeiten und unterstützt eine breite Konzepte, einschließlich Objekte, Zubehör, Materialien, Pose und Beleuchtung. Unsere Arbeit nutzt ein DIT-basierter Text-zu-Image-Modell, bei dem der Eingabetxt die Erzeugung durch Aufmerksamkeit und Modulation (Verschiebung und Skala) beeinflusst. Wir stellen fest, dass der Modulationsraum semantisch ist und eine lokalisierte Kontrolle über komplexe Konzepte ermöglicht. Aufbauend auf dieser Erkenntnis entwickeln wir ein optimierungsbasiertes Framework, das als Eingabe eines Bildes und einer Textbeschreibung eingibt, und findet für jedes Wort eine eigene Richtung im Modulationsraum. Diese Richtungen können dann verwendet werden, um neue Bilder zu generieren, die die gelernten Konzepte in einer gewünschten Konfiguration kombinieren. Wir demonstrieren die Wirksamkeit der Tokenverse bei herausfordernden Personalisierungseinstellungen und zeigen ihre Vorteile gegenüber bestehenden Methoden. Die Webseite des Projekts auf dieser https://token-verse.github.io/. https://arxiv.org/abs/2501.12224