Tokenverse: Personnalisation multi-concept polyvalente dans l'espace de modulation de jeton

Nous présentons Tokenverse - une méthode de personnalisation multi-concept, en tirant parti d'un modèle de diffusion de texte à image pré-formé. Notre cadre peut démêler des éléments visuels complexes et des attributs à partir de aussi peu qu'une image unique, tout en permettant une génération de plug-and-play sans couture de combinaisons de concepts extraits de plusieurs images. Contrairement aux travaux existants, Tokenverse peut gérer plusieurs images avec plusieurs concepts chacun et prend en charge une large gamme de concepts, y compris des objets, des accessoires, des matériaux, de la pose et de l'éclairage. Notre travail exploite un modèle de texte à l'image basé sur DIT, dans lequel le texte d'entrée affecte la génération à la fois par l'attention et la modulation (décalage et échelle). Nous observons que l'espace de modulation est sémantique et permet un contrôle localisé sur des concepts complexes. S'appuyant sur cette perspicacité, nous concevons un cadre basé sur l'optimisation qui prend en entrée une image et une description de texte, et trouve pour chaque mot une direction distincte dans l'espace de modulation. Ces directions peuvent ensuite être utilisées pour générer de nouvelles images qui combinent les concepts appris dans une configuration souhaitée. Nous démontrons l'efficacité de Tokenverse dans les contextes de personnalisation difficiles et présentons ses avantages par rapport aux méthodes existantes. La page Web du projet dans ce https://token-verse.github.io/. https://arxiv.org/abs/2501.12224