令牌：在令牌调制空间中的多功能多概念个性化

我们提出Tokenverse-一种多概念个性化的方法，利用了预先训练的文本对图像扩散模型。我们的框架可以将复杂的视觉元素和属性从单个图像中删除，同时可以从多个图像中提取的概念的无缝插件生成。与现有作品相反，Tokenverse可以处理各个具有多个概念的图像，并支持广泛的概念，包括对象，配件，材料，姿势和照明。我们的工作利用了一个基于DIT的文本对图像模型，其中输入文本通过注意力和调制（移动和规模）都会影响生成。我们观察到调制空间是语义，并可以对复杂概念进行局部控制。在此洞察力的基础上，我们设计了一个基于优化的框架，该框架以输入图像和文本描述为输入，并在调制空间中为每个单词找到一个不同的方向。然后，这些方向可用于生成将学习概念结合在所需配置中的新图像。我们证明了Tokenverse在具有挑战性的个性化设置中的有效性，并展示了其在现有方法中的优势。项目的网页https://token-verse.github.io/。 https://arxiv.org/abs/2501.12224