令牌：在令牌調製空間中的多功能多概念個性化

我們提出Tokenverse-一種多概念個性化的方法，利用了預先訓練的文本對圖像擴散模型。我們的框架可以將復雜的視覺元素和屬性從單個圖像中刪除，同時可以從多個圖像中提取的概念的無縫插件生成。與現有作品相反，Tokenverse可以處理各個具有多個概念的圖像，並支持廣泛的概念，包括對象，配件，材料，姿勢和照明。我們的工作利用了一個基於DIT的文本對圖像模型，其中輸入文本通過注意力和調製（移動和規模）都會影響生成。我們觀察到調製空間是語義，並可以對複雜概念進行局部控制。在此洞察力的基礎上，我們設計了一個基於優化的框架，該框架以輸入圖像和文本描述為輸入，並在調製空間中為每個單詞找到一個不同的方向。然後，這些方向可用於生成將學習概念結合在所需配置中的新圖像。我們證明了Tokenverse在具有挑戰性的個性化設置中的有效性，並展示了其在現有方法中的優勢。項目的網頁https://token-verse.github.io/。 https://arxiv.org/abs/2501.12224