Sa2VA: 이미지 및 비디오에 대한 심층적인 이해를 위한 통합 모델

UC Merced, Bytedance Seed, 우한 대학교 및 북경 대학교의 연구원들은 이미지와 비디오에 대한 심층적인 이해를 위해 설계된 획기적인 통합 모델인 Sa2VA를 제안했습니다.

Multi-Modal Large Language Models (MLLMs) have seen rapid advancements in handling various image and video-related tasks, including visual question answering, narrative generation, and interactive editing. However, achieving fine-grained video content understanding, such as pixel-level segmentation, tracking with language descriptions, and performing visual question answering on specific video prompts, still poses a critical challenge in this field. State-of-the-art video perception models excel at tasks like segmentation and tracking but lack open-ended language understanding and conversation capabilities. At the same time, video MLLMs demonstrate strong performance in video comprehension and question answering but fall short in handling perception tasks and visual prompts.

MLLM(다중 모드 대형 언어 모델)은 시각적 질문 답변, 내러티브 생성, 대화형 편집 등 다양한 이미지 및 비디오 관련 작업을 처리하는 데 있어 급속한 발전을 보였습니다. 그러나 픽셀 수준 분할, 언어 설명 추적, 특정 비디오 프롬프트에 대한 시각적 질문 응답 수행 등 세밀한 비디오 콘텐츠 이해를 달성하는 것은 여전히 ​​이 분야에서 중요한 과제입니다. 최첨단 비디오 인식 모델은 분할 및 추적과 같은 작업에 탁월하지만 개방형 언어 이해 및 대화 기능이 부족합니다. 동시에 비디오 MLLM은 비디오 이해 및 질문 응답에서 강력한 성능을 보여 주지만 인식 작업 및 시각적 프롬프트 처리에서는 부족합니다.

Existing attempts to address video understanding challenges have followed two main approaches: MLLMs and Referring Segmentation systems. Initially, MLLMs focused on developing improved multi-modal fusion methods and feature extractors, eventually evolving towards instruction tuning on LLMs with frameworks like LLaVA. Recent developments have attempted to unify image, video, and multi-image analysis in single frameworks, such as LLaVA-OneVision. In parallel, Referring Segmentation systems have progressed from basic fusion modules to transformer-based methods that integrate segmentation and tracking within videos. However, these solutions lack a comprehensive integration of perception and language understanding capabilities.

비디오 이해 문제를 해결하려는 기존 시도는 MLLM과 참조 분할 시스템이라는 두 가지 주요 접근 방식을 따랐습니다. 처음에 MLLM은 향상된 다중 모드 융합 방법 및 기능 추출기를 개발하는 데 중점을 두었고 결국 LLaVA와 같은 프레임워크를 사용하여 LLM에 대한 명령 조정 방향으로 발전했습니다. 최근 개발에서는 LLaVA-OneVision과 같은 단일 프레임워크에서 이미지, 비디오 및 다중 이미지 분석을 통합하려고 시도했습니다. 이와 동시에 참조 분할 시스템은 기본 융합 모듈에서 비디오 내 분할 및 추적을 통합하는 변환기 기반 방법으로 발전했습니다. 그러나 이러한 솔루션에는 인식 및 언어 이해 기능의 포괄적인 통합이 부족합니다.

To overcome this limitation, researchers from UC Merced, Bytedance Seed, Wuhan University, and Peking University have proposed Sa2VA, a groundbreaking unified model for a dense grounded understanding of images and videos. The model differentiates itself by supporting a comprehensive range of image and video tasks through minimal one-shot instruction tuning, addressing the limitations of existing multi-modal large language models. Sa2VA’s innovative approach integrates SAM-2 with LLaVA, unifying text, image, and video in a shared LLM token space. The researchers have also introduced Ref-SAV, an extensive auto-labeled dataset containing over 72K object expressions in complex video scenes, with 2K manually validated video objects to ensure robust benchmarking capabilities.

이러한 한계를 극복하기 위해 UC Merced, Bytedance Seed, 우한 대학교 및 북경 대학교의 연구원들은 이미지와 비디오에 대한 치밀하고 기초적인 이해를 위한 획기적인 통합 모델인 Sa2VA를 제안했습니다. 이 모델은 최소한의 원샷 명령 조정을 통해 포괄적인 범위의 이미지 및 비디오 작업을 지원하고 기존 다중 모드 대형 언어 모델의 한계를 해결함으로써 차별화됩니다. Sa2VA의 혁신적인 접근 방식은 SAM-2를 LLaVA와 통합하여 공유 LLM 토큰 공간에서 텍스트, 이미지 및 비디오를 통합합니다. 연구원들은 또한 강력한 벤치마킹 기능을 보장하기 위해 복잡한 비디오 장면에서 72K개 이상의 개체 표현을 포함하고 수동으로 검증된 2K개의 비디오 개체를 포함하는 광범위한 자동 레이블 지정 데이터세트인 Ref-SAV를 도입했습니다.

Sa2VA’s architecture integrates two main components: a LLaVA-like model and SAM-2, connected through a novel decoupled design. The LLaVA-like component consists of a visual encoder processing images and videos, a visual projection layer, and an LLM for text token prediction. The system employs a unique decoupled approach where SAM-2 operates alongside the pre-trained LLaVA model without direct token exchange, maintaining computational efficiency and enabling plug-and-play functionality with various pre-trained MLLMs. The key innovation lies in the connection mechanism using a special “[SEG]” token, allowing SAM-2 to generate segmentation masks while enabling gradient backpropagation through the “[SEG]” token to optimize the MLLM’s prompt generation capabilities.

Sa2VA의 아키텍처는 새로운 분리 설계를 통해 연결된 LLaVA 유사 모델과 SAM-2라는 두 가지 주요 구성 요소를 통합합니다. LLaVA와 유사한 구성 요소는 이미지와 비디오를 처리하는 시각적 인코더, 시각적 프로젝션 레이어, 텍스트 토큰 예측을 위한 LLM으로 구성됩니다. 이 시스템은 SAM-2가 직접적인 토큰 교환 없이 사전 훈련된 LLaVA 모델과 함께 작동하여 계산 효율성을 유지하고 사전 훈련된 다양한 MLLM을 통해 플러그 앤 플레이 기능을 활성화하는 고유한 분리된 접근 방식을 사용합니다. 주요 혁신은 특수한 "[SEG]" 토큰을 사용하는 연결 메커니즘에 있습니다. 이를 통해 SAM-2는 분할 마스크를 생성하는 동시에 "[SEG]" 토큰을 통해 그래디언트 역전파를 활성화하여 MLLM의 신속한 생성 기능을 최적화할 수 있습니다.

The Sa2VA model achieves state-of-the-art results on referring segmentation tasks, with Sa2VA-8B scoring 81.6, 76.2, and 78.9 cIoU on RefCOCO, RefCOCO+, and RefCOCOg respectively, outperforming previous systems like GLaMM-7B. In conversational capabilities, Sa2VA shows strong performance with scores of 2128 on MME, 81.6 on MMbench, and 75.1 on SEED-Bench. The model excels in video benchmarks, surpassing previous state-of-the-art VISA-13B by substantial margins on MeVIS, RefDAVIS17, and ReVOS. Moreover, Sa2VA’s performance is noteworthy considering its smaller model size compared to competitors, showing its efficiency and effectiveness across both image and video understanding tasks.

Sa2VA 모델은 Sa2VA-8B가 RefCOCO, RefCOCO+ 및 RefCOCOg에서 각각 81.6, 76.2 및 78.9cIoU를 기록하여 참조 분할 작업에서 최첨단 결과를 달성하여 GLaMM-7B와 같은 이전 시스템보다 성능이 뛰어납니다. 대화 기능에서 Sa2VA는 MME에서 2128점, MMbench에서 81.6점, SEED-Bench에서 75.1점으로 강력한 성능을 보여줍니다. 이 모델은 MeVIS, RefDAVIS17 및 ReVOS에서 상당한 차이로 이전 최첨단 VISA-13B를 능가하여 비디오 벤치마크에서 탁월합니다. 또한 Sa2VA의 성능은 경쟁사에 비해 작은 모델 크기를 고려하면 주목할 만하며 이미지 및 비디오 이해 작업 전반에 걸쳐 효율성과 효율성을 보여줍니다.

In this paper, researchers introduced Sa2VA which represents a significant advancement in multi-modal understanding by successfully integrating SAM-2’s video segmentation capabilities with LLaVA’s language processing abilities. The framework's versatility is shown through its ability to handle diverse image and video understanding tasks with minimal one-shot instruction tuning, addressing the long-standing challenge of combining perception and language understanding. Sa2VA’s strong performance across multiple benchmarks, from referring segmentation to conversational tasks, validates its effectiveness as a unified solution for a dense, grounded understanding of visual content, marking a significant step forward in the multi-modal AI systems field.

본 논문에서 연구원들은 SAM-2의 비디오 분할 기능과 LLaVA의 언어 처리 기능을 성공적으로 통합하여 다중 모드 이해의 상당한 발전을 나타내는 Sa2VA를 소개했습니다. 프레임워크의 다양성은 최소한의 일회성 지침 조정으로 다양한 이미지 및 비디오 이해 작업을 처리하고 인식과 언어 이해를 결합하는 오랜 과제를 해결하는 능력을 통해 보여집니다. 세분화 참조부터 대화 작업까지 여러 벤치마크에서 Sa2VA의 강력한 성능은 시각적 콘텐츠에 대한 조밀하고 기초적인 이해를 위한 통합 솔루션으로서의 효율성을 검증하여 다중 모드 AI 시스템 분야에서 중요한 진전을 이뤘습니다.

Check out the Paper and Model on Hugging Face. All credit for this research goes to the researchers of this project. Also, don’t forget to follow us on Twitter and join our Telegram Channel and LinkedIn Group. Don’t Forget to join our 65k+ ML SubReddit.

포옹 얼굴에 관한 종이와 모델을 확인해 보세요. 이 연구에 대한 모든 공로는 이 프로젝트의 연구자에게 돌아갑니다. 또한 Twitter에서 우리를 팔로우하고 Telegram 채널과 LinkedIn 그룹에 가입하는 것을 잊지 마세요. 65,000개가 넘는 ML SubReddit에 가입하는 것을 잊지 마세요.

FREE UPCOMING AI WEBINAR (JAN 15, 2025): Boost LLM Accuracy with Synthetic Data and Evaluation Intelligence

무료 예정된 AI 웹 세미나(2025년 1월 15일): 합성 데이터 및 평가 인텔리전스로 LLM 정확도 향상

Join this webinar to gain actionable insights into boosting LLM model performance and accuracy while safeguarding data privacy.output

이 웨비나에 참여하여 데이터 개인 정보를 보호하면서 LLM 모델 성능 및 정확성을 높이는 데 대한 실행 가능한 통찰력을 얻으십시오.