Videdollama3：任意の解像度の視力トークン化と微分フレーム剪定器を備えたマルチモーダルモデルの視覚中心のフレームワーク

マルチモーダルインテリジェンスの進歩は、画像やビデオの処理と理解に依存します。画像は、オブジェクト、テキスト、空間関係などの詳細に関する情報を提供することにより、静的なシーンを明らかにすることができます。しかし、これは非常に挑戦的であるという犠牲を払っています。ビデオの理解には、他の操作の中でも、時間の経過とともに変化を追跡すると同時に、フレーム全体の一貫性を確保することが含まれ、動的なコンテンツ管理と時間的関係が必要です。ビデオテキストデータセットのコレクションと注釈は、画像テキストデータセットと比較して比較的難しいため、これらのタスクはより厳しくなります。

Advancements in multimodal intelligence hinge on the ability to process and understand images and videos. While images provide a snapshot of a static scene, offering details on objects, text, and spatial relationships, videos introduce an additional layer of complexity. Video comprehension entails tracking changes over time and ensuring consistency across frames, demanding dynamic content management and an understanding of temporal relationships. However, the collection and annotation of video-text datasets pale in comparison to the abundance of image-text datasets.

マルチモーダルインテリジェンスの進歩は、画像やビデオを処理および理解する能力にかかっています。画像は静的シーンのスナップショットを提供し、オブジェクト、テキスト、空間関係の詳細を提供しますが、ビデオは複雑さの追加層を導入します。ビデオの理解には、時間の経過とともに変化を追跡し、フレーム全体の一貫性を確保し、動的なコンテンツ管理を要求し、時間的関係の理解を要求します。ただし、ビデオテキストデータセットのコレクションと注釈は、画像テキストデータセットの豊富さと比較して青白いです。

Traditional methods for multimodal large language models (MLLMs) encounter challenges in video understanding. Approaches such as sparsely sampled frames, basic connectors, and image-based encoders fail to effectively capture temporal dependencies and dynamic content. Techniques like token compression and extended context windows struggle with long-form video complexity, while integrating audio and visual inputs often lacks seamless interaction. Efforts in real-time processing and scaling model sizes remain inefficient, and existing architectures are not optimized for handling long video tasks.

マルチモーダル大手言語モデル（MLLM）の従来の方法は、ビデオ理解において課題に遭遇します。まばらにサンプリングされたフレーム、基本コネクタ、画像ベースのエンコーダーなどのアプローチは、時間的依存関係や動的コンテンツを効果的にキャプチャできません。トークンの圧縮や拡張コンテキストのような手法は、長い形式のビデオの複雑さで闘争されていますが、オーディオと視覚入力を統合するには、シームレスな相互作用がしばしば欠けています。リアルタイムの処理とスケーリングモデルサイズの努力は非効率的であり、既存のアーキテクチャは長いビデオタスクの処理に最適化されていません。

To address these challenges in video understanding, researchers from Alibaba Group proposed the VideoLLaMA3 framework, which incorporates Any-resolution Vision Tokenization (AVT) and Differential Frame Pruner (DiffFP). AVT improves upon traditional fixed-resolution tokenization by enabling vision encoders to process variable resolutions dynamically, reducing information loss. This is achieved by adapting ViT-based encoders with 2D-RoPE for flexible position embedding.

ビデオ理解におけるこれらの課題に対処するために、Alibaba Groupの研究者はVideollama3フレームワークを提案しました。 AVTは、ビジョンエンコーダーが変数解像度を動的に処理できるようにすることにより、従来の固定解像度トークン化を改善し、情報の損失を減らします。これは、柔軟な位置埋め込みのために2DロープでVITベースのエンコーダーを適応させることによって達成されます。

To preserve vital information, DiffFP deals with redundant and long video tokens by pruning frames with minimal differences as taken through a 1-norm distance between the patches. Dynamic resolution handling, in combination with efficient token reduction, improves the representation while reducing the costs.

重要な情報を保存するために、DifffPは、パッチ間の1つの範囲の距離を介して最小限の違いで剪定フレームで冗長で長いビデオトークンを扱います。効率的なトークン削減と組み合わせて、動的解像度の取り扱いにより、コストを削減しながら表現が向上します。

The model consists of a vision encoder, video compressor, projector, and large language model (LLM), initializing the vision encoder using a pre-trained SigLIP model. It extracts visual tokens, while the video compressor reduces video token representation. The projector connects the vision encoder to the LLM, and Qwen2.5 models are used for the LLM.

このモデルは、Visionエンコーダー、ビデオコンプレッサー、プロジェクター、および大型言語モデル（LLM）で構成され、事前に訓練されたSiglipモデルを使用してビジョンエンコーダーを初期化します。視覚的なトークンを抽出し、ビデオコンプレッサーはビデオトークンの表現を減らします。プロジェクターはVisionエンコーダーをLLMに接続し、QWEN2.5モデルがLLMに使用されます。

Training occurs in four stages: Vision Encoder Adaptation, Vision-Language Alignment, Multi-task Fine-tuning, and Video-centric Fine-tuning. The first three stages focus on image understanding, and the final stage enhances video understanding by incorporating temporal information.

トレーニングは、ビジョンエンコーダーの適応、ビジョン言語アライメント、マルチタスク微調整、ビデオ中心の微調整の4つの段階で発生します。最初の3つの段階は画像の理解に焦点を当てており、最終段階は時間情報を組み込むことでビデオの理解を高めます。

The Vision Encoder Adaptation Stage focuses on fine-tuning the vision encoder, initialized with SigLIP, on a large-scale image dataset, allowing it to process images at varying resolutions. The Vision-Language Alignment Stage introduces multimodal knowledge, making the LLM and the vision encoder trainable to integrate vision and language understanding.

Visionエンコーダーの適応段階は、Siglipで初期化されたVision Encoderを大規模な画像データセットで微調整し、さまざまな解像度で画像を処理できるようにすることに焦点を当てています。 Vision-Language Alignment段階では、マルチモーダルの知識が導入され、LLMとVisionエンコーダーがビジョンと言語の理解を統合できるようにトレーニング可能にします。

In the Multi-task Fine-tuning Stage, instruction fine-tuning is performed using multimodal question-answering data, including image and video questions, improving the model’s ability to follow natural language instructions and process temporal information. The Video-centric Fine-tuning Stage unfreezes all parameters to enhance the model’s video understanding capabilities.

マルチタスクの微調整段階では、画像やビデオの質問を含むマルチモーダルの質問回答データを使用して、命令微調整が実行され、自然言語の指示に従い、一時的な情報を処理するモデルの能力が向上します。ビデオ中心の微調整段階は、すべてのパラメーターを解除して、モデルのビデオ理解機能を強化します。

The training data comes from diverse sources like scene images, documents, charts, fine-grained images, and video data, ensuring comprehensive multimodal understanding.

トレーニングデータは、シーン画像、ドキュメント、チャート、きめの細かい画像、ビデオデータなどの多様なソースから来ており、包括的なマルチモーダル理解を確保します。

Experiments were conducted to evaluate the performance of VideoLLaMA3 across image and video tasks. For image-based tasks, the model was tested on document understanding, mathematical reasoning, and multi-image understanding, where it outperformed previous models, showing improvements in chart understanding and real-world knowledge question answering (QA).

画像タスクとビデオタスクを介したVideollama3のパフォーマンスを評価するために、実験が行われました。画像ベースのタスクの場合、モデルはドキュメントの理解、数学的推論、およびマルチイメージの理解でテストされ、以前のモデルを上回り、チャートの理解と現実世界の知識質問（QA）の改善を示しました。

In video-based tasks, VideoLLaMA3 performed strongly in benchmarks like VideoMME and MVBench, proving proficient in general video understanding, long-form video comprehension, and temporal reasoning. The 2B and 7B models performed very competitively, with the 7B model leading in most video tasks, which underlines the model’s effectiveness in multimodal tasks.

ビデオベースのタスクでは、Videollama3はVidemommeやMvbenchなどのベンチマークで強く機能し、一般的なビデオ理解、長編ビデオ理解、および時間的推論に熟練しています。 2Bおよび7Bモデルは非常に競争力のあるパフォーマンスを発揮し、7Bモデルはほとんどのビデオタスクでリードしており、マルチモーダルタスクでのモデルの有効性を強調しています。

Other areas where important improvements were reported were OCR, mathematical reasoning, multi-image understanding, and long-term video comprehension.

重要な改善が報告された他の領域は、OCR、数学的推論、マルチイメージの理解、および長期ビデオ理解でした。

At last, the proposed framework advances vision-centric multimodal models, offering a strong framework for understanding images and videos. By utilizing high-quality image-text datasets it addresses video comprehension challenges and temporal dynamics, achieving strong results across benchmarks. However, challenges like video-text dataset quality and real-time processing remain.

最後に、提案されたフレームワークは視覚中心のマルチモーダルモデルを進め、画像やビデオを理解するための強力なフレームワークを提供します。高品質の画像テキストデータセットを利用することにより、ビデオ理解の課題と時間的ダイナミクスに対処し、ベンチマーク全体で強力な結果を達成します。ただし、ビデオテキストデータセットの品質やリアルタイム処理などの課題は残っています。

Future research can enhance video-text datasets, optimize for real-time performance, and integrate additional modalities like audio and speech. This work can serve as a baseline for future advancements in multimodal understanding, improving efficiency, generalization, and integration.

将来の研究は、ビデオテキストデータセットを強化し、リアルタイムのパフォーマンスに最適化し、オーディオやスピーチなどの追加のモダリティを統合することができます。この作業は、マルチモーダル理解、効率の向上、一般化、統合の将来の進歩のベースラインとして機能します。

Check out the Paper and GitHub Page.

紙とgithubページをご覧ください。

All credit for this research goes to the researchers of this project. Also, don’t forget to follow us on Twitter and join our Telegram Channel and LinkedIn Group. Don’t Forget to join our 70k+ ML SubReddit.

この研究のすべてのクレジットは、このプロジェクトの研究者に送られます。また、Twitterでフォローして、Telegram ChannelとLinkedInグループに参加することを忘れないでください。 70k+ ml subredditに参加することを忘れないでください。

🚨 [Recommended Read] Nebius AI Studio expands with vision models, new language models, embeddings and LoRA (Promoted)

🚨[推奨読んだ] Nebius AI Studioは、ビジョンモデル、新しい言語モデル、埋め込み、ロラ（プロモーション）で拡張されます