SmolVLMs: Hugging Face veröffentlicht die weltweit kleinsten Vision-Language-Modelle

Algorithmen für maschinelles Lernen wurden entwickelt, um viele verschiedene Aufgaben zu bewältigen, von Vorhersagen über den Abgleich von Mustern bis hin zur Generierung passender Bilder

Recent years have seen a massive increase in the capabilities of machine learning algorithms, which can now perform a wide range of tasks, from making predictions to matching patterns or generating images that match text prompts. To enable them to take on such diverse roles, these models have been given a broad spectrum of capabilities, but one thing they rarely are is efficient.

In den letzten Jahren haben sich die Fähigkeiten maschineller Lernalgorithmen massiv verbessert, sodass sie mittlerweile ein breites Spektrum an Aufgaben erfüllen können, von der Erstellung von Vorhersagen über den Abgleich von Mustern bis hin zur Generierung von Bildern, die zu Textaufforderungen passen. Damit sie solch unterschiedliche Rollen übernehmen können, sind diese Modelle mit einem breiten Spektrum an Fähigkeiten ausgestattet, aber eines sind sie selten: effizient.

In the present era of exponential growth in the field, rapid advancements often come at the expense of efficiency. It is faster, after all, to produce a very large kitchen-sink model filled with redundancies than it is to produce a lean, mean inferencing machine.

In der heutigen Zeit des exponentiellen Wachstums in diesem Bereich gehen schnelle Fortschritte oft auf Kosten der Effizienz. Es ist schließlich schneller, ein sehr großes Küchenspülenmodell voller Redundanzen zu produzieren, als eine schlanke, gemeine Inferenzmaschine zu bauen.

But as these present algorithms continue to mature, more attention is being directed at slicing them down to smaller sizes. Even the most useful tools are of little value if they require such a large amount of computational resources that they are impractical for use in real-world applications. As you might expect, the more complex an algorithm is, the more challenging it is to shrink it down. That is what makes Hugging Face’s recent announcement so exciting — they have taken an axe to vision language models (VLMs), resulting in the release of new additions to the SmolVLM family — including SmolVLM-256M, the smallest VLM in the world.

Da diese aktuellen Algorithmen jedoch immer ausgereifter werden, wird mehr Wert darauf gelegt, sie auf kleinere Größen zu reduzieren. Selbst die nützlichsten Tools sind von geringem Wert, wenn sie so viele Rechenressourcen erfordern, dass sie für den Einsatz in realen Anwendungen unpraktisch sind. Wie zu erwarten ist, ist es umso schwieriger, einen Algorithmus zu verkleinern, je komplexer er ist. Das ist es, was die jüngste Ankündigung von Hugging Face so spannend macht – sie haben sich mit Vision Language Models (VLMs) beschäftigt, was zur Veröffentlichung neuer Mitglieder der SmolVLM-Familie führte – darunter SmolVLM-256M, das kleinste VLM der Welt.

SmolVLM-256M is an impressive example of optimization done right, with just 256 million parameters. Despite its small size, this model performs very well in tasks such as captioning, document-based question answering, and basic visual reasoning, outperforming older, much larger models like the Idefics 80B from just 17 months ago. The SmolVLM-500M model provides an additional performance boost, with 500 million parameters offering a middle ground between size and capability for those needing some extra headroom.

SmolVLM-256M ist mit nur 256 Millionen Parametern ein beeindruckendes Beispiel für die richtige Optimierung. Trotz seiner geringen Größe schneidet dieses Modell bei Aufgaben wie Untertiteln, dokumentbasierter Beantwortung von Fragen und grundlegendem visuellen Denken sehr gut ab und übertrifft ältere, viel größere Modelle wie das Idefics 80B von vor gerade einmal 17 Monaten. Das Modell SmolVLM-500M bietet eine zusätzliche Leistungssteigerung, da 500 Millionen Parameter einen Mittelweg zwischen Größe und Leistungsfähigkeit für diejenigen bieten, die etwas mehr Spielraum benötigen.

Hugging Face achieved these advancements by refining its approach to vision encoders and data mixtures. The new models adopt the SigLIP base patch-16/512 encoder, which, though smaller than its predecessor, processes images at a higher resolution. This choice aligns with recent trends seen in Apple and Google research, which emphasize higher resolution for improved visual understanding without drastically increasing parameter counts.

Hugging Face erreichte diese Fortschritte durch die Verfeinerung seines Ansatzes für Vision-Encoder und Datenmischungen. Die neuen Modelle verwenden den SigLIP-Basis-Patch-16/512-Encoder, der zwar kleiner als sein Vorgänger ist, aber Bilder mit einer höheren Auflösung verarbeitet. Diese Wahl steht im Einklang mit den jüngsten Trends in der Apple- und Google-Forschung, die eine höhere Auflösung für ein besseres visuelles Verständnis betonen, ohne die Parameteranzahl drastisch zu erhöhen.

The team also employed innovative tokenization methods to further streamline their models. By improving how sub-image separators are represented during tokenization, the models gained greater stability during training and achieved better quality outputs. For example, multi-token representations of image regions were replaced with single-token equivalents, enhancing both efficiency and accuracy.

Das Team setzte außerdem innovative Tokenisierungsmethoden ein, um seine Modelle weiter zu optimieren. Durch die Verbesserung der Darstellung von Teilbildseparatoren während der Tokenisierung gewannen die Modelle während des Trainings an Stabilität und erzielten qualitativ hochwertigere Ergebnisse. Beispielsweise wurden Multi-Token-Darstellungen von Bildregionen durch Einzel-Token-Äquivalente ersetzt, was sowohl die Effizienz als auch die Genauigkeit steigerte.

In another advance, the data mixture strategy was fine-tuned to emphasize document understanding and image captioning, while maintaining a balanced focus on essential areas like visual reasoning and chart comprehension. These refinements are reflected in the model’s improved benchmarks which show both the 250M and 500M models outperforming Idefics 80B in nearly every category.

In einem weiteren Fortschritt wurde die Datenmischungsstrategie so verfeinert, dass sie den Schwerpunkt auf das Verstehen von Dokumenten und Bildunterschriften legt und gleichzeitig einen ausgewogenen Fokus auf wesentliche Bereiche wie visuelle Argumentation und Diagrammverständnis beibehält. Diese Verbesserungen spiegeln sich in den verbesserten Benchmarks des Modells wider, die zeigen, dass sowohl das 250M- als auch das 500M-Modell in nahezu jeder Kategorie besser abschneiden als das 80B von IDEFICS.

By demonstrating that small can indeed be mighty, these models pave the way for a future where advanced machine learning capabilities are both accessible and sustainable. If you want to help bring that future into being, go grab these models now. Hugging Face has open-sourced them, and with only modest hardware requirements, just about anyone can get in on the action.

Indem diese Modelle zeigen, dass klein durchaus mächtig sein kann, ebnen sie den Weg für eine Zukunft, in der fortschrittliche maschinelle Lernfunktionen sowohl zugänglich als auch nachhaltig sind. Wenn Sie dazu beitragen möchten, dass diese Zukunft entsteht, schnappen Sie sich jetzt diese Modelle. Hugging Face hat sie als Open-Source-Version bereitgestellt und mit nur geringen Hardware-Anforderungen kann nahezu jeder an der Aktion teilnehmen.