Qwen2.5-Turbo: Alibabas neues KI-Sprachmodell kann zehn vollständige Romane verarbeiten

Alibabas KI-Labor hat eine neue Version seines Qwen-Sprachmodells vorgestellt, die bis zu eine Million Text-Tokens verarbeiten kann – das entspricht etwa zehn Romanen.

Alibaba's AI lab has unveiled a new iteration of its Qwen language model, capable of processing an astonishing one million tokens of text—roughly ten novels' worth. Moreover, the team managed to quadruple the processing speed.

Alibabas KI-Labor hat eine neue Iteration seines Qwen-Sprachmodells vorgestellt, die in der Lage ist, erstaunliche eine Million Text-Tokens zu verarbeiten – etwa den Wert von zehn Romanen. Darüber hinaus gelang es dem Team, die Verarbeitungsgeschwindigkeit zu vervierfachen.

Qwen has now expanded the context length of its Qwen2.5 language model, introduced in September, from 128,000 to 1 million tokens. This enables Qwen2.5-Turbo to handle ten complete novels, 150 hours of transcripts, or 30,000 lines of code.

Qwen hat nun die Kontextlänge seines im September eingeführten Sprachmodells Qwen2.5 von 128.000 auf 1 Million Token erweitert. Damit kann Qwen2.5-Turbo zehn komplette Romane, 150 Stunden Transkripte oder 30.000 Zeilen Code verarbeiten.

Perfect accuracy in retrieving numbers

Perfekte Genauigkeit beim Abrufen von Zahlen

The model erzielt 100 percent accuracy in the passkey retrieval task, which involves finding hidden numbers within 1 million tokens of irrelevant text, irrespective of the information's position in the document. This seems to partially overcome the "lost in the middle" phenomenon, where language models mainly focus on the beginning and end of a prompt.

Das Modell erreicht eine 100-prozentige Genauigkeit bei der Aufgabe zum Abrufen von Passschlüsseln, bei der es darum geht, versteckte Zahlen innerhalb von 1 Million Token irrelevanten Textes zu finden, unabhängig von der Position der Informationen im Dokument. Dies scheint das „Lost in the Middle“-Phänomen, bei dem sich Sprachmodelle hauptsächlich auf den Anfang und das Ende einer Eingabeaufforderung konzentrieren, teilweise zu überwinden.

In several benchmarks for long text comprehension, Qwen2.5-Turbo outperforms competing models like GPT-4 and GLM4-9B-1M, while maintaining performance comparable to GPT-4o-mini with short sequences.

In mehreren Benchmarks für das Verständnis langer Texte übertrifft Qwen2.5-Turbo Konkurrenzmodelle wie GPT-4 und GLM4-9B-1M, während die Leistung bei kurzen Sequenzen mit der von GPT-4o-mini vergleichbar ist.

A screen recording from Qwen demonstrates the new language model's ability to quickly summarize Cixin Liu's complete "Trisolaris" trilogy, which spans a total of 690,000 tokens. | Video: Qwen

Eine Bildschirmaufnahme von Qwen demonstriert die Fähigkeit des neuen Sprachmodells, Cixin Lius komplette „Trisolaris“-Trilogie, die insgesamt 690.000 Token umfasst, schnell zusammenzufassen. | Video: Qwen

Sparse attention speeds up inference by 4.3x

Geringe Aufmerksamkeit beschleunigt die Schlussfolgerung um das 4,3-fache

By employing sparse attention mechanisms, Qwen reduced the time to first token when processing 1 million tokens from 4.9 minutes to 68 seconds, marking a 4.3x speed increase.

Durch den Einsatz von Sparse-Attention-Mechanismen konnte Qwen die Zeit bis zum ersten Token bei der Verarbeitung von 1 Million Token von 4,9 Minuten auf 68 Sekunden reduzieren, was einer 4,3-fachen Geschwindigkeitssteigerung entspricht.

The cost remains at 0.3 yuan (4 cents) per 1 million tokens. At the same price point, Qwen2.5-Turbo can now process 3.6x as many tokens as GPT-4o-mini.

Die Kosten liegen weiterhin bei 0,3 Yuan (4 Cent) pro 1 Million Token. Zum gleichen Preis kann Qwen2.5-Turbo jetzt 3,6x so viele Token verarbeiten wie GPT-4o-mini.

Qwen2.5-Turbo is now accessible via Alibaba Cloud Model Studio's API, as well as through demos on HuggingFace and ModelScope.

Auf Qwen2.5-Turbo kann jetzt über die API von Alibaba Cloud Model Studio sowie über Demos auf HuggingFace und ModelScope zugegriffen werden.

How DeepMind's Genie AI could reshape robotics by generating interactive worlds from images

Wie die Genie-KI von DeepMind die Robotik neu gestalten könnte, indem sie interaktive Welten aus Bildern generiert

Qwen notes that the current model may not always perform optimally on tasks involving long sequences in real-world applications.

Qwen weist darauf hin, dass das aktuelle Modell bei Aufgaben mit langen Sequenzen in realen Anwendungen möglicherweise nicht immer optimal funktioniert.

There are still many unsolved challenges, including the model's weaker performance with long sequences and the high inference costs that hinder the deployment of larger models.

Es gibt noch viele ungelöste Herausforderungen, darunter die schwächere Leistung des Modells bei langen Sequenzen und die hohen Inferenzkosten, die den Einsatz größerer Modelle behindern.

In the future, Qwen aims to further explore human preference alignment for long sequences, optimize inference efficiency to reduce computation time, and bring larger, more capable models with long context to market.

In Zukunft möchte Qwen die Ausrichtung menschlicher Präferenzen für lange Sequenzen weiter erforschen, die Inferenzeffizienz optimieren, um die Rechenzeit zu reduzieren, und größere, leistungsfähigere Modelle mit langem Kontext auf den Markt bringen.

Why bother with large context windows?

Warum sich mit großen Kontextfenstern herumschlagen?

The context windows of large language models have been steadily increasing in recent months. A practical standard has now settled between 128,000 (GPT-4o) and 200,000 (Claude 3.5 Sonnet) tokens, although there are outliers like Gemini 1.5 Pro with up to 10 million or Magic AI's LTM-2-mini with 100 million tokens.

Die Kontextfenster großer Sprachmodelle sind in den letzten Monaten stetig gewachsen. Ein praktischer Standard hat sich inzwischen zwischen 128.000 (GPT-4o) und 200.000 (Claude 3.5 Sonnet) Token eingependelt, wobei es Ausreißer wie Gemini 1.5 Pro mit bis zu 10 Millionen oder Magic AIs LTM-2-mini mit 100 Millionen Token gibt.

While these advancements generally contribute to the usefulness of large language models, studies have consistently questioned the benefit of large context windows in comparison to RAG systems, where additional information is retrieved dynamically from vector databases.

Während diese Fortschritte im Allgemeinen zur Nützlichkeit großer Sprachmodelle beitragen, wurde in Studien immer wieder der Nutzen großer Kontextfenster im Vergleich zu RAG-Systemen in Frage gestellt, bei denen zusätzliche Informationen dynamisch aus Vektordatenbanken abgerufen werden.