L'attention multi-token (MTA) permet une récupération efficace des informations contextuelles

Cet article introduit l'attention multi-token (MTA), un mécanisme d'attention avancé qui conditionne simultanément le poids de l'attention sur plusieurs requêtes et vecteurs clés.

Large Language Models (LLMs) have significantly benefited from attention mechanisms, which enable the effective retrieval of contextual information. However, traditional attention methods primarily depend on single token attention, where each attention weight is calculated from a single pair of query and key vectors.

Les modèles de grandes langues (LLM) ont considérablement bénéficié des mécanismes d'attention, ce qui permette la récupération efficace des informations contextuelles. Cependant, les méthodes d'attention traditionnelles dépendent principalement de l'attention des jetons uniques, où chaque poids d'attention est calculé à partir d'une seule paire de requêtes et de vecteurs clés.

This design inherently constrains the model's ability to discern contexts that require the integration of multiple token signals, ultimately limiting its effectiveness on complex linguistic dependencies. For instance, identifying sentences that simultaneously contain both "Alice" and "rabbit" poses a challenge because conventional attention mechanisms struggle to combine multiple separate attention signals efficiently without substantially increasing model complexity.

Cette conception limite intrinsèquement la capacité du modèle à discerner des contextes qui nécessitent l'intégration de plusieurs signaux de jeton, limitant finalement son efficacité sur les dépendances linguistiques complexes. Par exemple, l'identification de phrases qui contiennent simultanément "Alice" et "lapin" pose un défi car les mécanismes d'attention conventionnels ont du mal à combiner plusieurs signaux d'attention distincts sans augmenter considérablement la complexité du modèle.

To address this limitation, researchers from Meta AI have introduced Multi-Token Attention (MTA), an advanced attention mechanism that simultaneously conditions attention weights on multiple query and key vectors. MTA integrates convolution operations over queries, keys, and attention heads, thus enhancing the precision and efficiency of contextual information retrieval.

Pour lutter contre cette limitation, les chercheurs de Meta IA ont introduit l'attention multi-token (MTA), un mécanisme d'attention avancé qui conditionne simultanément les poids d'attention sur plusieurs requêtes et vecteurs clés. MTA intègre les opérations de convolution sur les requêtes, les clés et les têtes d'attention, améliorant ainsi la précision et l'efficacité de la récupération contextuelle de l'information.

MTA framework consists of two convolutional components:

Le cadre MTA se compose de deux composantes convolutionnelles:

1) key-query convolution, which aggregates multiple token signals within individual attention heads, and

1) Convolution de clés, qui regroupe plusieurs signaux de jeton dans les têtes d'attention individuelles, et

2) head mixing convolution, which facilitates information sharing among different attention heads. MTA is implemented using group normalization with depth-dependent scaling to stabilize gradient flow, further improving model training stability and efficacy.

2) Convolution de mélange de tête, qui facilite le partage d'informations entre les différentes têtes d'attention. Le MTA est mis en œuvre en utilisant la normalisation du groupe avec une mise à l'échelle dépendante de la profondeur pour stabiliser l'écoulement du gradient, améliorant davantage la stabilité et l'efficacité de l'entraînement des modèles.

At a technical level, MTA modifies standard attention calculations by incorporating a two-dimensional convolution operation on the attention logits before softmax normalization. This convolution allows adjacent queries and keys to influence attention scores mutually, enabling the attention mechanism to identify contextual relationships more precisely. Consequently, the model efficiently aggregates local token interactions without significantly increasing the number of parameters or the dimensionality of attention vectors.

À un niveau technique, MTA modifie les calculs d'attention standard en incorporant une opération de convolution bidimensionnelle sur les logits d'attention avant la normalisation SoftMax. Cette convolution permet aux requêtes et aux clés adjacentes d'influencer mutuellement les scores d'attention, permettant au mécanisme d'attention d'identifier plus précisément les relations contextuelles. Par conséquent, le modèle agrége efficacement les interactions de jetons locaux sans augmenter de manière significative le nombre de paramètres ou la dimensionnalité des vecteurs d'attention.

MTA promotes effective knowledge transfer among attention heads, selectively amplifying relevant context signals while attenuating less pertinent information. These enhancements collectively yield a more robust attention mechanism capable of capturing complex multi-token interactions.

Le MTA favorise un transfert de connaissances efficace entre les chefs d'attention, amplifiant sélectivement les signaux contextuels pertinents tout en atténuant des informations moins pertinentes. Ces améliorations donnent collectivement un mécanisme d'attention plus robuste capable de capturer des interactions multi-token complexes.

Empirical evaluations validate the efficacy of MTA across several natural language processing (NLP) benchmarks. In a structured motivating task explicitly designed to illustrate the shortcomings of single-token attention mechanisms, MTA demonstrated near-perfect performance, achieving an error rate of only 0.1% in tasks with 4 x 1024 token sequences. In contrast, standard Transformer models exhibited error rates greater than 50%.

Les évaluations empiriques valident l'efficacité du MTA à travers plusieurs repères de traitement du langage naturel (NLP). Dans une tâche de motivation structurée explicitement conçue pour illustrer les lacunes des mécanismes d'attention à un seul, MTA a démontré des performances presque parfaites, atteignant un taux d'erreur de seulement 0,1% dans les tâches avec 4 séquences de jetons de 4 x 1024. En revanche, les modèles de transformateurs standard présentaient des taux d'erreur supérieurs à 50%.

Further large-scale experiments involved an 880M-parameter model trained on 105 billion tokens using MTA and baseline architectures. MTA achieved superior validation perplexity scores across diverse datasets such as arXiv, GitHub, and Wikipedia.

D'autres expériences à grande échelle ont impliqué un modèle de paramètre de 880 mètres formé sur 105 milliards de jetons en utilisant MTA et des architectures de base. MTA a atteint des scores de perplexité de validation supérieurs à travers divers ensembles de données tels que ArXIV, GitHub et Wikipedia.

MTA outperformed standard Transformer models in tasks requiring extended context comprehension, such as the Needle-in-the-Haystack and BabiLong benchmarks. In the Needle-in-the-Haystack task with 4K token contexts containing multiple needles, MTA achieved accuracies ranging from 67% to 97.6%, surpassing standard models by substantial margins. These results highlight the potential of MTA for enabling LLMs to efficiently process very long-range dependencies.

MTA a surperformé les modèles de transformateurs standard dans les tâches nécessitant une compréhension du contexte étendu, tel que les références de l'aiguille dans le haystack et de Babilong. Dans la tâche de l'aiguille dans le haystack avec des contextes de jetons 4K contenant plusieurs aiguilles, le MTA a atteint des précisions allant de 67% à 97,6%, dépassant les modèles standard par des marges substantielles. Ces résultats mettent en évidence le potentiel du MTA pour permettre aux LLM de traiter efficacement des dépendances à très longue portée.

In summary, Multi-Token Attention (MTA) presents a refined advancement in attention mechanisms by addressing fundamental limitations of traditional single-token attention. Leveraging convolutional operations to concurrently integrate multiple query-key interactions, MTA enhances the ability of language models to handle intricate contextual dependencies.

En résumé, l'attention multi-token (MTA) présente une progression raffinée dans les mécanismes d'attention en abordant les limites fondamentales de l'attention traditionnelle unique. Tirée en tirant des opérations convolutionnelles pour intégrer simultanément les interactions à clé de requête, MTA améliore la capacité des modèles de langage à gérer les dépendances contextuelles complexes.

These methodological improvements facilitate more precise and efficient performance, particularly in scenarios involving complex token interactions and long-range contextual understanding. Through targeted modifications to standard attention mechanisms, MTA contributes meaningfully to the evolution of more sophisticated, accurate, and computationally efficient language models.

Ces améliorations méthodologiques facilitent les performances plus précises et efficaces, en particulier dans les scénarios impliquant des interactions de jetons complexes et une compréhension contextuelle à longue portée. Grâce à des modifications ciblées des mécanismes d'attention standard, le MTA contribue de manière significative à l'évolution de modèles de langage plus sophistiqués, précis et efficaces sur le plan informatique.