Generative KI neu definiert: Einsatz von Struktur zur Verbesserung der Ausgabegenauigkeit

Strukturierte generative KI ermöglicht es generativen KI-Modellen, Ausgaben in bestimmten Formaten zu generieren. Dieser Ansatz verhindert Syntaxfehler, indem er die Token-Auswahl auf gültige Optionen beschränkt und so ausführbare Abfragen und analysierbare Datenstrukturen gewährleistet. Darüber hinaus vereinfacht die konsistente Tokenisierung von Satzzeichen und Schlüsselwörtern die Muster, die Modelle lernen müssen, wodurch die Trainingszeit verkürzt und die Genauigkeit verbessert wird. Durch die Nutzung des Wissens über Ausgabestrukturen bietet strukturierte generative KI ein leistungsstarkes Werkzeug zur Übersetzung natürlicher Sprache in verschiedene strukturierte Formate.

Redefining Generative AI: Embracing Structure for Enhanced Output Precision

Generative KI neu definiert: Strukturierung für verbesserte Ausgabepräzision

Introduction

Einführung

Generative AI, a transformative technology revolutionizing natural language processing, has made significant strides in generating coherent and grammatically sound text. However, when it comes to producing structured output, such as SQL queries or JSON data, generative AI often falters, succumbing to errors that hinder the execution or parsing of the generated code.

Generative KI, eine transformative Technologie, die die Verarbeitung natürlicher Sprache revolutioniert, hat erhebliche Fortschritte bei der Generierung kohärenter und grammatikalisch einwandfreier Texte gemacht. Wenn es jedoch darum geht, strukturierte Ausgaben wie SQL-Abfragen oder JSON-Daten zu erzeugen, gerät die generative KI häufig ins Stocken und unterliegt Fehlern, die die Ausführung oder Analyse des generierten Codes behindern.

Enter Structured Generative AI

Betreten Sie strukturierte generative KI

To overcome this limitation, we introduce the concept of "structured generative AI," a powerful technique that constrains the generative process within predefined formats, virtually eliminating syntax errors and ensuring the validity of the output. By leveraging the knowledge of the output language's structure, structured generative AI ensures that only legitimate tokens are considered during generation, effectively eliminating syntactical errors.

Um diese Einschränkung zu überwinden, führen wir das Konzept der „strukturierten generativen KI“ ein, eine leistungsstarke Technik, die den generativen Prozess auf vordefinierte Formate beschränkt, Syntaxfehler praktisch eliminiert und die Gültigkeit der Ausgabe gewährleistet. Durch die Nutzung des Wissens über die Struktur der Ausgabesprache stellt die strukturierte generative KI sicher, dass bei der Generierung nur legitime Token berücksichtigt werden, wodurch syntaktische Fehler effektiv vermieden werden.

Mechanism of Token Generation

Mechanismus der Token-Generierung

Generative AI models, such as transformer architectures, generate tokens sequentially, relying on the input and previously generated tokens to determine the next selection. At each step, a classifier assigns probability values to all tokens in the vocabulary, guiding the selection of the next token.

Generative KI-Modelle wie Transformatorarchitekturen generieren Token sequentiell und stützen sich dabei auf die Eingabe und zuvor generierte Token, um die nächste Auswahl zu bestimmen. Bei jedem Schritt weist ein Klassifikator allen Token im Vokabular Wahrscheinlichkeitswerte zu und steuert so die Auswahl des nächsten Tokens.

Constraining Token Generation

Einschränkung der Token-Generierung

Structured generative AI incorporates knowledge of the output language's structure to limit token generation. Illegitimate tokens, such as incorrect punctuation or invalid keywords, have their probabilities set to infinity (negative infinity), effectively excluding them from consideration. For instance, if a valid SQL query requires a comma after "SELECT name," all other token probabilities are set to infinity, ensuring that only a comma can be selected.

Strukturierte generative KI bezieht Kenntnisse über die Struktur der Ausgabesprache ein, um die Token-Generierung einzuschränken. Bei unzulässigen Token, wie z. B. falscher Zeichensetzung oder ungültigen Schlüsselwörtern, wird die Wahrscheinlichkeit auf unendlich (negativ unendlich) gesetzt, wodurch sie effektiv von der Berücksichtigung ausgeschlossen werden. Wenn beispielsweise eine gültige SQL-Abfrage ein Komma nach „SELECT name“ erfordert, werden alle anderen Token-Wahrscheinlichkeiten auf unendlich gesetzt, um sicherzustellen, dass nur ein Komma ausgewählt werden kann.

Implementation with Hugging Face

Umsetzung mit Hugging Face

Hugging Face, a leading provider of pretrained models and tools for natural language processing, offers a convenient way to implement structured generative AI through its "logits processor" feature. This feature allows users to define a custom function that modifies the token probabilities after they have been calculated but before the final selection is made.

Hugging Face, ein führender Anbieter vorab trainierter Modelle und Tools für die Verarbeitung natürlicher Sprache, bietet mit seiner „Logits-Prozessor“-Funktion eine bequeme Möglichkeit, strukturierte generative KI zu implementieren. Mit dieser Funktion können Benutzer eine benutzerdefinierte Funktion definieren, die die Token-Wahrscheinlichkeiten ändert, nachdem sie berechnet wurden, aber bevor die endgültige Auswahl getroffen wird.

Example: SQL Query Generation

Beispiel: SQL-Abfragegenerierung

To demonstrate the power of structured generative AI, let's consider the task of generating SQL queries from natural language. We initialize a pretrained BART model and define a set of rules that specify which tokens are allowed to follow each other in a valid SQL query.

Um die Leistungsfähigkeit strukturierter generativer KI zu demonstrieren, betrachten wir die Aufgabe, SQL-Abfragen aus natürlicher Sprache zu generieren. Wir initialisieren ein vorab trainiertes BART-Modell und definieren eine Reihe von Regeln, die festlegen, welche Token in einer gültigen SQL-Abfrage aufeinander folgen dürfen.

rules = {'': ['SELECT', 'DELETE'], # beginning of the generation
Regeln = {'
         'SELECT': ['name', 'email', 'id'],  # names of columns in our schema
'SELECT': ['name', 'email', 'id'], # Namen der Spalten in unserem Schema
         'DELETE': ['name', 'email', 'id'],
'LÖSCHEN': ['Name', 'E-Mail', 'ID'],
         'name': [',', 'FROM'],
'Name': [',', 'FROM'],
         'email': [',', 'FROM'],
'E-Mail von'],
         'id': [',', 'FROM'],
'id': [',', 'FROM'],
         ',': ['name', 'email', 'id'],
',': ['Name', 'E-Mail', 'ID'],
         'FROM': ['customers', 'vendors'],  # names of tables in our schema
'FROM': ['customers', 'vendors'], # Namen von Tabellen in unserem Schema
         'customers': [''],
'Kunden': ['
         'vendors': [''],  # end of the generation}

Using these rules, we create a logits processor that converts the rules into token IDs and modifies the token probabilities accordingly.

'Anbieter': ['

Results: Enhanced SQL Query Generation

Ergebnisse: Verbesserte SQL-Abfragegenerierung

Running the BART model with the logits processor yields significant improvements in the quality of generated SQL queries. The model now adheres to the predefined rules, producing syntactically correct queries that can be executed without errors.

Die Ausführung des BART-Modells mit dem Logits-Prozessor führt zu erheblichen Verbesserungen der Qualität der generierten SQL-Abfragen. Das Modell hält sich nun an die vordefinierten Regeln und erzeugt syntaktisch korrekte Abfragen, die fehlerfrei ausgeführt werden können.

to_translate = 'customers emails from the us'
to_translate = 'Kunden-E-Mails aus den USA'
words = to_translate.split()
Wörter = to_translate.split()
tokenized_text = tokenizer([words], is_split_into_words=True, return_offsets_mapping=True)
tokenized_text = tokenizer([words], is_split_into_words=True, return_offsets_mapping=True)
logits_processor = LogitsProcessorList([SQLLogitsProcessor(tokenizer)])
logits_processor = LogitsProcessorList([SQLLogitsProcessor(tokenizer)])
out = pretrained_model.generate(
out = pretrained_model.generate(
    torch.tensor(tokenized_text["input_ids"]),
Torch.tensor(tokenized_text["input_ids"]),
    max_new_tokens=20,
max_new_tokens=20,
    logits_processor=logits_processor)

The Significance of Tokenization

logits_processor=logits_processor)Die Bedeutung der Tokenisierung

Tokenization, the process of converting text into a sequence of tokens, plays a crucial role in structured generative AI. Consistent tokenization ensures that similar concepts and punctuation are represented by the same token, simplifying the model's learning process. For instance, adding spaces before words and punctuation enhances consistency and reduces the complexity of patterns that the model needs to learn.

Die Tokenisierung, der Prozess der Umwandlung von Text in eine Folge von Token, spielt eine entscheidende Rolle in der strukturierten generativen KI. Durch die konsistente Tokenisierung wird sichergestellt, dass ähnliche Konzepte und Zeichensetzung durch dasselbe Token dargestellt werden, wodurch der Lernprozess des Modells vereinfacht wird. Das Hinzufügen von Leerzeichen vor Wörtern und Satzzeichen erhöht beispielsweise die Konsistenz und verringert die Komplexität der Muster, die das Modell lernen muss.

Applications of Structured Generative AI

Anwendungen strukturierter generativer KI

The applications of structured generative AI extend far beyond SQL query generation. It empowers various tasks, including:

Die Anwendungen strukturierter generativer KI gehen weit über die SQL-Abfragegenerierung hinaus. Es ermöglicht verschiedene Aufgaben, darunter:

• JSON Data Extraction: Generating structured JSON data from natural language, enabling seamless data parsing and storage.
• Query Generation: Creating executable queries for various database systems, facilitating efficient information retrieval.
• Code Generation: Producing valid code snippets in different programming languages, accelerating software development.

Conclusion

JSON-Datenextraktion: Generierung strukturierter JSON-Daten aus natürlicher Sprache, die eine nahtlose Datenanalyse und -speicherung ermöglicht. Abfragegenerierung: Erstellen ausführbarer Abfragen für verschiedene Datenbanksysteme, die eine effiziente Informationsabfrage ermöglichen. Codegenerierung: Erstellen gültiger Codefragmente in verschiedenen Programmiersprachen, Beschleunigung der Softwareentwicklung .Abschluss

Structured generative AI is a groundbreaking technique that dramatically enhances the precision and applicability of generative AI models. By incorporating knowledge of the output language's structure, structured generative AI eliminates syntax errors and guarantees the executability of generated code. This breakthrough enables a wide range of applications, empowering users to extract information, generate queries, and produce code more efficiently and accurately.

Strukturierte generative KI ist eine bahnbrechende Technik, die die Präzision und Anwendbarkeit generativer KI-Modelle erheblich verbessert. Durch die Einbeziehung des Wissens über die Struktur der Ausgabesprache eliminiert strukturierte generative KI Syntaxfehler und gewährleistet die Ausführbarkeit des generierten Codes. Dieser Durchbruch ermöglicht eine breite Palette von Anwendungen und versetzt Benutzer in die Lage, Informationen effizienter und genauer zu extrahieren, Abfragen zu generieren und Code zu erstellen.