History of AI: Part Six — The Revolution

Fetch.ai

Geschichte der KI: Teil Sechs – Die RevolutionFetch.ai

·

Follow

·Folgen

Published in

Fetch.ai

Veröffentlicht inFetch.ai

·

3 min read

·

Just now

--

·3 Min. gelesen·Gerade jetzt--

Listen

Hören

Share

Aktie

In this series chronicling AI history, we’re finally entering the 21st century.

In dieser Serie über die Geschichte der KI betreten wir endlich das 21. Jahrhundert.

So far, we have seen that AI embarked on a remarkable transformation over 50 years and slowly reshaped technology. Let’s now have a look at how it started reshaping our daily lives. Over the first two decades of this century, AI evolved from a mere concept to a reality.

Bisher haben wir gesehen, dass die KI im Laufe von 50 Jahren einen bemerkenswerten Wandel vollzog und die Technologie langsam umgestaltete. Werfen wir nun einen Blick darauf, wie es begann, unser tägliches Leben zu verändern. In den ersten zwei Jahrzehnten dieses Jahrhunderts entwickelte sich KI von einem bloßen Konzept zur Realität.

The Emergence of New Applications

It was the early 2000s. The world survived Y2K — and was more excited about computers than ever. This is where new AI applications emerged. AI now was not only limited to research labs — but was slowly getting integrated into daily lives. It started helping with household gadgets to outer space exploration. For instance, in 2002, Roomba, a groundbreaking autonomous vacuum cleaner, was put to test in the markets. Just two years later, NASA’s Mars rovers, Spirit and Opportunity, made history by autonomously navigating the Martian terrain.

Die Entstehung neuer AnwendungenEs war Anfang der 2000er Jahre. Die Welt überlebte das Jahr 2000 – und war begeisterter von Computern als je zuvor. Hier entstanden neue KI-Anwendungen. KI war nun nicht mehr nur auf Forschungslabore beschränkt, sondern wurde langsam in das tägliche Leben integriert. Es begann mit Haushaltsgeräten bei der Erforschung des Weltraums zu helfen. Im Jahr 2002 wurde beispielsweise Roomba, ein bahnbrechender autonomer Staubsauger, auf den Markt gebracht. Nur zwei Jahre später schrieben die Marsrover Spirit und Opportunity der NASA Geschichte, indem sie autonom durch das Marsgelände navigierten.

From simplifying daily chores to tackling the complexities of space exploration — AI was here. By the mid-2000s, AI was taking significant strides forward. One pivotal moment was in 2006 when the concept of “machine reading” was introduced. This breakthrough opened doors for AI systems to process and understand text independently, revolutionizing language comprehension.

Von der Vereinfachung alltäglicher Aufgaben bis hin zur Bewältigung der Komplexität der Weltraumforschung – KI war da. Mitte der 2000er Jahre machte die KI erhebliche Fortschritte. Ein entscheidender Moment war 2006 die Einführung des Konzepts des „maschinellen Lesens“. Dieser Durchbruch öffnete KI-Systemen die Möglichkeit, Texte unabhängig zu verarbeiten und zu verstehen, und revolutionierte so das Sprachverständnis.

This is where three key pieces of technology emerged: Big Data, Deep Learning and Large Language Models.

Hier entstanden drei Schlüsseltechnologien: Big Data, Deep Learning und große Sprachmodelle.

Big Data and Economic Impact

By 2009, around the time the world was rushing to recover from the great economic collapse — nearly every sector of the U.S. economy was managing colossal volumes of data. By all reports — the data averaged around 200 terabytes per sector. The decade saw a big change in how we deal with data. It became more available, computers got faster and cheaper. This allowed us to use advanced machine learning techniques. This period was all about the rise of big data, which transformed how industries handled information.

Big Data und wirtschaftliche AuswirkungenIm Jahr 2009, als sich die Welt gerade mit aller Eile von dem großen wirtschaftlichen Zusammenbruch erholte, verwaltete fast jeder Sektor der US-Wirtschaft riesige Datenmengen. Allen Berichten zufolge betrug die Datenmenge durchschnittlich etwa 200 Terabyte pro Sektor. In diesem Jahrzehnt kam es zu großen Veränderungen in der Art und Weise, wie wir mit Daten umgehen. Es wurde verfügbarer, Computer wurden schneller und billiger. Dies ermöglichte uns den Einsatz fortschrittlicher Techniken des maschinellen Lernens. In dieser Zeit drehte sich alles um den Aufstieg von Big Data, der den Umgang der Industrie mit Informationen veränderte.

Instead of limiting ourselves to select samples, we began utilizing all available data for analysis. This comprehensive approach enhanced decision-making and optimization processes. Big data was distinguished by its large scale, rapid pace, diverse nature, intrinsic value, and accuracy. This necessitated the development of innovative processing models to fully capitalize on their potential.

Anstatt uns auf die Auswahl von Proben zu beschränken, begannen wir, alle verfügbaren Daten für die Analyse zu nutzen. Dieser umfassende Ansatz verbesserte Entscheidungs- und Optimierungsprozesse. Big Data zeichnete sich durch seinen großen Umfang, sein schnelles Tempo, seine Vielfältigkeit, seinen inneren Wert und seine Genauigkeit aus. Dies erforderte die Entwicklung innovativer Verarbeitungsmodelle, um deren Potenzial voll auszuschöpfen.

Deep Learning: Advancements and Challenges

Deep learning emerged as an important piece of technology during this period. It modelled complex data abstractions using deep neural networks with multiple processing layers. Despite the Universal Approximation Theorem suggesting that deep networks weren’t necessary for approximating continuous functions, deep learning proved effective in addressing issues like overfitting, common in shallow networks. As a result, deep neural networks could generate far more intricate models than their shallow counterparts.

Deep Learning: Fortschritte und Herausforderungen Deep Learning entwickelte sich in dieser Zeit zu einer wichtigen Technologie. Es modellierte komplexe Datenabstraktionen mithilfe tiefer neuronaler Netze mit mehreren Verarbeitungsebenen. Obwohl das Universal Approximation Theorem darauf hinweist, dass tiefe Netzwerke für die Approximation kontinuierlicher Funktionen nicht erforderlich sind, erwies sich Deep Learning als wirksam bei der Lösung von Problemen wie der Überanpassung, die bei flachen Netzwerken häufig auftritt. Infolgedessen könnten tiefe neuronale Netze weitaus komplexere Modelle generieren als ihre flachen Gegenstücke.

However, deep learning faced its own set of challenges. One significant issue was the vanishing gradient problem in recurrent neural networks, where gradients between layers diminished over time. Innovations such as Long Short-Term Memory (LSTM) units were developed to mitigate this problem.

Allerdings stand Deep Learning vor eigenen Herausforderungen. Ein wesentliches Problem war das Problem des verschwindenden Gradienten in rekurrenten neuronalen Netzen, bei denen die Gradienten zwischen Schichten mit der Zeit abnahmen. Um dieses Problem zu mildern, wurden Innovationen wie LSTM-Einheiten (Long Short-Term Memory) entwickelt.

State-of-the-art deep neural networks began rivalling human accuracy in fields like computer vision, as seen in tasks involving the MNIST database and traffic sign recognition. Furthermore, language processing engines, exemplified by IBM’s Watson, outperformed humans in general trivia, and advancements in deep learning achieved remarkable feats in games like Go and Doom.

Hochmoderne tiefe neuronale Netze fingen an, mit der menschlichen Genauigkeit in Bereichen wie Computer Vision zu konkurrieren, wie bei Aufgaben im Zusammenhang mit der MNIST-Datenbank und der Verkehrszeichenerkennung zu sehen war. Darüber hinaus übertrafen Sprachverarbeitungs-Engines, am Beispiel von IBMs Watson, den Menschen bei allgemeinen Trivia, und Fortschritte im Deep Learning erzielten bemerkenswerte Leistungen in Spielen wie Go und Doom.

Large language Models

In 2017, Google researchers wrote a paper titled Attention Is All You Need. This paper introduced the transformer architecture that improved upon the existing Seq2seq technology. The transformer architecture relied heavily on the attention mechanism, which had been developed by Bahdanau and others in 2014. This innovation laid the foundation for many subsequent advancements in AI language models. Large language models slowly started revolutionizing the field of artificial intelligence. In 2018, BERT, an encoder-only model, became widespread.

Große Sprachmodelle Im Jahr 2017 verfassten Google-Forscher einen Artikel mit dem Titel „Attention Is All You Need“. In diesem Artikel wurde die Transformatorarchitektur vorgestellt, die die bestehende Seq2seq-Technologie verbesserte. Die Transformer-Architektur stützte sich stark auf den Aufmerksamkeitsmechanismus, der 2014 von Bahdanau und anderen entwickelt worden war. Diese Innovation legte den Grundstein für viele nachfolgende Fortschritte bei KI-Sprachmodellen. Langsam begannen große Sprachmodelle, den Bereich der künstlichen Intelligenz zu revolutionieren. Im Jahr 2018 verbreitete sich BERT, ein reines Encoder-Modell.

Then came GPT.

Dann kam GPT.

The GPT model was actually introduced in 2018 and met with lukewarm reception. It was GPT-2 in 2019 that garnered widespread attention. It was so powerful that OpenAI initially hesitated to release it to the public due to concerns about its potential for misuse. The model’s ability to generate contextually relevant text raised ethical questions about the responsible use of AI.

Das GPT-Modell wurde tatsächlich im Jahr 2018 eingeführt und stieß auf verhaltene Resonanz. Es war GPT-2 im Jahr 2019, das große Aufmerksamkeit erregte. Es war so mächtig, dass OpenAI zunächst zögerte, es der Öffentlichkeit zugänglich zu machen, weil es Bedenken hinsichtlich seines Missbrauchspotenzials hatte. Die Fähigkeit des Modells, kontextrelevante Texte zu generieren, warf ethische Fragen zum verantwortungsvollen Einsatz von KI auf.

But then, right at the onset of the next decade — came GPT-3.

Doch dann, genau zu Beginn des nächsten Jahrzehnts, kam GPT-3.