History of AI: Part Six — The Revolution

Fetch.ai

Histoire de l'IA : sixième partie – La révolutionFetch.ai

·

Follow

·Suivre

Published in

Fetch.ai

Publié dansFetch.ai

·

3 min read

·

Just now

--

·3 minutes de lecture·Tout à l'heure...

Listen

Écouter

Share

Partager

In this series chronicling AI history, we’re finally entering the 21st century.

Dans cette série retraçant l’histoire de l’IA, nous entrons enfin dans le 21e siècle.

So far, we have seen that AI embarked on a remarkable transformation over 50 years and slowly reshaped technology. Let’s now have a look at how it started reshaping our daily lives. Over the first two decades of this century, AI evolved from a mere concept to a reality.

Jusqu’à présent, nous avons vu que l’IA s’est lancée dans une transformation remarquable en 50 ans et a lentement remodelé la technologie. Voyons maintenant comment cela a commencé à remodeler notre vie quotidienne. Au cours des deux premières décennies de ce siècle, l’IA est passée d’un simple concept à une réalité.

The Emergence of New Applications

It was the early 2000s. The world survived Y2K — and was more excited about computers than ever. This is where new AI applications emerged. AI now was not only limited to research labs — but was slowly getting integrated into daily lives. It started helping with household gadgets to outer space exploration. For instance, in 2002, Roomba, a groundbreaking autonomous vacuum cleaner, was put to test in the markets. Just two years later, NASA’s Mars rovers, Spirit and Opportunity, made history by autonomously navigating the Martian terrain.

L’émergence de nouvelles applicationsC’était le début des années 2000. Le monde a survécu à l’an 2000 et était plus enthousiasmé que jamais par les ordinateurs. C’est là que de nouvelles applications d’IA ont émergé. L’IA n’était désormais plus limitée aux laboratoires de recherche, mais s’intégrait peu à peu à la vie quotidienne. Il a commencé à aider avec des gadgets ménagers pour l'exploration de l'espace. Par exemple, en 2002, Roomba, un aspirateur autonome révolutionnaire, a été testé sur les marchés. À peine deux ans plus tard, les rovers martiens de la NASA, Spirit et Opportunity, sont entrés dans l’histoire en naviguant de manière autonome sur le terrain martien.

From simplifying daily chores to tackling the complexities of space exploration — AI was here. By the mid-2000s, AI was taking significant strides forward. One pivotal moment was in 2006 when the concept of “machine reading” was introduced. This breakthrough opened doors for AI systems to process and understand text independently, revolutionizing language comprehension.

De la simplification des tâches quotidiennes à la résolution des complexités de l’exploration spatiale, l’IA était là. Au milieu des années 2000, l’IA faisait des progrès considérables. Un moment charnière a eu lieu en 2006, lorsque le concept de « lecture automatique » a été introduit. Cette percée a ouvert la porte aux systèmes d’IA pour traiter et comprendre le texte de manière indépendante, révolutionnant ainsi la compréhension du langage.

This is where three key pieces of technology emerged: Big Data, Deep Learning and Large Language Models.

C’est là que trois éléments technologiques clés ont émergé : le Big Data, le Deep Learning et les grands modèles linguistiques.

Big Data and Economic Impact

By 2009, around the time the world was rushing to recover from the great economic collapse — nearly every sector of the U.S. economy was managing colossal volumes of data. By all reports — the data averaged around 200 terabytes per sector. The decade saw a big change in how we deal with data. It became more available, computers got faster and cheaper. This allowed us to use advanced machine learning techniques. This period was all about the rise of big data, which transformed how industries handled information.

Big Data et impact économiqueEn 2009, à l’époque où le monde se précipitait pour se remettre du grand effondrement économique, presque tous les secteurs de l’économie américaine géraient des volumes colossaux de données. Selon tous les rapports, les données représentaient en moyenne environ 200 téraoctets par secteur. La décennie a vu un grand changement dans la façon dont nous traitons les données. Il est devenu plus disponible, les ordinateurs sont devenus plus rapides et moins chers. Cela nous a permis d’utiliser des techniques avancées d’apprentissage automatique. Cette période a été marquée par l’essor du Big Data, qui a transformé la manière dont les industries traitaient l’information.

Instead of limiting ourselves to select samples, we began utilizing all available data for analysis. This comprehensive approach enhanced decision-making and optimization processes. Big data was distinguished by its large scale, rapid pace, diverse nature, intrinsic value, and accuracy. This necessitated the development of innovative processing models to fully capitalize on their potential.

Au lieu de nous limiter à sélectionner des échantillons, nous avons commencé à utiliser toutes les données disponibles à des fins d’analyse. Cette approche globale a amélioré les processus de prise de décision et d’optimisation. Les mégadonnées se distinguaient par leur grande échelle, leur rythme rapide, leur nature diversifiée, leur valeur intrinsèque et leur précision. Cela a nécessité le développement de modèles de traitement innovants pour capitaliser pleinement sur leur potentiel.

Deep Learning: Advancements and Challenges

Deep learning emerged as an important piece of technology during this period. It modelled complex data abstractions using deep neural networks with multiple processing layers. Despite the Universal Approximation Theorem suggesting that deep networks weren’t necessary for approximating continuous functions, deep learning proved effective in addressing issues like overfitting, common in shallow networks. As a result, deep neural networks could generate far more intricate models than their shallow counterparts.

Deep Learning : avancées et défisLe Deep Learning est devenu un élément technologique important au cours de cette période. Il a modélisé des abstractions de données complexes à l’aide de réseaux neuronaux profonds dotés de plusieurs couches de traitement. Bien que le théorème d’approximation universelle suggère que les réseaux profonds n’étaient pas nécessaires pour approximer des fonctions continues, l’apprentissage profond s’est avéré efficace pour résoudre des problèmes tels que le surapprentissage, courant dans les réseaux superficiels. En conséquence, les réseaux neuronaux profonds pourraient générer des modèles beaucoup plus complexes que leurs homologues superficiels.

However, deep learning faced its own set of challenges. One significant issue was the vanishing gradient problem in recurrent neural networks, where gradients between layers diminished over time. Innovations such as Long Short-Term Memory (LSTM) units were developed to mitigate this problem.

Cependant, l’apprentissage profond a été confronté à son propre ensemble de défis. Un problème important était le problème de disparition des gradients dans les réseaux neuronaux récurrents, où les gradients entre les couches diminuaient avec le temps. Des innovations telles que les unités LSTM (Long Short-Term Memory) ont été développées pour atténuer ce problème.

State-of-the-art deep neural networks began rivalling human accuracy in fields like computer vision, as seen in tasks involving the MNIST database and traffic sign recognition. Furthermore, language processing engines, exemplified by IBM’s Watson, outperformed humans in general trivia, and advancements in deep learning achieved remarkable feats in games like Go and Doom.

Les réseaux neuronaux profonds de pointe ont commencé à rivaliser avec la précision humaine dans des domaines tels que la vision par ordinateur, comme le montrent les tâches impliquant la base de données MNIST et la reconnaissance des panneaux de signalisation. De plus, les moteurs de traitement du langage, illustrés par Watson d'IBM, ont surpassé les humains dans des jeux de questions généraux, et les progrès de l'apprentissage profond ont permis de réaliser des exploits remarquables dans des jeux comme Go et Doom.

Large language Models

In 2017, Google researchers wrote a paper titled Attention Is All You Need. This paper introduced the transformer architecture that improved upon the existing Seq2seq technology. The transformer architecture relied heavily on the attention mechanism, which had been developed by Bahdanau and others in 2014. This innovation laid the foundation for many subsequent advancements in AI language models. Large language models slowly started revolutionizing the field of artificial intelligence. In 2018, BERT, an encoder-only model, became widespread.

Modèles linguistiques étendusEn 2017, des chercheurs de Google ont rédigé un article intitulé Attention Is All You Need. Cet article présente l'architecture du transformateur qui améliore la technologie Seq2seq existante. L'architecture du transformateur reposait fortement sur le mécanisme d'attention, développé par Bahdanau et d'autres en 2014. Cette innovation a jeté les bases de nombreuses avancées ultérieures dans les modèles de langage d'IA. Les grands modèles de langage ont lentement commencé à révolutionner le domaine de l’intelligence artificielle. En 2018, le BERT, un modèle uniquement encodeur, s'est généralisé.

Then came GPT.

Puis est arrivé le GPT.

The GPT model was actually introduced in 2018 and met with lukewarm reception. It was GPT-2 in 2019 that garnered widespread attention. It was so powerful that OpenAI initially hesitated to release it to the public due to concerns about its potential for misuse. The model’s ability to generate contextually relevant text raised ethical questions about the responsible use of AI.

Le modèle GPT a en fait été introduit en 2018 et a rencontré un accueil mitigé. C’est GPT-2 en 2019 qui a retenu l’attention. Il était si puissant qu’OpenAI a d’abord hésité à le rendre public en raison de préoccupations concernant son potentiel d’utilisation abusive. La capacité du modèle à générer un texte contextuellement pertinent a soulevé des questions éthiques sur l’utilisation responsable de l’IA.

But then, right at the onset of the next decade — came GPT-3.

Mais ensuite, juste au début de la décennie suivante, est arrivé GPT-3.