History of AI: Part Six — The Revolution

Fetch.ai

AI の歴史: パート 6 — The RevolutionFetch.ai

·

Follow

・フォローする

Published in

Fetch.ai

内で公開

·

3 min read

·

Just now

--

·3 分で読めます·たった今--

Listen

聞く

Share

共有

In this series chronicling AI history, we’re finally entering the 21st century.

AI の歴史を記録するこのシリーズでは、いよいよ 21 世紀が始まります。

So far, we have seen that AI embarked on a remarkable transformation over 50 years and slowly reshaped technology. Let’s now have a look at how it started reshaping our daily lives. Over the first two decades of this century, AI evolved from a mere concept to a reality.

これまでのところ、AI が 50 年にわたって目覚ましい変革を遂げ、ゆっくりとテクノロジーを再形成してきたことを見てきました。それでは、それが私たちの日常生活をどのように再形成し始めたかを見てみましょう。今世紀の最初の 20 年間で、AI は単なる概念から現実へと進化しました。

The Emergence of New Applications

It was the early 2000s. The world survived Y2K — and was more excited about computers than ever. This is where new AI applications emerged. AI now was not only limited to research labs — but was slowly getting integrated into daily lives. It started helping with household gadgets to outer space exploration. For instance, in 2002, Roomba, a groundbreaking autonomous vacuum cleaner, was put to test in the markets. Just two years later, NASA’s Mars rovers, Spirit and Opportunity, made history by autonomously navigating the Martian terrain.

新しいアプリケーションの出現それは 2000 年代初頭のことでした。世界は Y2K を生き延び、かつてないほどコンピューターに興奮していました。ここで新しい AI アプリケーションが登場しました。 AI は現在、研究室に限定されるものではなく、徐々に日常生活に組み込まれつつあります。家庭用機器から宇宙探査までを支援し始めました。たとえば、2002 年には、画期的な自律型掃除機であるルンバが市場でテストされました。わずか 2 年後、NASA の火星探査機、スピリットとオポチュニティが火星の地形を自律航行して歴史を作りました。

From simplifying daily chores to tackling the complexities of space exploration — AI was here. By the mid-2000s, AI was taking significant strides forward. One pivotal moment was in 2006 when the concept of “machine reading” was introduced. This breakthrough opened doors for AI systems to process and understand text independently, revolutionizing language comprehension.

日常の家事の簡素化から宇宙探査の複雑さへの取り組みまで、AI はここにありました。 2000 年代半ばまでに、AI は大きく進歩しました。極めて重要な瞬間は、「機械読み取り」の概念が導入された 2006 年でした。この画期的な進歩により、AI システムがテキストを独立して処理して理解できるようになり、言語理解に革命が起こりました。

This is where three key pieces of technology emerged: Big Data, Deep Learning and Large Language Models.

ここで、ビッグ データ、ディープ ラーニング、大規模言語モデルという 3 つの主要なテクノロジーが登場しました。

Big Data and Economic Impact

By 2009, around the time the world was rushing to recover from the great economic collapse — nearly every sector of the U.S. economy was managing colossal volumes of data. By all reports — the data averaged around 200 terabytes per sector. The decade saw a big change in how we deal with data. It became more available, computers got faster and cheaper. This allowed us to use advanced machine learning techniques. This period was all about the rise of big data, which transformed how industries handled information.

ビッグ データと経済的影響 2009 年までに、世界は大経済崩壊からの回復を急いでいた頃、米国経済のほぼすべての部門が膨大な量のデータを管理していました。すべてのレポートによると、データはセクターあたり平均約 200 テラバイトでした。この 10 年間で、データの扱い方は大きく変わりました。それはより入手しやすくなり、コンピュータはより速く、そしてより安くなりました。これにより、高度な機械学習技術を使用できるようになりました。この時期はビッグ データの台頭がすべてであり、業界における情報の扱い方が変わりました。

Instead of limiting ourselves to select samples, we began utilizing all available data for analysis. This comprehensive approach enhanced decision-making and optimization processes. Big data was distinguished by its large scale, rapid pace, diverse nature, intrinsic value, and accuracy. This necessitated the development of innovative processing models to fully capitalize on their potential.

私たちは、選択したサンプルに限定するのではなく、利用可能なすべてのデータを分析に活用し始めました。この包括的なアプローチにより、意思決定と最適化のプロセスが強化されました。ビッグデータは、その大規模さ、速いペース、多様な性質、本質的な価値、そして正確さによって際立っていました。このため、その可能性を最大限に活用するには、革新的な処理モデルの開発が必要でした。

Deep Learning: Advancements and Challenges

Deep learning emerged as an important piece of technology during this period. It modelled complex data abstractions using deep neural networks with multiple processing layers. Despite the Universal Approximation Theorem suggesting that deep networks weren’t necessary for approximating continuous functions, deep learning proved effective in addressing issues like overfitting, common in shallow networks. As a result, deep neural networks could generate far more intricate models than their shallow counterparts.

ディープ ラーニング: 進歩と課題ディープ ラーニングは、この時期に重要なテクノロジーとして登場しました。複数の処理層を備えたディープ ニューラル ネットワークを使用して、複雑なデータの抽象化をモデル化しました。ユニバーサル近似定理は、連続関数の近似に深いネットワークは必要ないことを示唆していますが、浅いネットワークでよく見られる過学習などの問題の解決にはディープ ラーニングが効果的であることが証明されました。その結果、ディープ ニューラル ネットワークは、浅いニューラル ネットワークよりもはるかに複雑なモデルを生成する可能性があります。

However, deep learning faced its own set of challenges. One significant issue was the vanishing gradient problem in recurrent neural networks, where gradients between layers diminished over time. Innovations such as Long Short-Term Memory (LSTM) units were developed to mitigate this problem.

しかし、ディープラーニングは独自の課題に直面していました。重要な問題の 1 つは、リカレント ニューラル ネットワークにおける勾配消失の問題で、層間の勾配が時間の経過とともに減少します。この問題を軽減するために、Long Short-Term Memory (LSTM) ユニットなどのイノベーションが開発されました。

State-of-the-art deep neural networks began rivalling human accuracy in fields like computer vision, as seen in tasks involving the MNIST database and traffic sign recognition. Furthermore, language processing engines, exemplified by IBM’s Watson, outperformed humans in general trivia, and advancements in deep learning achieved remarkable feats in games like Go and Doom.

最先端のディープ ニューラル ネットワークは、MNIST データベースや交通標識認識に関連するタスクに見られるように、コンピューター ビジョンなどの分野で人間の精度に匹敵し始めました。さらに、IBM の Watson に代表される言語処理エンジンは、雑学全般において人間を上回り、深層学習の進歩は Go や Doom などのゲームで目覚ましい偉業を達成しました。

Large language Models

In 2017, Google researchers wrote a paper titled Attention Is All You Need. This paper introduced the transformer architecture that improved upon the existing Seq2seq technology. The transformer architecture relied heavily on the attention mechanism, which had been developed by Bahdanau and others in 2014. This innovation laid the foundation for many subsequent advancements in AI language models. Large language models slowly started revolutionizing the field of artificial intelligence. In 2018, BERT, an encoder-only model, became widespread.

大規模言語モデル 2017 年、Google の研究者は、必要なのは「注意だけ」というタイトルの論文を書きました。この文書では、既存の Seq2seq テクノロジーを改良したトランスフォーマー アーキテクチャを紹介しました。トランスフォーマーのアーキテクチャは、2014 年に Bahdanau らが開発したアテンション メカニズムに大きく依存していました。この革新は、その後の AI 言語モデルの多くの進歩の基礎を築きました。大規模な言語モデルは、ゆっくりと人工知能の分野に革命を起こし始めました。 2018年にはエンコーダ専用モデルであるBERTが普及しました。

Then came GPT.

次にGPTが登場しました。

The GPT model was actually introduced in 2018 and met with lukewarm reception. It was GPT-2 in 2019 that garnered widespread attention. It was so powerful that OpenAI initially hesitated to release it to the public due to concerns about its potential for misuse. The model’s ability to generate contextually relevant text raised ethical questions about the responsible use of AI.

GPT モデルは実際には 2018 年に導入されましたが、冷遇されました。広く注目を集めたのは 2019 年の GPT-2 でした。これは非常に強力だったので、OpenAI は当初、悪用の可能性を懸念して一般公開を躊躇していました。状況に応じて関連性のあるテキストを生成するモデルの機能は、AI の責任ある使用に関する倫理的な問題を引き起こしました。

But then, right at the onset of the next decade — came GPT-3.

しかし、次の 10 年の始まりに、GPT-3 が登場しました。