CRAM: AI プロトコルの消費電力を桁違いに削減できる新しいチップ設計

人工知能 (AI) は、エネルギー需要とともに第 4 次産業革命を推進し続けています。今日、誰もが高度な AI ツールにアクセスできるようになりました

Artificial Intelligence (AI) continues to power the 4th industrial revolution, alongside its energy demands. Today, anyone can access advanced AI tools and integrate them into their systems to improve efficiency and reduce workload. The energy required to power these algorithms increases as the demand for AI applications increases. As such, environmentalists are already pointing out sustainability concerns surrounding the tech. Thankfully, a team of researchers has created a highly efficient alternative. Here's what you need to know.

人工知能 (AI) は、エネルギー需要とともに第 4 次産業革命を推進し続けています。現在、誰もが高度な AI ツールにアクセスし、システムに統合して効率を向上させ、作業負荷を軽減することができます。 AI アプリケーションの需要が高まるにつれて、これらのアルゴリズムを駆動するために必要なエネルギーも増加します。そのため、環境活動家らはすでにこの技術を巡る持続可能性への懸念を指摘している。ありがたいことに、研究者チームが非常に効率的な代替手段を作成しました。知っておくべきことは次のとおりです。

Growing AI Energy Demands Creating an Energy Crisis

AI のエネルギー需要の増大によるエネルギー危機の発生

New AI systems continue to launch at an increasing frequency. The most recent global energy use forecast predicts that AI energy consumption will double from 460 terawatt-hours (TWh) in 2022 to 1,000 TWh by 2026. These protocols include recommenders, large language models (LLMs), image and video processing and creation, Web3 services, and more.

新しい AI システムは、ますます頻繁に起動され続けています。最新の世界的なエネルギー使用予測では、AI のエネルギー消費量が 2022 年の 460 テラワット時 (TWh) から 2026 年までに 1,000 TWh に倍増すると予測されています。これらのプロトコルには、レコメンダー、大規模言語モデル (LLM)、画像とビデオの処理と作成、Web3 が含まれます。サービスなど。

According to the researcher's study, AI systems require data transference that equates to “200 times the energy used for computation when reading three 64-bit source operands from and writing one 64-bit destination operand to an off-chip main memory.” As such, reducing energy consumption for artificial intelligence (AI) computing applications is a prime concern for developers who will need to overcome this roadblock to achieve large-scale adoption and mature the tech.

研究者の研究によると、AI システムには「オフチップ メイン メモリから 3 つの 64 ビット ソース オペランドを読み取り、オフチップ メイン メモリに 1 つの 64 ビット デスティネーション オペランドを書き込むときに計算に使用されるエネルギーの 200 倍」に相当するデータ転送が必要です。そのため、人工知能 (AI) コンピューティング アプリケーションのエネルギー消費量を削減することは、大規模な導入を達成し、技術を成熟させるためにこの障害を克服する必要がある開発者にとっての最大の関心事です。

Thankfully, a group of innovative engineers from the University of Minnesota have stepped up with a possible solution that could reduce the power consumption of AI protocols by orders of magnitude. To accomplish this task, the researchers introduce a new chip design that improves on the Von Neumann Architecture found in most chips today.

ありがたいことに、ミネソタ大学の革新的なエンジニアのグループが、AI プロトコルの消費電力を桁違いに削減できる可能性のあるソリューションを開発しました。この課題を達成するために、研究者らは、今日のほとんどのチップに搭載されているフォン・ノイマン・アーキテクチャを改良した新しいチップ設計を導入しました。

Von Neumann Architecture

フォン・ノイマン建築

John von Neumann revolutionized the computer sector in 1945 when he separated logic and memory units, enabling more efficient computing at the time. In this arrangement, the logic and data are stored in different physical locations. His invention improved performance because it allowed both to be accessed simultaneously.

ジョン フォン ノイマンは 1945 年にロジック ユニットとメモリ ユニットを分離し、当時のより効率的なコンピューティングを可能にしてコンピュータ分野に革命を起こしました。この配置では、ロジックとデータは異なる物理的な場所に保存されます。彼の発明により、両方に同時にアクセスできるため、パフォーマンスが向上しました。

Today, most computers still use the Von Neuman structure with your HD storing your programs and the random access memory (RAM) housing programming instructions and temporary data. Today's RAM accomplishes this task using various methods including DRAM, which leverages capacitors, and SRAM, which has multiple circuits.

現在でも、ほとんどのコンピュータは、プログラムを保存する HD と、プログラミング命令と一時データを保存するランダム アクセス メモリ (RAM) を備えたフォン ノイマン構造を使用しています。今日の RAM は、コンデンサを利用する DRAM や複数の回路を備えた SRAM など、さまざまな方法を使用してこのタスクを実現します。

Notably, this structure worked great for decades. However, the constant transfer of data between logic and memory requires lots of energy. This energy transfer increases as data requirements and computational load increase. As such, it creates a performance bottleneck that limits efficiency as computing power increases.

注目すべきことに、この構造は何十年にもわたってうまく機能しました。ただし、ロジックとメモリの間でデータを継続的に転送するには、多くのエネルギーが必要です。このエネルギー伝達は、データ要件と計算負荷が増加するにつれて増加します。そのため、コンピューティング能力が増加するにつれて効率が制限されるパフォーマンスのボトルネックが発生します。

Attempted Improvements on Energy Demands

エネルギー需要の改善の試み

Over the years, many attempts have been made to improve Von Neumann's architecture. These attempts have created different variations of the memory process with the goal of bringing the two actions closer physically. Currently, the three main variations include.

長年にわたり、フォン ノイマンのアーキテクチャを改善するために多くの試みが行われてきました。これらの試みは、2 つの動作を物理的に近づけることを目的として、記憶プロセスのさまざまなバリエーションを作成しました。現在、主なバリエーションは 3 つあります。

Near-memory Processing

ニアメモリ処理

This upgrade moves logic physically closer to memory. This was accomplished using a 3D-stacked infrastructure. Moving the logic closer reduced the distance and energy needed to transfer the data required to power computations. This architecture provided improved efficiency.

このアップグレードにより、ロジックが物理的にメモリに近づきます。これは、3D スタック インフラストラクチャを使用して実現されました。ロジックを近づけることで、計算の実行に必要なデータの転送に必要な距離とエネルギーが削減されました。このアーキテクチャにより効率が向上しました。

In-memory Computing

インメモリコンピューティング

Another current method of improving computational architecture is in-memory computing. Notably, there are two variations of this style of chip. The original integrates clusters of logic next to the memory on a single chip. This deployment enables the elimination of transistors used in predecessors. However, there are many who consider this method not “true” to the in-memory structure because it still has separate memory locations, which means that initial performance issues that resulted from the data transfer exist, albeit on a smaller scale.

コンピューティング アーキテクチャを改善する現在のもう 1 つの方法は、インメモリ コンピューティングです。特に、このスタイルのチップには 2 つのバリエーションがあります。オリジナルでは、単一チップ上のメモリの隣にロジックのクラスターが統合されています。この導入により、以前のバージョンで使用されていたトランジスタを排除できます。ただし、この方法はインメモリ構造に「当てはまらない」と考える人も多くいます。なぜなら、この方法には依然として別個のメモリ位置があるためです。つまり、規模は小さいとはいえ、データ転送に起因する初期パフォーマンスの問題が存在することを意味します。

True In-memory

真のインメモリ

The final type of chip architecture is “true in-memory.” To qualify as this type of architecture, the memory needs to perform computations directly. This structure enhances capabilities and performance because the data for logic operations remains in its location. The researcher's latest version of true in-memory architecture is CRAM.

最後のタイプのチップ アーキテクチャは「真のインメモリ」です。このタイプのアーキテクチャとして認定するには、メモリが計算を直接実行する必要があります。この構造により、論理演算のデータがその場所に残るため、機能とパフォーマンスが向上します。研究者による真のインメモリ アーキテクチャの最新バージョンは CRAM です。

(CRAM)

（詰め込む）

Computational random-access memory (CRAM) enables true in-memory computations as the data is processed within the same array. The researchers modified a standard 1T1M STT-MRAM architecture to make CRAM possible. The CRAM layout integrates micro transistors into each cell and builds on the magnetic tunnel junction-based CPUs.

計算用ランダム アクセス メモリ (CRAM) により、データが同じアレイ内で処理されるため、真のメモリ内計算が可能になります。研究者らは、標準の 1T1M STT-MRAM アーキテクチャを変更して CRAM を可能にしました。 CRAM レイアウトはマイクロ トランジスタを各セルに統合し、磁気トンネル接合ベースの CPU を基盤に構築されています。

This approach provides better control and performance. The team then stacked an additional transistor, logic line (LL), and logic bit line (LBL) in each cell, enabling real-time computation within the same memory bank.

このアプローチにより、制御とパフォーマンスが向上します。次にチームは、各セルに追加のトランジスタ、ロジック ライン (LL)、ロジック ビット ライン (LBL) を積層し、同じメモリ バンク内でのリアルタイム計算を可能にしました。

History of CRAM

CRAMの歴史

Today's AI systems require a new structure that can meet their computational demands without diminishing sustainability concerns. Recognizing this demand, engineers decided to delve deep into CRAM capabilities for the first time. Their results were published in the NPJ scientific journal under the report “Experimental demonstration of magnetic tunnel junction-based computational random-access memory.”

今日の AI システムには、持続可能性への懸念を軽減することなく計算需要を満たすことができる新しい構造が必要です。この需要を認識して、エンジニアは初めて CRAM 機能を深く掘り下げることにしました。彼らの結果は、「磁気トンネル接合ベースの計算ランダムアクセスメモリの実験的実証」というレポートとしてNPJ科学誌に掲載された。

The first CRAM leveraged an MTJ device structure. These spintronic devices improved on previous storage methods by using electron spin rather than transistors to transfer and store

最初の CRAM は MTJ デバイス構造を利用しました。これらのスピントロニクスデバイスは、転送と保存にトランジスタではなく電子スピンを使用することで、以前の保存方法を改良しました。