CRAM: AI 프로토콜의 전력 소비를 수십배 줄일 수 있는 새로운 칩 설계

인공지능(AI)은 에너지 수요와 함께 계속해서 4차 산업혁명을 주도하고 있습니다. 오늘날 누구나 고급 AI 도구에 액세스할 수 있습니다.

Artificial Intelligence (AI) continues to power the 4th industrial revolution, alongside its energy demands. Today, anyone can access advanced AI tools and integrate them into their systems to improve efficiency and reduce workload. The energy required to power these algorithms increases as the demand for AI applications increases. As such, environmentalists are already pointing out sustainability concerns surrounding the tech. Thankfully, a team of researchers has created a highly efficient alternative. Here's what you need to know.

인공지능(AI)은 에너지 수요와 함께 계속해서 4차 산업혁명을 주도하고 있습니다. 오늘날 누구나 고급 AI 도구에 액세스하고 이를 시스템에 통합하여 효율성을 높이고 작업량을 줄일 수 있습니다. AI 애플리케이션에 대한 수요가 증가함에 따라 이러한 알고리즘을 구동하는 데 필요한 에너지도 증가합니다. 따라서 환경론자들은 이미 기술을 둘러싼 지속 가능성 문제를 지적하고 있습니다. 다행히도 연구팀이 매우 효율적인 대안을 만들었습니다. 당신이 알아야 할 사항은 다음과 같습니다.

Growing AI Energy Demands Creating an Energy Crisis

AI 에너지 수요 증가로 인한 에너지 위기 초래

New AI systems continue to launch at an increasing frequency. The most recent global energy use forecast predicts that AI energy consumption will double from 460 terawatt-hours (TWh) in 2022 to 1,000 TWh by 2026. These protocols include recommenders, large language models (LLMs), image and video processing and creation, Web3 services, and more.

새로운 AI 시스템은 점점 더 자주 출시됩니다. 가장 최근의 글로벌 에너지 사용 예측에서는 AI 에너지 소비가 2022년 460TWh에서 2026년까지 1,000TWh로 두 배 증가할 것으로 예측합니다. 이러한 프로토콜에는 추천자, LLM(대형 언어 모델), 이미지 및 비디오 처리 및 생성, Web3가 포함됩니다. 서비스 등.

According to the researcher's study, AI systems require data transference that equates to “200 times the energy used for computation when reading three 64-bit source operands from and writing one 64-bit destination operand to an off-chip main memory.” As such, reducing energy consumption for artificial intelligence (AI) computing applications is a prime concern for developers who will need to overcome this roadblock to achieve large-scale adoption and mature the tech.

연구원의 연구에 따르면 AI 시스템에는 "오프칩 메인 메모리에서 3개의 64비트 소스 피연산자를 읽고 하나의 64비트 대상 피연산자를 쓸 때 계산에 사용되는 에너지의 200배"에 해당하는 데이터 전송이 필요합니다. 따라서 인공 지능(AI) 컴퓨팅 애플리케이션의 에너지 소비를 줄이는 것은 대규모 채택을 달성하고 기술을 성숙시키기 위해 이러한 장애물을 극복해야 하는 개발자의 주요 관심사입니다.

Thankfully, a group of innovative engineers from the University of Minnesota have stepped up with a possible solution that could reduce the power consumption of AI protocols by orders of magnitude. To accomplish this task, the researchers introduce a new chip design that improves on the Von Neumann Architecture found in most chips today.

다행히 미네소타 대학의 혁신적인 엔지니어 그룹이 AI 프로토콜의 전력 소비를 몇 배나 줄일 수 있는 솔루션을 개발했습니다. 이 작업을 수행하기 위해 연구원들은 오늘날 대부분의 칩에서 발견되는 Von Neumann Architecture를 개선한 새로운 칩 설계를 도입했습니다.

Von Neumann Architecture

폰 노이만 아키텍처

John von Neumann revolutionized the computer sector in 1945 when he separated logic and memory units, enabling more efficient computing at the time. In this arrangement, the logic and data are stored in different physical locations. His invention improved performance because it allowed both to be accessed simultaneously.

존 폰 노이만(John von Neumann)은 1945년에 논리 장치와 메모리 장치를 분리하여 당시에 더욱 효율적인 컴퓨팅을 가능하게 함으로써 컴퓨터 부문에 혁명을 일으켰습니다. 이 배열에서는 로직과 데이터가 서로 다른 물리적 위치에 저장됩니다. 그의 발명은 두 가지 모두에 동시에 액세스할 수 있게 해주기 때문에 성능을 향상시켰습니다.

Today, most computers still use the Von Neuman structure with your HD storing your programs and the random access memory (RAM) housing programming instructions and temporary data. Today's RAM accomplishes this task using various methods including DRAM, which leverages capacitors, and SRAM, which has multiple circuits.

오늘날 대부분의 컴퓨터는 여전히 HD에 프로그램을 저장하고 RAM(Random Access Memory)에 프로그래밍 지침과 임시 데이터를 저장하는 Von Neuman 구조를 사용합니다. 오늘날의 RAM은 커패시터를 활용하는 DRAM과 여러 회로가 있는 SRAM을 비롯한 다양한 방법을 사용하여 이 작업을 수행합니다.

Notably, this structure worked great for decades. However, the constant transfer of data between logic and memory requires lots of energy. This energy transfer increases as data requirements and computational load increase. As such, it creates a performance bottleneck that limits efficiency as computing power increases.

특히 이 구조는 수십 년 동안 훌륭하게 작동했습니다. 그러나 로직과 메모리 간의 지속적인 데이터 전송에는 많은 에너지가 필요합니다. 이러한 에너지 전달은 데이터 요구 사항과 계산 부하가 증가함에 따라 증가합니다. 따라서 컴퓨팅 성능이 증가함에 따라 효율성을 제한하는 성능 병목 현상이 발생합니다.

Attempted Improvements on Energy Demands

에너지 수요 개선 시도

Over the years, many attempts have been made to improve Von Neumann's architecture. These attempts have created different variations of the memory process with the goal of bringing the two actions closer physically. Currently, the three main variations include.

수년에 걸쳐 Von Neumann의 아키텍처를 개선하려는 많은 시도가 있었습니다. 이러한 시도는 두 가지 행동을 물리적으로 더 가깝게 만들려는 목표로 기억 과정의 다양한 변형을 만들어냈습니다. 현재 세 가지 주요 변형이 포함됩니다.

Near-memory Processing

근거리 메모리 처리

This upgrade moves logic physically closer to memory. This was accomplished using a 3D-stacked infrastructure. Moving the logic closer reduced the distance and energy needed to transfer the data required to power computations. This architecture provided improved efficiency.

이 업그레이드는 로직을 물리적으로 메모리에 더 가깝게 이동합니다. 이는 3D 스택 인프라를 사용하여 수행되었습니다. 로직을 더 가깝게 이동하면 전력 계산에 필요한 데이터를 전송하는 데 필요한 거리와 에너지가 줄어듭니다. 이 아키텍처는 향상된 효율성을 제공했습니다.

In-memory Computing

인메모리 컴퓨팅

Another current method of improving computational architecture is in-memory computing. Notably, there are two variations of this style of chip. The original integrates clusters of logic next to the memory on a single chip. This deployment enables the elimination of transistors used in predecessors. However, there are many who consider this method not “true” to the in-memory structure because it still has separate memory locations, which means that initial performance issues that resulted from the data transfer exist, albeit on a smaller scale.

컴퓨팅 아키텍처를 개선하는 또 다른 현재 방법은 인메모리 컴퓨팅입니다. 특히 이 칩 스타일에는 두 가지 변형이 있습니다. 원본은 단일 칩의 메모리 옆에 로직 클러스터를 통합합니다. 이번 배치로 기존에 사용하던 트랜지스터를 없앨 수 있게 됐다. 그러나 이 방법은 여전히 ​​별도의 메모리 위치를 가지고 있기 때문에 인 메모리 구조에 "진짜"가 아니라고 생각하는 사람들이 많습니다. 즉, 규모는 작지만 데이터 전송으로 인한 초기 성능 문제가 존재한다는 의미입니다.

True In-memory

진정한 인메모리

The final type of chip architecture is “true in-memory.” To qualify as this type of architecture, the memory needs to perform computations directly. This structure enhances capabilities and performance because the data for logic operations remains in its location. The researcher's latest version of true in-memory architecture is CRAM.

칩 아키텍처의 마지막 유형은 "진정한 인메모리"입니다. 이러한 유형의 아키텍처로 적합하려면 메모리가 직접 계산을 수행해야 합니다. 이 구조는 논리 연산에 대한 데이터가 해당 위치에 유지되므로 기능과 성능을 향상시킵니다. 연구원의 진정한 인메모리 아키텍처의 최신 버전은 CRAM입니다.

(CRAM)

(벼락 공부)

Computational random-access memory (CRAM) enables true in-memory computations as the data is processed within the same array. The researchers modified a standard 1T1M STT-MRAM architecture to make CRAM possible. The CRAM layout integrates micro transistors into each cell and builds on the magnetic tunnel junction-based CPUs.

CRAM(전산 랜덤 액세스 메모리)을 사용하면 데이터가 동일한 어레이 내에서 처리되므로 진정한 메모리 내 계산이 가능합니다. 연구원들은 CRAM을 가능하게 하기 위해 표준 1T1M STT-MRAM 아키텍처를 수정했습니다. CRAM 레이아웃은 마이크로 트랜지스터를 각 셀에 통합하고 자기 터널 접합 기반 CPU를 기반으로 합니다.

This approach provides better control and performance. The team then stacked an additional transistor, logic line (LL), and logic bit line (LBL) in each cell, enabling real-time computation within the same memory bank.

이 접근 방식은 더 나은 제어와 성능을 제공합니다. 그런 다음 팀은 각 셀에 추가 트랜지스터, 논리 라인(LL) 및 논리 비트 라인(LBL)을 쌓아 동일한 메모리 뱅크 내에서 실시간 계산을 가능하게 했습니다.

History of CRAM

CRAM의 역사

Today's AI systems require a new structure that can meet their computational demands without diminishing sustainability concerns. Recognizing this demand, engineers decided to delve deep into CRAM capabilities for the first time. Their results were published in the NPJ scientific journal under the report “Experimental demonstration of magnetic tunnel junction-based computational random-access memory.”

오늘날의 AI 시스템에는 지속 가능성에 대한 우려를 줄이지 않으면서 컴퓨팅 요구 사항을 충족할 수 있는 새로운 구조가 필요합니다. 이러한 요구를 인식한 엔지니어들은 처음으로 CRAM 기능을 심층적으로 조사하기로 결정했습니다. 이들 결과는 NPJ 과학저널에 '자기 터널 접합 기반 전산 랜덤 액세스 메모리의 실험적 시연'이라는 제목으로 게재됐다.

The first CRAM leveraged an MTJ device structure. These spintronic devices improved on previous storage methods by using electron spin rather than transistors to transfer and store

첫 번째 CRAM은 MTJ 장치 구조를 활용했습니다. 이러한 스핀트로닉 장치는 트랜지스터 대신 전자 스핀을 사용하여 전송 및 저장함으로써 이전 저장 방법을 개선했습니다.