대형 컨셉 모델(LCM)은 몇 가지 흥미로운 전망을 제시합니다.

오늘 칼럼에서는 현대 단어를 넘어서는 생성 AI와 대규모 언어 모델(LLM)의 흥미로운 새로운 발전을 탐구합니다.

Large concept models (LCMs) offer some exciting prospects. In today’s column, I explore an intriguing new advancement for generative AI and large language models (LLMs) consisting of moving beyond contemporary words-based approaches to sentence-oriented approaches.

대형 컨셉 모델(LCM)은 몇 가지 흥미로운 전망을 제공합니다. 오늘 칼럼에서는 현대의 단어 기반 접근 방식을 넘어 문장 중심 접근 방식으로 이동하는 생성 AI 및 대규모 언어 모델(LLM)의 흥미로운 새로운 발전을 살펴봅니다.

The extraordinary deal is this. You might be vaguely aware that most LLMs currently focus on words and accordingly generate responses on a word-at-a-time basis. Suppose that instead of looking at the world via individual words, we could use sentences as a core element. Whole sentences come into AI, and complete sentences are generated out of AI.

특별한 거래는 이것이다. 현재 대부분의 LLM이 단어에 초점을 맞추고 그에 따라 한 번에 한 단어씩 응답을 생성한다는 사실을 막연하게 알고 계실 것입니다. 개별 단어를 통해 세상을 보는 대신 문장을 핵심 요소로 사용할 수 있다고 가정해 보겠습니다. 전체 문장이 AI로 들어오고, AI에서 완전한 문장이 생성됩니다.

To do this, the twist is that sentences are reducible to underlying concepts, and those computationally ferreted-out concepts become the esteemed coinage of the realm for this groundbreaking architectural upheaval of conventional generative AI and LLMs. The new angle radically becomes that we then design, build, and field so-called large concept models (LCMs) in lieu of old-fashioned large language models.

이를 위해 문장을 기본 개념으로 축소할 수 있고, 계산적으로 찾아낸 개념이 기존 생성 AI 및 LLM의 획기적인 아키텍처 대변동을 위한 영역의 존경받는 주화가 된다는 점에서 반전이 있습니다. 근본적으로 새로운 관점은 구식의 대규모 언어 모델 대신 소위 대규모 개념 모델(LCM)을 설계, 구축 및 적용하는 것입니다.

Let’s talk about it.

그것에 대해 이야기합시다.

This analysis of an innovative AI breakthrough is part of my ongoing Forbes column coverage on the latest in AI including identifying and explaining various impactful AI complexities (see the link here). For my coverage of the top-of-the-line OpenAI ChatGPT o1 and o3 models and their advanced reasoning functionality, see the link here and the link here.

혁신적인 AI 혁신에 대한 이 분석은 영향력 있는 다양한 AI 복잡성을 식별하고 설명하는 것을 포함하여 최신 AI에 대해 진행 중인 Forbes 칼럼의 일부입니다(여기 링크 참조). 최고급 OpenAI ChatGPT o1 및 o3 모델과 고급 추론 기능에 대한 내용을 보려면 여기 링크와 여기 링크를 참조하세요.

There is an ongoing concern in the AI community that perhaps AI researchers and AI developers are treading too much of the same ground right now. We seem to have landed on an impressive architecture contrivance for how to shape generative AI and LLMs and few want to depart from the success so far attained.

AI 연구자와 AI 개발자가 현재 너무 같은 영역을 밟고 있다는 AI 커뮤니티의 지속적인 우려가 있습니다. 우리는 생성 AI 및 LLM을 형성하는 방법에 대한 인상적인 아키텍처 고안에 도달한 것으로 보이며 지금까지 달성한 ​​성공에서 벗어나고 싶어하는 사람은 거의 없습니다.

If it isn’t broken, don’t fix it.

깨지지 않았다면 고치지 마세요.

The problem is that not everyone concurs that the prevailing architecture isn’t actually broken. By broken — and to quickly clarify, the issue is more of limitations and constraints than it is one of something inherently being wrong. A strong and vocal viewpoint is that we are hitting the topmost thresholds of what contemporary LLMs can accomplish. There isn’t much left in the gas tank, and we are soon to hit a veritable wall.

문제는 일반적인 아키텍처가 실제로 손상되지 않았다는 데 모든 사람이 동의하는 것은 아니라는 것입니다. 깨진다는 점을 빠르게 명확히 하자면, 문제는 본질적으로 잘못된 것보다 제한과 제약에 더 가깝습니다. 강력하고 확고한 관점은 우리가 현대 LLM이 달성할 수 있는 최고 수준에 도달했다는 것입니다. 가스 탱크에는 얼마 남지 않았고 곧 진짜 벽에 부딪힐 것입니다.

As such, there are brave souls who are seeking alternative architectural avenues. Exciting but a gamble at the same time. They might hit the jackpot and discover the next level of AI. Fame and fortune await. On the other hand, they might waste time on a complete dead-end. Smarmy cynics will call them foolish for their foolhardy ambitions. It could harm your AI career and knock you out of getting that sweet AI high-tech freewheeling job you’ve been eyeing for the longest time.

따라서 대안적인 건축적 방법을 찾고 있는 용감한 영혼들이 있습니다. 흥미롭지만 동시에 도박이기도 합니다. 그들은 대박을 터뜨리고 AI의 다음 단계를 발견할 수도 있습니다. 명예와 행운이 기다리고 있습니다. 반면에 막다른 골목에서 시간을 낭비할 수도 있습니다. Smarmy 냉소주의자들은 그들의 어리석은 야망 때문에 그들을 어리석은 사람이라고 부를 것입니다. 그것은 당신의 AI 경력에 해를 끼칠 수 있고 당신이 오랫동안 기다려 왔던 멋진 AI 하이테크 자유분방한 직업을 얻지 못하게 될 수도 있습니다.

I continue to give airtime to those who are heads-down seriously aiming to upset the apple cart. For example, my analysis of the clever chain-of-continuous thought approach for LLMs merits dutiful consideration, see the link here. Another exciting possibility is the neuro-symbolic or hybrid AI approach that marries artificial neural networks (ANNs) with rules-based reasoning, see my discussion at the link here.

나는 사과 카트를 뒤흔들려고 진지하게 고개를 숙이는 사람들에게 방송 시간을 계속 제공합니다. 예를 들어, LLM에 대한 영리한 연속 사고 방식에 대한 분석은 충실한 고려가 필요합니다. 여기 링크를 참조하세요. 또 다른 흥미로운 가능성은 인공 신경망(ANN)과 규칙 기반 추론을 결합하는 신경 기호 또는 하이브리드 AI 접근 방식입니다. 여기 링크에서 내 토론을 참조하세요.

There is no doubt in my mind that a better mousetrap is still to be found, and all legitimate new-world explorers should keep sailing the winds of change. May your voyage be fruitful.

더 나은 쥐덫이 여전히 발견되어야 한다는 점에는 의심의 여지가 없으며, 모든 합법적인 신세계 탐험가들은 변화의 바람을 계속 항해해야 합니다. 당신의 항해가 유익하길 바랍니다.

The approach I’ll be identifying this time around has to do with the existing preoccupation with words.

이번에 제가 확인하게 될 접근 방식은 기존의 단어에 대한 집착과 관련이 있습니다.

Actually, it might be more appropriate to say a preoccupation with tokens. When you enter words into a prompt, those words are converted into numeric values referred to as tokens. The rest of the AI processing computationally crunches on those numeric values or tokens, see my detailed description of how this works at the link here. Ultimately, the AI-generated response is in token format and must be converted back into text so that you get a readable answer.

사실 토큰에 대한 선입견이라는 표현이 더 적절할 수도 있겠네요. 프롬프트에 단어를 입력하면 해당 단어는 토큰이라는 숫자 값으로 변환됩니다. AI 처리의 나머지 부분은 숫자 값이나 토큰을 계산적으로 처리합니다. 여기 링크에서 이것이 어떻게 작동하는지에 대한 자세한 설명을 참조하세요. 궁극적으로 AI가 생성한 응답은 토큰 형식이며 읽을 수 있는 답변을 얻으려면 다시 텍스트로 변환해야 합니다.

In a sense, you give words to AI, and the AI gives you words in return (albeit via the means of tokenization).

어떤 의미에서는 AI에게 단어를 제공하면 AI는 (토큰화 수단을 통해서라도) 답례로 단어를 제공합니다.

Do we have to do things that way?

우리는 그런 식으로 일을 해야 합니까?

No, there doesn’t seem to be a fundamental irrefutable law of nature that says we must confine ourselves to a word-at-a-time focus. Feel free to consider alternatives. Let your wild thoughts flow.

아니요, 우리가 한 번에 한 단어에만 집중해야 한다고 말하는 반박할 수 없는 근본적인 자연 법칙은 없는 것 같습니다. 자유롭게 대안을 고려해 보세요. 당신의 거친 생각을 흐르게 하십시오.

Here is an idea. Imagine that whole sentences were the unit of interest. Rather than parsing and aiming at single words, we conceive of a sentence as our primary unit of measure. A sentence is admittedly a collection of words. No disagreement there. The gist is that the sentence is seen as a sentence. Right now, a sentence happens to be treated as a string of words.

여기에 아이디어가 있습니다. 전체 문장이 관심 단위라고 상상해 보세요. 우리는 단일 단어를 분석하고 목표로 삼는 대신 문장을 주요 측정 단위로 생각합니다. 문장은 단어의 모음임이 분명합니다. 거기에는 이견이 없습니다. 요점은 문장이 문장으로 보인다는 것입니다. 현재 문장은 단어의 문자열로 취급됩니다.

Give the AI a sentence, and you get back a generated sentence in return.

AI에게 문장을 주면, 그 대가로 생성된 문장을 돌려받게 됩니다.

Boom, drop the mic.

붐, 마이크 내려놔

Making sense of sentences is a bit of a head-scratcher. How do you look at an entire sentence and identify what the meaning or significance of the sentence is?

문장을 이해하는 것은 약간 머리를 긁는 일입니다. 전체 문장을 보고 문장의 의미나 의미가 무엇인지 어떻게 식별합니까?

Aha, let’s assume that sentences are representative of concepts. Each sentence will

아하, 문장이 개념을 대표한다고 가정해 봅시다. 각 문장은