Near Protocol が世界最大のオープンソース AI モデルを構築する野心的な計画を発表

1.4 兆個のパラメータ モデルは、Meta の現在のオープンソース Llama モデルの 3.5 倍の大きさになります。

Layer-1 blockchain Near Protocol (NEAR) has announced plans to build the world’s largest open-source artificial intelligence (AI) model during the opening day of its Redacted conference in Bangkok, Thailand.

レイヤ 1 ブロックチェーン Near Protocol (NEAR) は、タイのバンコクで開催された Redacted カンファレンスの初日に、世界最大のオープンソース人工知能 (AI) モデルを構築する計画を発表しました。

The 1.4 trillion parameter model will be 3.5 times larger than Meta’s (META) current open-source Llama model. It will be created through competitive crowdsourced research and development (R&D) from thousands of contributors on the new Near AI Research hub.

1.4 兆個のパラメータ モデルは、メタ (META) の現在のオープンソース Llama モデルの 3.5 倍の大きさになります。これは、新しい Near AI Research ハブの数千人の貢献者による競争力のあるクラウドソーシングの研究開発 (R&D) を通じて作成されます。

Participants will be able to join the training of a small 500 million parameter model starting on Nov. 10. Near’s AI models will grow in size and sophistication across seven models. Only the best contributors will make the leap to working on progressively more complex and larger models.

参加者は、11 月 10 日から、小規模な 5 億パラメータ モデルのトレーニングに参加できるようになります。Near の AI モデルは、7 つのモデルにわたってサイズと洗練度が増大していきます。最も優れた貢献者だけが、段階的により複雑で大規模なモデルの開発に取り組むことができます。

The models will be monetized, and privacy will be preserved via the use of encrypted Trusted Execution Environments (TEE) to reward contributors and encourage constant updating as the technology progresses.

モデルは収益化され、暗号化された信頼できる実行環境 (TEE) を使用してプライバシーが保護され、貢献者に報酬が与えられ、テクノロジーの進歩に応じた継続的な更新が促進されます。

The project will be funded with token sales, Near co-founder Illia Polosukhin told Cointelegraph at the Redacted conference in Bangkok.

Nearの共同創設者イリア・ポロスキン氏はバンコクで開催されたRedactedカンファレンスでコインテレグラフに語った。

“It costs about $160 million, so it’s a lot, obviously, but actually, in crypto, it is raiseable money,” he said. Near is one of the few crypto projects with the ability to realize such an ambitious undertaking: Polosukhin was one of the authors of the groundbreaking transformer research paper that led to ChatGPT, and co-founder Alex Skidanov worked at OpenAI in the lead-up to the era-defining model’s release in late 2022.

「約1億6,000万ドルの費用がかかるので、明らかに高額ですが、実際、暗号通貨では調達可能なお金です」と彼は言いました。 Near は、このような野心的な取り組みを実現できる数少ない暗号プロジェクトの 1 つです。ポロスキン氏は、ChatGPT につながる画期的なトランスフォーマー研究論文の著者の 1 人であり、共同創設者の Alex Skidanov 氏は、ChatGPT に先立って OpenAI で働いていました。時代を定義するモデルは 2022 年後半にリリースされます。

Skidanov, who now heads up Near AI, conceded that training a model of this size and complexity would be a massive undertaking with a big hurdle to overcome.

現在、Near AI の責任者であるスキダノフ氏は、これほどの規模と複雑さのモデルをトレーニングするのは、乗り越えなければならない大きなハードルを伴う大規模な作業になることを認めました。

“To train a model of this size, you’d need tens of thousands of GPUs in one place, which wouldn’t be ideal. But to use a decentralized network of compute you’d need a new technology that doesn’t exist today because all the distributed training techniques we have require very fast interconnect,” he said.

「このサイズのモデルをトレーニングするには、1 か所に数万の GPU が必要になりますが、これは理想的ではありません。しかし、分散型のコンピューティング ネットワークを使用するには、現在存在しない新しいテクノロジーが必要になります。なぜなら、私たちが持つ分散トレーニング技術はすべて非常に高速な相互接続を必要とするからです。」と彼は言いました。

However, Skidanov added that emerging research from Deep Mind suggests it is possible.

しかし、スキダノフ氏は、ディープ・マインドによる新たな研究は、それが可能であることを示唆していると付け加えた。

“There is some emerging research from Deep Mind that shows you can actually do distributed training over slow interconnect with a technique called pipeline parallelism,” he said.

「パイプライン並列処理と呼ばれる技術を使用すると、低速の相互接続を介して分散トレーニングを実際に実行できることを示す、ディープ マインドによる新しい研究がいくつかあります」と彼は言いました。

Polosukhin said he hasn’t spoken with existing projects like the Artificial Superintelligence Alliance but would be happy to see if there are synergies.

ポロスキン氏は、人工超知能同盟のような既存のプロジェクトとはまだ話していないが、相乗効果があるかどうか知りたいと述べた。

“Whatever happens, decentralized AI technology must win for all our sake. We had Edward Snowden as a guest speaker at the conference, and he painted a scary portrait of centralized AI turning the world into a giant surveillance state,” he said.

「何が起こっても、私たちのために分散型 AI テクノロジーが勝利しなければなりません。カンファレンスのゲストスピーカーとしてエドワード・スノーデンを迎えましたが、彼は集中型AIが世界を巨大な監視国家に変えるという恐ろしい描写をしました」と彼は語った。

“This is probably the most important technology right now and probably in the future. And the reality is, if AI is controlled by one company, we effectively are going to do whatever that company says,” Snowden explained.

「これはおそらく現在、そしておそらく将来において最も重要なテクノロジーです。そして現実には、AIが一社によって管理されている場合、私たちは事実上、その企業の言うことを何でもすることになるのです」とスノーデン氏は説明した。