Near Protocol dévoile un plan ambitieux pour créer le plus grand modèle d'IA open source au monde

Le modèle de 1,4 billion de paramètres serait 3,5 fois plus grand que le modèle Llama open source actuel de Meta.

Layer-1 blockchain Near Protocol (NEAR) has announced plans to build the world’s largest open-source artificial intelligence (AI) model during the opening day of its Redacted conference in Bangkok, Thailand.

La blockchain de couche 1 Near Protocol (NEAR) a annoncé son intention de créer le plus grand modèle d'intelligence artificielle (IA) open source au monde lors de la journée d'ouverture de sa conférence expurgée à Bangkok, en Thaïlande.

The 1.4 trillion parameter model will be 3.5 times larger than Meta’s (META) current open-source Llama model. It will be created through competitive crowdsourced research and development (R&D) from thousands of contributors on the new Near AI Research hub.

Le modèle de 1,4 billion de paramètres sera 3,5 fois plus grand que le modèle Llama open source actuel de Meta (META). Il sera créé grâce à une recherche et un développement (R&D) compétitifs et participatifs de la part de milliers de contributeurs sur le nouveau hub Near AI Research.

Participants will be able to join the training of a small 500 million parameter model starting on Nov. 10. Near’s AI models will grow in size and sophistication across seven models. Only the best contributors will make the leap to working on progressively more complex and larger models.

Les participants pourront participer à la formation d'un petit modèle de 500 millions de paramètres à partir du 10 novembre. Les modèles d'IA de Near augmenteront en taille et en sophistication à travers sept modèles. Seuls les meilleurs contributeurs franchiront le pas et travailleront sur des modèles de plus en plus complexes et de plus en plus vastes.

The models will be monetized, and privacy will be preserved via the use of encrypted Trusted Execution Environments (TEE) to reward contributors and encourage constant updating as the technology progresses.

Les modèles seront monétisés et la confidentialité sera préservée via l'utilisation d'environnements d'exécution de confiance (TEE) cryptés pour récompenser les contributeurs et encourager une mise à jour constante à mesure que la technologie progresse.

The project will be funded with token sales, Near co-founder Illia Polosukhin told Cointelegraph at the Redacted conference in Bangkok.

Le projet sera financé par des ventes de jetons, a déclaré Illia Polosukhin, cofondatrice de Near, à Cointelegraph lors de la conférence expurgée à Bangkok.

“It costs about $160 million, so it’s a lot, obviously, but actually, in crypto, it is raiseable money,” he said. Near is one of the few crypto projects with the ability to realize such an ambitious undertaking: Polosukhin was one of the authors of the groundbreaking transformer research paper that led to ChatGPT, and co-founder Alex Skidanov worked at OpenAI in the lead-up to the era-defining model’s release in late 2022.

"Cela coûte environ 160 millions de dollars, donc c'est beaucoup, évidemment, mais en réalité, en crypto, c'est de l'argent récupérable", a-t-il déclaré. Near est l'un des rares projets de cryptographie capables de réaliser un projet aussi ambitieux : Polosukhin a été l'un des auteurs du document de recherche révolutionnaire sur les transformateurs qui a conduit à ChatGPT, et le co-fondateur Alex Skidanov a travaillé chez OpenAI avant la création de ChatGPT. la sortie du modèle qui définit l’ère fin 2022.

Skidanov, who now heads up Near AI, conceded that training a model of this size and complexity would be a massive undertaking with a big hurdle to overcome.

Skidanov, qui dirige désormais Near AI, a admis que la formation d'un modèle de cette taille et de cette complexité serait une entreprise colossale avec un obstacle de taille à surmonter.

“To train a model of this size, you’d need tens of thousands of GPUs in one place, which wouldn’t be ideal. But to use a decentralized network of compute you’d need a new technology that doesn’t exist today because all the distributed training techniques we have require very fast interconnect,” he said.

« Pour entraîner un modèle de cette taille, il faudrait des dizaines de milliers de GPU en un seul endroit, ce qui ne serait pas idéal. Mais pour utiliser un réseau informatique décentralisé, il faudrait une nouvelle technologie qui n'existe pas aujourd'hui, car toutes les techniques de formation distribuées dont nous disposons nécessitent une interconnexion très rapide », a-t-il déclaré.

However, Skidanov added that emerging research from Deep Mind suggests it is possible.

Cependant, Skidanov a ajouté que les nouvelles recherches de Deep Mind suggèrent que c'est possible.

“There is some emerging research from Deep Mind that shows you can actually do distributed training over slow interconnect with a technique called pipeline parallelism,” he said.

"Des recherches émergentes de Deep Mind montrent que vous pouvez réellement effectuer une formation distribuée sur une interconnexion lente avec une technique appelée parallélisme de pipeline", a-t-il déclaré.

Polosukhin said he hasn’t spoken with existing projects like the Artificial Superintelligence Alliance but would be happy to see if there are synergies.

Polosukhin a déclaré qu'il n'avait pas parlé de projets existants tels que l'Alliance de superintelligence artificielle, mais qu'il serait heureux de voir s'il existe des synergies.

“Whatever happens, decentralized AI technology must win for all our sake. We had Edward Snowden as a guest speaker at the conference, and he painted a scary portrait of centralized AI turning the world into a giant surveillance state,” he said.

« Quoi qu’il arrive, la technologie décentralisée de l’IA doit gagner pour notre bien à tous. Nous avions Edward Snowden comme conférencier invité à la conférence, et il a dressé un portrait effrayant de l’IA centralisée transformant le monde en un État de surveillance géant », a-t-il déclaré.

“This is probably the most important technology right now and probably in the future. And the reality is, if AI is controlled by one company, we effectively are going to do whatever that company says,” Snowden explained.

« Il s’agit probablement de la technologie la plus importante à l’heure actuelle et probablement à l’avenir. Et la réalité est que si l’IA est contrôlée par une seule entreprise, nous ferons effectivement tout ce que dit cette entreprise », a expliqué Snowden.