METAGENE-1: 生物監視とパンデミックへの備えのためのメタゲノム基盤モデル

南カリフォルニア大学、Prime Intellect、および Nucleic Acid Observatory の研究者は、メタゲノム基礎モデルである METAGENE-1 を導入しました。この 70 億パラメータの自己回帰トランスフォーマー モデルは、メタゲノム配列を分析するために特別に設計されています。

With emerging pandemics posing persistent threats to global health, the need for advanced biosurveillance and pathogen detection systems is becoming increasingly evident. Traditional genomic analysis methods, while effective in isolated cases, often encounter challenges in addressing the complexities of large-scale health monitoring. A significant difficulty lies in identifying and understanding the genomic diversity in environments such as wastewater, which contains a rich mix of microbial and viral DNA and RNA. In this context, the rapid advancements in biological research are highlighting the importance of scalable, accurate, and interpretable models to analyze vast amounts of metagenomic data, aiding in the prediction and mitigation of health crises.

新たなパンデミックが世界の健康に継続的な脅威をもたらす中、高度な生物監視および病原体検出システムの必要性がますます明らかになってきています。従来のゲノム分析方法は、個別のケースでは効果的ですが、大規模な健康監視の複雑さに対処する際に課題に直面することがよくあります。微生物、ウイルスの DNA および RNA が豊富に混合されている廃水などの環境におけるゲノムの多様性を特定し、理解することは大きな困難です。これに関連して、生物学研究の急速な進歩により、健康危機の予測と緩和に役立つ、膨大なメタゲノムデータを分析するための拡張可能で正確かつ解釈可能なモデルの重要性が浮き彫りになっています。

Now, a team of researchers from the University of Southern California, Prime Intellect, and the Nucleic Acid Observatory have introduced METAGENE-1, a metagenomic foundation model. This 7-billion-parameter autoregressive transformer model is specifically designed to analyze metagenomic sequences. METAGENE-1 is trained on a dataset comprising over 1.5 trillion DNA and RNA base pairs derived from human wastewater samples, utilizing next-generation sequencing technologies and a tailored byte-pair encoding (BPE) tokenization strategy to capture the intricate genomic diversity present in these datasets. The model is open-sourced, encouraging collaboration and further advancements in the field.

今回、南カリフォルニア大学、Prime Intellect、およびNucleic Acid Observatoryの研究者チームは、メタゲノム基礎モデルであるMETAGENE-1を導入しました。この 70 億パラメータの自己回帰トランスフォーマー モデルは、メタゲノム配列を分析するために特別に設計されています。 METAGENE-1 は、人間の廃水サンプルに由来する 1.5 兆を超える DNA および RNA 塩基対で構成されるデータセットでトレーニングされ、次世代シーケンシング技術とカスタマイズされたバイトペア エンコーディング (BPE) トークン化戦略を利用して、廃水サンプルに存在する複雑なゲノム多様性を捕捉します。データセット。このモデルはオープンソースであり、この分野でのコラボレーションとさらなる進歩を促進します。

Technical Highlights and BenefitsMETAGENE-1’s architecture draws on modern transformer models, including GPT and Llama families. This decoder-only transformer uses a causal language modeling objective to predict the next token in a sequence based on preceding tokens. Its key features include:

技術的なハイライトと利点METAGENE-1 のアーキテクチャは、GPT や Llama ファミリなどの最新のトランス モデルを利用しています。このデコーダ専用トランスフォーマは、因果的言語モデリング目標を使用して、前のトークンに基づいてシーケンス内の次のトークンを予測します。その主な機能は次のとおりです。

A decoder-only transformer architecture with 7 billion parameters.

70 億のパラメーターを備えたデコーダー専用のトランスフォーマー アーキテクチャ。

Trained on a vast dataset of over 1.5 trillion DNA and RNA base pairs from human wastewater samples.

人間の廃水サンプルからの 1 兆 5,000 億を超える DNA および RNA 塩基対の膨大なデータセットでトレーニングされています。

Employs a BPE tokenization strategy tailored to metagenomic sequences.

メタゲノム配列に合わせた BPE トークン化戦略を採用します。

These features enable METAGENE-1 to generate high-quality sequence embeddings and adapt to specific tasks, enhancing its utility in the genomic and public health domains.

これらの機能により、METAGEN-1 は高品質の配列埋め込みを生成し、特定のタスクに適応できるようになり、ゲノム領域および公衆衛生領域での有用性が高まります。

Results and InsightsThe capabilities of METAGENE-1 were assessed using multiple benchmarks, where it demonstrated notable performance. In a pathogen detection benchmark based on human wastewater samples, the model achieved an average Matthews correlation coefficient (MCC) of 92.96, significantly outperforming other models. Additionally, METAGENE-1 showed strong results in anomaly detection tasks, effectively distinguishing metagenomic sequences from other genomic data sources.

結果と洞察 METAGENE-1 の機能は複数のベンチマークを使用して評価され、顕著なパフォーマンスが実証されました。人間の廃水サンプルに基づく病原体検出ベンチマークでは、このモデルは平均マシューズ相関係数 (MCC) 92.96 を達成し、他のモデルを大幅に上回りました。さらに、METAGENE-1 は異常検出タスクにおいて優れた結果を示し、メタゲノム配列を他のゲノム データ ソースから効果的に区別しました。

In embedding-based genomic analyses, METAGENE-1 excelled on the Gene-MTEB benchmark, achieving a global average score of 0.59. This performance underscores its adaptability in both zero-shot and fine-tuning scenarios, reinforcing its value in handling complex and diverse metagenomic data.

埋め込みベースのゲノム解析において、METAGEN-1 は Gene-MTEB ベンチマークで優れており、世界平均スコア 0.59 を達成しました。このパフォーマンスは、ゼロショット シナリオと微調整シナリオの両方における適応性を強調し、複雑で多様なメタゲノム データを処理する際のその価値を強化します。

ConclusionMETAGENE-1 represents a thoughtful integration of artificial intelligence and metagenomics. By leveraging transformer architectures, the model offers practical solutions for biosurveillance and pandemic preparedness. Its open-source release invites researchers to collaborate and innovate, advancing the field of genomic science. As challenges related to emerging pathogens and global pandemics continue, METAGENE-1 demonstrates how technology can play a crucial role in addressing public health concerns effectively and responsibly.

結論METAGENE-1 は、人工知能とメタゲノミクスを思慮深く統合したものです。このモデルは、変圧器アーキテクチャを活用することで、生物監視とパンデミックへの備えのための実用的なソリューションを提供します。そのオープンソース リリースにより、研究者が協力して革新し、ゲノム科学の分野を前進させることができます。新興病原体や世界的なパンデミックに関連した課題が続く中、METAGEN-1 は、公衆衛生上の懸念に効果的かつ責任を持って対処する上でテクノロジーがどのように重要な役割を果たすことができるかを示しています。

Check out the Paper, Website, GitHub Page, and Model on Hugging Face. All credit for this research goes to the researchers of this project. Also, don’t forget to follow us on Twitter and join our Telegram Channel and LinkedIn Group. Don’t Forget to join our 60k+ ML SubReddit.

Hugging Face に関する論文、ウェブサイト、GitHub ページ、およびモデルをチェックしてください。この研究の功績はすべて、このプロジェクトの研究者に与えられます。また、Twitter で私たちをフォローし、Telegram チャンネルと LinkedIn グループに参加することも忘れないでください。 60,000 以上の ML SubReddit に忘れずに参加してください。

FREE UPCOMING AI WEBINAR (JAN 15, 2025): Boost LLM Accuracy with Synthetic Data and Evaluation Intelligence

今後の無料 AI ウェビナー (2025 年 1 月 15 日): 合成データと評価インテリジェンスで LLM の精度を向上