IVFプロセスで重要な要素の表現を学習するための多層変圧器エンコーダー

エドワーズでは、多層変圧器エンコーダーを使用して、IVFプロセスの重要な要素の表現を学習しました。

In Edwards, we used a multi-layer Transformer Encoder to learn the representations of the key elements in IVF process. These key elements included demographic data (more details shown in Table 1), treatment plans, hormone profiles, and follicular measurements (more details shown in Table 2), categorized and mapped into a lookup dictionary. We applied a self-supervised training method, Masked LM15, as the pre-training strategy. During the pre-training process, these elements were projected into a high-dimension trainable vectorized embedding space through the aforementioned lookup dictionary, the characteristics of each element, and the context of IVF process were thus captured and represented by the vectored embedding space and the parameters of the Transformer Encoder. The downstream tasks (e.g., predicted treatment plans, final outcomes of IVF cycles, etc) are addressed by fine-tuning the pre-trained model. In addition, we developed Edwards-Pro by integrating the knowledge-based decision support system proposed by our previous study7 into Edwards, in order to improve the accessibility of this approach, as well as to improve the predictions of treatment plans.

エドワーズでは、多層変圧器エンコーダーを使用して、IVFプロセスの重要な要素の表現を学習しました。これらの重要な要素には、人口統計データ（表1に示す詳細）、治療計画、ホルモンプロファイル、および濾胞測定（表2に示す詳細）、分類され、ルックアップ辞書にマッピングされました。トレーニング前の戦略として、自己監督のトレーニング方法であるLM15を適用しました。トレーニング前のプロセス中に、これらの要素は、前述のルックアップ辞書、各要素の特性、およびIVFプロセスのコンテキストを介して高次元トレーニング可能なベクトル化された埋め込みスペースに投影されました。ダウンストリームタスク（例えば、予測された治療計画、IVFサイクルの最終結果など）は、事前に訓練されたモデルを微調整することで対処されます。さらに、このアプローチのアクセシビリティを改善し、治療計画の予測を改善するために、以前のStudy7によって提案された知識ベースの意思決定支援システムをエドワーズに統合することにより、Edwards-Proを開発しました。

We used historical clinical data collected over almost ten years from New Hope Fertility Center (NHFC) to train and verify our approach. The clinical data including the aforementioned key elements were collected from patients’ monitoring in every visit. The dataset for training the deep learning model contained 30,552 IVF cycles with 239,047 monitoring visits from January 2013 to December 2021. Another dataset of 1,804 cycles containing 8,364 visits from January 2022 to July 2022 was used as the validation dataset. More details about the data preprocessing, model architecture, and training strategies are addressed in Section 4 and Figure 1.

New Hope Fertility Center（NHFC）からほぼ10年にわたって収集された履歴臨床データを使用して、アプローチを訓練および検証しました。前述の重要な要素を含む臨床データは、すべての訪問で患者のモニタリングから収集されました。ディープラーニングモデルをトレーニングするためのデータセットには、2013年1月から2021年12月までの239,047の監視訪問で30,552のIVFサイクルが含まれていました。データの前処理、モデルアーキテクチャ、およびトレーニング戦略の詳細については、セクション4および図1で説明します。

Our approach provides predictions for two distinct phases in IVF COS cycles. Phase I focuses on key elements during monitoring visits, such as treatment plans, hormone profiles, and follicular measurements. Predictions for these elements in visit #n are based on all data from the previous #n-1 visits. Phase II targets the final outcomes of IVF cycles, such as MII rate, 2PN rate, and blastulation rate (more details shown in Table 3), predicted using data from the entire IVF cycle (Table 4).

私たちのアプローチは、IVF COSサイクルの2つの異なるフェーズの予測を提供します。フェーズIは、治療計画、ホルモンプロファイル、濾胞測定など、監視訪問中の重要な要素に焦点を当てています。 Visit #Nのこれらの要素の予測は、以前の＃n-1訪問のすべてのデータに基づいています。フェーズIIは、IVFサイクル全体のデータを使用して予測された、MIIレート、2pnレート、爆発率、爆発率、爆発率などのIVFサイクルの最終結果を対象としています（表3）（表4）。

Both phases were framed as classification tasks for two reasons: 1. Classification tasks align naturally with our approach, where key elements of the IVF process are categorized into data points for the training and validation datasets. 2. Clinically, REI specialists typically make decisions based on ranges of hormone profiles and follicular measurements rather than exact values. Additionally, the rates of MII, 2PN, and blastulation, defined as proportions of retrieved oocytes, are more accurate criteria for assessing IVF outcomes, as they correlate closely with patient factors such as age, ovarian reserve, and stimulation response.

両方のフェーズは、2つの理由で分類タスクとしてフレーム化されました。1。分類タスクは、IVFプロセスの重要な要素がトレーニングと検証データセットのデータポイントに分類されるアプローチと自然に整合しています。 2。臨床的には、REIの専門家は通常、正確な値ではなく、ホルモンプロファイルと濾胞測定の範囲に基づいて決定を下します。さらに、回収された卵母細胞の割合として定義されるMII、2pn、および爆発の割合は、年齢、卵巣予備、刺激反応などの患者の要因と密接に相関するため、IVFの結果を評価するためのより正確な基準です。

We designed a targeted evaluation strategy for these two-phase predictions. For Phase I, which can be applied during any monitoring visit, we divided the 1,804 cycles in the validation dataset into 8,364 input sequences. In each sequence, data from visits beyond the predicted monitoring visit were excluded. For Phase II, we used the full dataset from each cycle, as final IVF outcomes depend on the entire ovarian stimulation process. To benchmark our deep learning model, we implemented traditional machine learning approaches referenced in prior studies6,8. Additionally, we developed a sequential learning baseline model-Sequence-to-Sequence (Seq2Seq)16, based on Long Short-Term Memory (LSTM) units17, to assess our model’s ability to capture temporal features effectively.

これらの2相予測のターゲット評価戦略を設計しました。監視訪問中に適用できるフェーズIの場合、検証データセットの1,804サイクルを8,364入力シーケンスに分割しました。各シーケンスでは、予測された監視訪問を超えた訪問からのデータは除外されました。フェーズIIの場合、最終的なIVFの結果は卵巣刺激プロセス全体に依存するため、各サイクルの完全なデータセットを使用しました。ディープラーニングモデルのベンチマークのために、以前の研究で参照されている従来の機械学習アプローチを実装しました6,8。さらに、長時間の短期メモリ（LSTM）ユニット17に基づいて、一時的な特徴を効果的にキャプチャする能力を評価するために、長期の短期メモリ（LSTM）ユニット17に基づいて、シーケンシャル学習ベースラインモデルモデルシーケンス（SEQ2SEQ）16を開発しました。

The main distinction between Edwards-Pro and Edwards lies in Edwards-Pro’s enhanced ability to predict treatment plans; both models performed identically for other prediction categories. In nearly all treatment plan categories (Table 5), sequential learning models, including Seq2Seq, Edwards, and Edwards-Pro-outperformed traditional machine learning approaches, achieving improvements of at least 10% in average precision (AP), 14% in the area under the receiver operating characteristic curve (AUROC), and 4% in top-2 accuracy. The exception was the Follitropin category, which had an imbalanced label set; while AdaBoost achieved the best AP (93.0%), this was due to predicting only the dominant class. For categories linked to clinical judgment, such as Day# (next visit date), Follitropin (COS dosage), and oral contraceptives, Edwards-Pro improved Edwards’s performance by 2.9% (AP), 5.8% (AUROC), and 11.6% (top-2 accuracy). In clinical assessment-related predictions (Table 6), sequential learning models excelled across all categories except FSH and follicular measurements, both of which had imbalanced datasets similar to Follitropin. Conversely, for E

エドワーズ・プロとエドワーズの主な区別は、治療計画を予測するエドワーズ・プロの強化された能力にあります。両方のモデルは、他の予測カテゴリに対して同じように実行されました。ほぼすべての治療計画カテゴリ（表5）では、Seq2Seq、Edwards、Edwards-Pro-Outporformedの従来の機械学習アプローチを含むシーケンシャル学習モデルであり、平均精度（AP）で少なくとも10％、受信者動作特性曲線（AUROC）の下で14％の改善を達成し、上部2の精度で4％の改善を達成しました。例外は、不均衡なラベルセットを備えたフォリトロピンカテゴリでした。 Adaboostは最高のAP（93.0％）を達成しましたが、これは支配的なクラスのみを予測するためでした。 Day＃（次の訪問日）、フォリトロピン（COS投与量）、経口避妊薬などの臨床的判断にリンクされたカテゴリの場合、エドワーズ-Proは、エドワーズのパフォーマンスを2.9％（AP）、5.8％（AUROC）、11.6％（TOP-2精度）に改善しました。臨床評価関連の予測（表6）では、FSHおよび卵胞測定を除くすべてのカテゴリにおいて順次学習モデルが優れており、どちらもフォリトロピンと同様の不均衡なデータセットを持っていました。逆に、eの場合