Multi-Layer-Transformator-Encoder für Lerndarstellungen von Schlüsselelementen im IVF-Prozess

In Edwards verwendeten wir einen Multi-Layer-Transformator-Encoder, um die Darstellungen der Schlüsselelemente im IVF-Prozess zu lernen.

In Edwards, we used a multi-layer Transformer Encoder to learn the representations of the key elements in IVF process. These key elements included demographic data (more details shown in Table 1), treatment plans, hormone profiles, and follicular measurements (more details shown in Table 2), categorized and mapped into a lookup dictionary. We applied a self-supervised training method, Masked LM15, as the pre-training strategy. During the pre-training process, these elements were projected into a high-dimension trainable vectorized embedding space through the aforementioned lookup dictionary, the characteristics of each element, and the context of IVF process were thus captured and represented by the vectored embedding space and the parameters of the Transformer Encoder. The downstream tasks (e.g., predicted treatment plans, final outcomes of IVF cycles, etc) are addressed by fine-tuning the pre-trained model. In addition, we developed Edwards-Pro by integrating the knowledge-based decision support system proposed by our previous study7 into Edwards, in order to improve the accessibility of this approach, as well as to improve the predictions of treatment plans.

In Edwards verwendeten wir einen Multi-Layer-Transformator-Encoder, um die Darstellungen der Schlüsselelemente im IVF-Prozess zu lernen. Diese Schlüsselelemente umfassten demografische Daten (weitere Details in Tabelle 1), Behandlungspläne, Hormonprofile und follikuläre Messungen (weitere Details in Tabelle 2), die in ein Suchwörterbuch eingeteilt und zugeordnet wurden. Wir haben eine selbstbewertete Trainingsmethode, Masked LM15, als Strategie vor der Ausbildung angewendet. Während des Vorausgangsprozesses wurden diese Elemente in ein hochdimensionierbares, vektorisiertes Einbettungsraum durch das oben erwähnte Such-Wörterbuch, die Eigenschaften jedes Elements und den Kontext des IVF-Prozesses projiziert und somit durch den vektorierten Einbettungsraum und die Parameter des Transformator-Codierers dargestellt. Die nachgeschalteten Aufgaben (z. B. vorhergesagte Behandlungspläne, endgültige Ergebnisse von IVF-Zyklen usw.) werden durch Feinabstimmung des vorgebreiteten Modells angesprochen. Darüber hinaus haben wir Edwards-Pro entwickelt, indem wir das von unserer früheren Studie7 vorgeschlagene wissensbasierte Entscheidungsunterstützungssystem in Edwards integriert haben, um die Zugänglichkeit dieses Ansatzes zu verbessern und die Vorhersagen von Behandlungsplänen zu verbessern.

We used historical clinical data collected over almost ten years from New Hope Fertility Center (NHFC) to train and verify our approach. The clinical data including the aforementioned key elements were collected from patients’ monitoring in every visit. The dataset for training the deep learning model contained 30,552 IVF cycles with 239,047 monitoring visits from January 2013 to December 2021. Another dataset of 1,804 cycles containing 8,364 visits from January 2022 to July 2022 was used as the validation dataset. More details about the data preprocessing, model architecture, and training strategies are addressed in Section 4 and Figure 1.

Wir verwendeten historische klinische Daten, die über fast zehn Jahre vom New Hope Fertility Center (NHFC) gesammelt wurden, um unseren Ansatz zu trainieren und zu überprüfen. Die klinischen Daten einschließlich der oben genannten Schlüsselelemente wurden bei jedem Besuch aus der Überwachung der Patienten gesammelt. Der Datensatz für das Training des Deep -Learning -Modells enthielt 30.552 IVF -Zyklen mit 239.047 Überwachungsbesuchen von Januar 2013 bis Dezember 2021. Ein weiterer Datensatz von 1.804 Zyklen mit 8.364 Besuchen vom Januar 2022 bis Juli 2022 wurde als Validierungsdatensatz verwendet. Weitere Details zu den Datenvorverarbeitung, Modellarchitektur und Schulungsstrategien finden Sie in Abschnitt 4 und Abbildung 1.

Our approach provides predictions for two distinct phases in IVF COS cycles. Phase I focuses on key elements during monitoring visits, such as treatment plans, hormone profiles, and follicular measurements. Predictions for these elements in visit #n are based on all data from the previous #n-1 visits. Phase II targets the final outcomes of IVF cycles, such as MII rate, 2PN rate, and blastulation rate (more details shown in Table 3), predicted using data from the entire IVF cycle (Table 4).

Unser Ansatz liefert Vorhersagen für zwei unterschiedliche Phasen in IVF -COS -Zyklen. Phase I konzentriert sich auf wichtige Elemente während der Überwachung von Besuchen wie Behandlungsplänen, Hormonprofilen und follikulären Messungen. Vorhersagen für diese Elemente im Besuch #N basieren auf allen Daten aus den vorherigen Besuchen von #N-1. Phase II zielt auf die endgültigen Ergebnisse von IVF -Zyklen wie MII -Rate, 2pn -Rate und Explosionsrate (weitere Details in Tabelle 3 angezeigt) ab, die unter Verwendung von Daten aus dem gesamten IVF -Zyklus (Tabelle 4) vorhergesagt wurden.

Both phases were framed as classification tasks for two reasons: 1. Classification tasks align naturally with our approach, where key elements of the IVF process are categorized into data points for the training and validation datasets. 2. Clinically, REI specialists typically make decisions based on ranges of hormone profiles and follicular measurements rather than exact values. Additionally, the rates of MII, 2PN, and blastulation, defined as proportions of retrieved oocytes, are more accurate criteria for assessing IVF outcomes, as they correlate closely with patient factors such as age, ovarian reserve, and stimulation response.

Beide Phasen wurden aus zwei Gründen als Klassifizierungsaufgaben eingerahmt: 1. Klassifizierungsaufgaben sind auf natürliche Weise mit unserem Ansatz übereinstimmt, wobei Schlüsselelemente des IVF -Prozesses in Datenpunkte für die Schulungs- und Validierungsdatensätze eingeteilt werden. 2. Klinisch treffen REI -Spezialisten in der Regel Entscheidungen auf der Grundlage von Hormonprofilen und follikulären Messungen und nicht auf genauen Werten. Darüber hinaus sind die MII, 2PN- und Blastulation, die als Proportionen von abgerufenen Oozyten definiert sind, genauere Kriterien für die Beurteilung der IVF -Ergebnisse, da sie eng mit Patientenfaktoren wie Alter, Ovarialreserve und Stimulationsreaktion korrelieren.

We designed a targeted evaluation strategy for these two-phase predictions. For Phase I, which can be applied during any monitoring visit, we divided the 1,804 cycles in the validation dataset into 8,364 input sequences. In each sequence, data from visits beyond the predicted monitoring visit were excluded. For Phase II, we used the full dataset from each cycle, as final IVF outcomes depend on the entire ovarian stimulation process. To benchmark our deep learning model, we implemented traditional machine learning approaches referenced in prior studies6,8. Additionally, we developed a sequential learning baseline model-Sequence-to-Sequence (Seq2Seq)16, based on Long Short-Term Memory (LSTM) units17, to assess our model’s ability to capture temporal features effectively.

Wir haben eine gezielte Bewertungsstrategie für diese zweiphasigen Vorhersagen entwickelt. Für Phase I, die während eines Überwachungsbesuchs angewendet werden kann, haben wir die 1.804 Zyklen im Validierungsdatensatz in 8.364 Eingangssequenzen unterteilt. In jeder Sequenz wurden Daten von Besuchen über den vorhergesagten Überwachungsbesuch hinaus ausgeschlossen. Für Phase II verwendeten wir den vollständigen Datensatz aus jedem Zyklus, da die endgültigen IVF -Ergebnisse vom gesamten Ovarialstimulationsprozess abhängen. Um unser Deep -Learning -Modell zu bewerten, haben wir traditionelle Ansätze für maschinelles Lernen implementiert, auf die in früheren Studien 6,8 verwiesen wird. Darüber hinaus haben wir eine sequentielle Lernbasis-Modellsequenz-zu-Sequenz (SEQ2SEQ) 16 entwickelt, basierend auf den Einheiten des langen Kurzzeitgedächtnisses (LSTM )17, um die Fähigkeit unseres Modells, zeitliche Funktionen effektiv zu erfassen, zu bewerten.

The main distinction between Edwards-Pro and Edwards lies in Edwards-Pro’s enhanced ability to predict treatment plans; both models performed identically for other prediction categories. In nearly all treatment plan categories (Table 5), sequential learning models, including Seq2Seq, Edwards, and Edwards-Pro-outperformed traditional machine learning approaches, achieving improvements of at least 10% in average precision (AP), 14% in the area under the receiver operating characteristic curve (AUROC), and 4% in top-2 accuracy. The exception was the Follitropin category, which had an imbalanced label set; while AdaBoost achieved the best AP (93.0%), this was due to predicting only the dominant class. For categories linked to clinical judgment, such as Day# (next visit date), Follitropin (COS dosage), and oral contraceptives, Edwards-Pro improved Edwards’s performance by 2.9% (AP), 5.8% (AUROC), and 11.6% (top-2 accuracy). In clinical assessment-related predictions (Table 6), sequential learning models excelled across all categories except FSH and follicular measurements, both of which had imbalanced datasets similar to Follitropin. Conversely, for E

Die Hauptunterscheidung zwischen Edwards-Pro und Edwards liegt in der verbesserten Fähigkeit von Edwards-Pro, Behandlungspläne vorherzusagen. Beide Modelle wurden identisch für andere Vorhersagekategorien durchgeführt. In nahezu allen Kategorien für Behandlungsplan (Tabelle 5) wurden sequentielle Lernmodelle, einschließlich SEQ2SEQ-, Edwards- und Edwards-Pro-über-übertriebener traditioneller Ansätze für maschinelles Lernen, und erzielten eine Verbesserung von mindestens 10% in der durchschnittlichen Präzision (AP), 14% im Bereich unter der Receiver-Betriebs-Charakteristik (AUROC) und 4% in Top-2-Genauigkeit. Die Ausnahme war die Kategorie Follitropin, die ein unausgeglichenes Etikettssatz hatte; Während Adaboost den besten AP (93,0%) erreichte, war dies darauf zurückzuführen, dass nur die dominante Klasse vorhergesagt wurde. Für Kategorien, die mit dem klinischen Urteilsvermögen verbunden sind, wie z. B. Tag# (nächster Besuch), Follitropin (COS-Dosierung) und orale Kontrazeptiva, verbesserte Edwards-Pro die Leistung von Edwards um 2,9% (AP), 5,8% (AUROC) und 11,6% (Top-2-Genauigkeit). In klinischen Bewertungsbedingten Vorhersagen (Tabelle 6) haben sequentielle Lernmodelle in allen Kategorien ausgezeichnet, mit Ausnahme von FSH- und Follikularmessungen, die beide unausgeglichene Datensätze wie Follitropin hatten. Umgekehrt für e