Encodeur transformateur multicouche pour les représentations d'apprentissage des éléments clés dans le processus de FIV

Dans Edwards, nous avons utilisé un encodeur transformateur multicouche pour apprendre les représentations des éléments clés du processus de FIV.

In Edwards, we used a multi-layer Transformer Encoder to learn the representations of the key elements in IVF process. These key elements included demographic data (more details shown in Table 1), treatment plans, hormone profiles, and follicular measurements (more details shown in Table 2), categorized and mapped into a lookup dictionary. We applied a self-supervised training method, Masked LM15, as the pre-training strategy. During the pre-training process, these elements were projected into a high-dimension trainable vectorized embedding space through the aforementioned lookup dictionary, the characteristics of each element, and the context of IVF process were thus captured and represented by the vectored embedding space and the parameters of the Transformer Encoder. The downstream tasks (e.g., predicted treatment plans, final outcomes of IVF cycles, etc) are addressed by fine-tuning the pre-trained model. In addition, we developed Edwards-Pro by integrating the knowledge-based decision support system proposed by our previous study7 into Edwards, in order to improve the accessibility of this approach, as well as to improve the predictions of treatment plans.

Dans Edwards, nous avons utilisé un encodeur transformateur multicouche pour apprendre les représentations des éléments clés du processus de FIV. Ces éléments clés comprenaient des données démographiques (plus de détails montrés dans le tableau 1), des plans de traitement, des profils hormonaux et des mesures folliculaires (plus de détails montrés dans le tableau 2), classés et cartographiés dans un dictionnaire de recherche. Nous avons appliqué une méthode de formation auto-supervisée, masqué LM15, comme stratégie de pré-formation. Au cours du processus de pré-formation, ces éléments ont été projetés dans un espace d'incorporation vectorisé entraînant à haute dimension via le dictionnaire de recherche susmentionné, les caractéristiques de chaque élément et le contexte du processus de FIV ont ainsi été capturés et représentés par l'espace d'incorporation vectorisé et les paramètres du Encoder Transformers. Les tâches en aval (par exemple, les plans de traitement prédits, les résultats finaux des cycles de FIV, etc.) sont traités en réglant fin du modèle pré-formé. De plus, nous avons développé Edwards-PRO en intégrant le système d'aide à la décision basé sur les connaissances proposé par notre précédente étude7 dans Edwards, afin d'améliorer l'accessibilité de cette approche, ainsi que d'améliorer les prédictions des plans de traitement.

We used historical clinical data collected over almost ten years from New Hope Fertility Center (NHFC) to train and verify our approach. The clinical data including the aforementioned key elements were collected from patients’ monitoring in every visit. The dataset for training the deep learning model contained 30,552 IVF cycles with 239,047 monitoring visits from January 2013 to December 2021. Another dataset of 1,804 cycles containing 8,364 visits from January 2022 to July 2022 was used as the validation dataset. More details about the data preprocessing, model architecture, and training strategies are addressed in Section 4 and Figure 1.

Nous avons utilisé des données cliniques historiques collectées sur près de dix ans auprès du New Hope Fertility Center (NHFC) pour former et vérifier notre approche. Les données cliniques comprenant les éléments clés susmentionnés ont été collectées auprès de la surveillance des patients à chaque visite. L'ensemble de données pour la formation du modèle d'apprentissage en profondeur contenait 30 552 cycles de FIV avec 239 047 visites de surveillance de janvier 2013 à décembre 2021. Un autre ensemble de données de 1804 cycles contenant 8 364 visites de janvier 2022 à juillet 2022 a été utilisé comme ensemble de données de validation. Plus de détails sur le prétraitement des données, l'architecture du modèle et les stratégies de formation sont traités dans la section 4 et la figure 1.

Our approach provides predictions for two distinct phases in IVF COS cycles. Phase I focuses on key elements during monitoring visits, such as treatment plans, hormone profiles, and follicular measurements. Predictions for these elements in visit #n are based on all data from the previous #n-1 visits. Phase II targets the final outcomes of IVF cycles, such as MII rate, 2PN rate, and blastulation rate (more details shown in Table 3), predicted using data from the entire IVF cycle (Table 4).

Notre approche fournit des prédictions pour deux phases distinctes dans les cycles COS FIV. La phase I se concentre sur les éléments clés lors des visites de surveillance, telles que les plans de traitement, les profils hormonaux et les mesures folliculaires. Les prédictions de ces éléments dans la visite #N sont basées sur toutes les données des visites # N-1 précédentes. La phase II cible les résultats finaux des cycles de FIV, tels que le taux MII, le taux de 2pn et le taux de blastulation (plus de détails indiqués dans le tableau 3), prédits à l'aide de données de l'ensemble du cycle de FIV (tableau 4).

Both phases were framed as classification tasks for two reasons: 1. Classification tasks align naturally with our approach, where key elements of the IVF process are categorized into data points for the training and validation datasets. 2. Clinically, REI specialists typically make decisions based on ranges of hormone profiles and follicular measurements rather than exact values. Additionally, the rates of MII, 2PN, and blastulation, defined as proportions of retrieved oocytes, are more accurate criteria for assessing IVF outcomes, as they correlate closely with patient factors such as age, ovarian reserve, and stimulation response.

Les deux phases ont été formulées en tant que tâches de classification pour deux raisons: 1. Les tâches de classification s'alignent naturellement avec notre approche, où les éléments clés du processus de FIV sont classés en points de données pour les ensembles de données de formation et de validation. 2. Cliniquement, les spécialistes du REI prennent généralement des décisions basées sur des gammes de profils hormonaux et de mesures folliculaires plutôt que sur des valeurs exactes. De plus, les taux de MII, 2PN et de blastulation, définis comme des proportions d'ovocytes récupérés, sont des critères plus précis pour évaluer les résultats de la FIV, car ils sont en corrélation étroitement avec les facteurs de patient tels que l'âge, la réserve ovarienne et la réponse de stimulation.

We designed a targeted evaluation strategy for these two-phase predictions. For Phase I, which can be applied during any monitoring visit, we divided the 1,804 cycles in the validation dataset into 8,364 input sequences. In each sequence, data from visits beyond the predicted monitoring visit were excluded. For Phase II, we used the full dataset from each cycle, as final IVF outcomes depend on the entire ovarian stimulation process. To benchmark our deep learning model, we implemented traditional machine learning approaches referenced in prior studies6,8. Additionally, we developed a sequential learning baseline model-Sequence-to-Sequence (Seq2Seq)16, based on Long Short-Term Memory (LSTM) units17, to assess our model’s ability to capture temporal features effectively.

Nous avons conçu une stratégie d'évaluation ciblée pour ces prévisions biphasées. Pour la phase I, qui peut être appliquée lors de toute visite de surveillance, nous avons divisé les 1 804 cycles dans l'ensemble de données de validation en 8 364 séquences d'entrée. Dans chaque séquence, les données des visites au-delà de la visite de surveillance prévue ont été exclues. Pour la phase II, nous avons utilisé l'ensemble de données complet de chaque cycle, car les résultats finaux de la FIV dépendent de l'ensemble du processus de stimulation ovarienne. Pour comparer notre modèle d'apprentissage en profondeur, nous avons mis en œuvre des approches traditionnelles d'apprentissage automatique référencées dans des études antérieures6,8. De plus, nous avons développé une séquence de base de base de base d'apprentissage séquentielle (SEQ2SEQ) 16, sur la base des unités de mémoire à court terme à court terme (LSTM), pour évaluer la capacité de notre modèle à capturer efficacement les caractéristiques temporelles.

The main distinction between Edwards-Pro and Edwards lies in Edwards-Pro’s enhanced ability to predict treatment plans; both models performed identically for other prediction categories. In nearly all treatment plan categories (Table 5), sequential learning models, including Seq2Seq, Edwards, and Edwards-Pro-outperformed traditional machine learning approaches, achieving improvements of at least 10% in average precision (AP), 14% in the area under the receiver operating characteristic curve (AUROC), and 4% in top-2 accuracy. The exception was the Follitropin category, which had an imbalanced label set; while AdaBoost achieved the best AP (93.0%), this was due to predicting only the dominant class. For categories linked to clinical judgment, such as Day# (next visit date), Follitropin (COS dosage), and oral contraceptives, Edwards-Pro improved Edwards’s performance by 2.9% (AP), 5.8% (AUROC), and 11.6% (top-2 accuracy). In clinical assessment-related predictions (Table 6), sequential learning models excelled across all categories except FSH and follicular measurements, both of which had imbalanced datasets similar to Follitropin. Conversely, for E

La principale distinction entre Edwards-Pro et Edwards réside dans la capacité améliorée d'Edwards-PRO à prédire les plans de traitement; Les deux modèles ont effectué de manière identique pour d'autres catégories de prédiction. Dans presque toutes les catégories de plan de traitement (tableau 5), des modèles d'apprentissage séquentiels, y compris les approches traditionnelles de SEQ2SEQ, Edwards et Edwards-Pro-Outformé, réalisant des améliorations d'au moins 10% de précision moyenne (AP), 14% dans la zone dans la précision du récepteur de fonctionnement de fonctionnement (AUROC) et 4% dans la précision supérieure. L'exception était la catégorie follitropine, qui avait un ensemble d'étiquettes déséquilibré; Alors qu'Adaboost a atteint le meilleur AP (93,0%), cela était dû à la prévision uniquement de la classe dominante. Pour les catégories liées au jugement clinique, telles que le jour # (date de visite suivante), le follitropine (dosage COS) et les contraceptifs oraux, Edwards-Pro a amélioré les performances d'Edwards de 2,9% (AP), 5,8% (AUROC) et 11,6% (précision parmi les 2). Dans les prédictions liées à l'évaluation clinique (tableau 6), les modèles d'apprentissage séquentiels ont excellé dans toutes les catégories, à l'exception des mesures FSH et folliculaires, qui avaient toutes deux des ensembles de données déséquilibrés similaires à la follitropine. Inversement, pour e