IVF 프로세스에서 주요 요소의 학습 표현을위한 다층 변압기 인코더

Edwards에서는 다층 변압기 인코더를 사용하여 IVF 프로세스에서 주요 요소의 표현을 학습했습니다.

In Edwards, we used a multi-layer Transformer Encoder to learn the representations of the key elements in IVF process. These key elements included demographic data (more details shown in Table 1), treatment plans, hormone profiles, and follicular measurements (more details shown in Table 2), categorized and mapped into a lookup dictionary. We applied a self-supervised training method, Masked LM15, as the pre-training strategy. During the pre-training process, these elements were projected into a high-dimension trainable vectorized embedding space through the aforementioned lookup dictionary, the characteristics of each element, and the context of IVF process were thus captured and represented by the vectored embedding space and the parameters of the Transformer Encoder. The downstream tasks (e.g., predicted treatment plans, final outcomes of IVF cycles, etc) are addressed by fine-tuning the pre-trained model. In addition, we developed Edwards-Pro by integrating the knowledge-based decision support system proposed by our previous study7 into Edwards, in order to improve the accessibility of this approach, as well as to improve the predictions of treatment plans.

Edwards에서는 다층 변압기 인코더를 사용하여 IVF 프로세스에서 주요 요소의 표현을 학습했습니다. 이러한 주요 요소에는 인구 통계 학적 데이터 (표 1에 나와있는 자세한 내용), 치료 계획, 호르몬 프로파일 및 여포 측정 (표 2에 나와있는 자세한 내용)이 포함되어 있으며, 조회 사전으로 분류되고 매핑되었습니다. 우리는 사전 훈련 전략으로 자체 감독 훈련 방법 인 마스크 된 LM15를 적용했습니다. 사전 훈련 공정 동안, 이들 요소는 상기 언급 된 조회 사전, 각 요소의 특성 및 IVF 프로세스의 컨텍스트를 통해 고차원 트레이닝 가능한 벡터 임베딩 공간으로 투사되었다. 하류 작업 (예 : 예측 된 치료 계획, IVF 사이클의 최종 결과 등)은 미리 훈련 된 모델을 미세 조정하여 다루어집니다. 또한, 우리는 이전 연구 7에서 제안한 지식 기반 의사 결정 지원 시스템을 Edwards에 통합 하여이 접근법의 접근성을 향상시키고 치료 계획의 예측을 개선하여 Edwards-Pro를 개발했습니다.

We used historical clinical data collected over almost ten years from New Hope Fertility Center (NHFC) to train and verify our approach. The clinical data including the aforementioned key elements were collected from patients’ monitoring in every visit. The dataset for training the deep learning model contained 30,552 IVF cycles with 239,047 monitoring visits from January 2013 to December 2021. Another dataset of 1,804 cycles containing 8,364 visits from January 2022 to July 2022 was used as the validation dataset. More details about the data preprocessing, model architecture, and training strategies are addressed in Section 4 and Figure 1.

우리는 New Hope Fertility Center (NHFC)에서 거의 10 년 동안 수집 한 역사적 임상 데이터를 사용하여 접근 방식을 훈련하고 확인했습니다. 앞서 언급 한 주요 요소를 포함한 임상 데이터는 방문마다 환자의 모니터링에서 수집되었습니다. 딥 러닝 모델을 훈련하기위한 데이터 세트에는 2013 년 1 월부터 2021 년 12 월까지 239,047 개의 모니터링 방문으로 30,552 개의 IVF주기가 포함되어 있습니다. 2022 년 1 월부터 2022 년 7 월까지 8,364 개의 방문을 포함하는 1,804 회의 다른 데이터 세트가 검증 데이터 세트로 사용되었습니다. 데이터 전처리, 모델 아키텍처 및 교육 전략에 대한 자세한 내용은 섹션 4 및 그림 1에서 다루어집니다.

Our approach provides predictions for two distinct phases in IVF COS cycles. Phase I focuses on key elements during monitoring visits, such as treatment plans, hormone profiles, and follicular measurements. Predictions for these elements in visit #n are based on all data from the previous #n-1 visits. Phase II targets the final outcomes of IVF cycles, such as MII rate, 2PN rate, and blastulation rate (more details shown in Table 3), predicted using data from the entire IVF cycle (Table 4).

우리의 접근 방식은 IVF COS 사이클에서 두 개의 별개의 단계에 대한 예측을 제공합니다. 1 단계는 치료 계획, 호르몬 프로파일 및 여포 측정과 같은 모니터링 방문 동안 주요 요소에 중점을 둡니다. 방문 #N의 이러한 요소에 대한 예측은 이전 #N-1 방문의 모든 데이터를 기반으로합니다. II상은 전체 IVF주기의 데이터를 사용하여 예측 된 MII 속도, 2pn 속도 및 블라스팅 속도 (표 3에 나와있는 자세한 내용)와 같은 IVF주기의 최종 결과를 표적으로한다 (표 4).

Both phases were framed as classification tasks for two reasons: 1. Classification tasks align naturally with our approach, where key elements of the IVF process are categorized into data points for the training and validation datasets. 2. Clinically, REI specialists typically make decisions based on ranges of hormone profiles and follicular measurements rather than exact values. Additionally, the rates of MII, 2PN, and blastulation, defined as proportions of retrieved oocytes, are more accurate criteria for assessing IVF outcomes, as they correlate closely with patient factors such as age, ovarian reserve, and stimulation response.

두 단계 모두 두 가지 이유에 대한 분류 작업으로 구성되었습니다. 1. 분류 작업은 IVF 프로세스의 주요 요소가 교육 및 검증 데이터 세트의 데이터 포인트로 분류됩니다. 2. 임상 적으로, REI 전문가는 일반적으로 정확한 값보다는 호르몬 프로파일과 여포 측정 범위를 기반으로 결정을 내립니다. 또한, 검색된 난 모세포의 비율로 정의 된 MII, 2pn 및 Blastulation의 비율은 IVF 결과를 평가하기위한보다 정확한 기준이며, 이들은 연령, 난소 예비 및 자극 반응과 같은 환자 요인과 밀접하게 관련되어 있기 때문이다.

We designed a targeted evaluation strategy for these two-phase predictions. For Phase I, which can be applied during any monitoring visit, we divided the 1,804 cycles in the validation dataset into 8,364 input sequences. In each sequence, data from visits beyond the predicted monitoring visit were excluded. For Phase II, we used the full dataset from each cycle, as final IVF outcomes depend on the entire ovarian stimulation process. To benchmark our deep learning model, we implemented traditional machine learning approaches referenced in prior studies6,8. Additionally, we developed a sequential learning baseline model-Sequence-to-Sequence (Seq2Seq)16, based on Long Short-Term Memory (LSTM) units17, to assess our model’s ability to capture temporal features effectively.

우리는이 2 상 ​​예측에 대한 목표 평가 전략을 설계했습니다. 모니터링 방문 중에 적용될 수있는 1 단계의 경우, 검증 데이터 세트의 1,804 사이클을 8,364 개의 입력 시퀀스로 나눕니다. 각 순서에서, 예측 된 모니터링 방문 이외의 방문의 데이터는 제외되었다. 2 단계의 경우, 최종 IVF 결과는 전체 난소 자극 과정에 의존하기 때문에 각주기에서 전체 데이터 세트를 사용했습니다. 딥 러닝 모델을 벤치마킹하기 위해 이전 연구 6,8에서 참조 된 전통적인 기계 학습 접근법을 구현했습니다. 또한, 우리는 시간 단기 메모리 (LSTM) 유닛 17을 기반으로 순차적 학습 기준 모델-시퀀스-시퀀스 (SEQ2SEQ) 16을 개발하여 시간적 특징을 효과적으로 캡처하는 모델의 능력을 평가했습니다.

The main distinction between Edwards-Pro and Edwards lies in Edwards-Pro’s enhanced ability to predict treatment plans; both models performed identically for other prediction categories. In nearly all treatment plan categories (Table 5), sequential learning models, including Seq2Seq, Edwards, and Edwards-Pro-outperformed traditional machine learning approaches, achieving improvements of at least 10% in average precision (AP), 14% in the area under the receiver operating characteristic curve (AUROC), and 4% in top-2 accuracy. The exception was the Follitropin category, which had an imbalanced label set; while AdaBoost achieved the best AP (93.0%), this was due to predicting only the dominant class. For categories linked to clinical judgment, such as Day# (next visit date), Follitropin (COS dosage), and oral contraceptives, Edwards-Pro improved Edwards’s performance by 2.9% (AP), 5.8% (AUROC), and 11.6% (top-2 accuracy). In clinical assessment-related predictions (Table 6), sequential learning models excelled across all categories except FSH and follicular measurements, both of which had imbalanced datasets similar to Follitropin. Conversely, for E

Edwards-Pro와 Edwards의 주요 차이점은 Edwards-Pro의 치료 계획을 예측할 수있는 향상된 능력에 있습니다. 두 모델 모두 다른 예측 범주에 대해 동일하게 수행되었습니다. 거의 모든 치료 계획 범주 (표 5)에서 SEQ2SEQ, EDWARDS 및 EDWARDS-PRO가 전통적인 기계 학습 접근 방식을 포함한 순차적 학습 모델은 평균 정밀 (AP)에서 최소 10%의 개선, 수신자 작동 특성 곡선 (AUROC)에서 14%, 상위 2 개의 정확도에서 4%를 달성했습니다. 예외는 불균형 레이블 세트가있는 Follitropin 카테고리였다. Adaboost는 최고의 AP (93.0%)를 달성했지만 이는 지배적 인 클래스 만 예측했기 때문입니다. 날# (다음 방문 날짜), follitropin (cos dosage) 및 경구 피임약과 같은 임상 판단과 관련된 범주의 경우 Edwards-Pro는 Edwards의 성능을 2.9% (AP), 5.8% (AURO) 및 11.6% (Top-2 정확도)로 향상 시켰습니다. 임상 평가 관련 예측 (표 6)에서 순차적 학습 모델은 FSH 및 여포 측정을 제외한 모든 범주에서 우수했으며, 둘 다 Follitropin과 유사한 데이터 세트가 불균형했습니다. 반대로, e