편견을 줄이기 위한 보조금 제안 익명화

단 11개의 미국 대학이 2021년 대학에 수여된 전체 연방 연구 자금의 25%를 받았습니다. 그리고 이러한 최고의 연구 자금 지원 대학 중 9개 대학은 동부 또는 서부 해안에 위치하고 있으며 미시간 대학과 대학만 있습니다. 미국 중부를 대표하는 피츠버그.

Despite receiving 25% of all federal research funding awarded to universities and colleges in 2021, just 11 U.S. universities are responsible for distributing the funds. Of these top research-funded universities, nine of them are located on either the East or West Coast. Only University of Michigan and University of Pittsburgh are representing the middle of the country. This trend has been consistent since 2010.

2021년에 대학에 수여되는 모든 연방 연구 자금의 25%를 받았음에도 불구하고 미국 대학 중 단 11개 대학만이 자금 분배를 담당하고 있습니다. 이러한 최고의 연구 자금 지원 대학 중 9개 대학은 동부 또는 서부 해안에 위치해 있습니다. 미시간대학교와 피츠버그대학교만이 미국 중부를 대표하고 있다. 이러한 추세는 2010년부터 일관되게 나타났습니다.

However, there are strong research programs at universities throughout the U.S. So why does such a small set of universities receive such a large portion of federal research funding? Is there bias toward these institutions or a hesitancy to criticize proposals from elite universities? Whatever the cause may be, the problem extends beyond federal research funding and also affects foundations that support research.

그러나 미국 전역의 대학에는 강력한 연구 프로그램이 있습니다. 그러면 이렇게 작은 대학들이 연방 연구 자금의 큰 부분을 받는 이유는 무엇일까요? 이러한 기관에 대한 편견이 있거나 명문 대학의 제안을 비판하는 데 주저함이 있습니까? 원인이 무엇이든, 문제는 연방 연구 기금을 넘어 연구를 지원하는 재단에도 영향을 미칩니다.

I’m the executive director of the Arnold and Mabel Beckman Foundation, where we provide basic science research grants with the vision of supporting young scientists today for tomorrow’s breakthrough discoveries. Our mission is to support “young scientists, and especially those that don’t yet have the clout to win major research grants.” One of my main objectives is to ensure that we solicit and evaluate all proposals using an inclusive, fair, and unbiased process. The Beckman Foundation’s success depends on our ability to identify and fund new exciting and innovative research ideas, and we believe that biases in our processes can impede us in accomplishing our mission.

저는 Arnold and Mabel Beckman 재단의 전무이사로, 내일의 획기적인 발견을 위해 오늘의 젊은 과학자들을 지원한다는 비전과 함께 기초 과학 연구 보조금을 제공하고 있습니다. 우리의 임무는 "젊은 과학자, 특히 아직 주요 연구 보조금을 받을 영향력이 없는 과학자"를 지원하는 것입니다. 저의 주요 목표 중 하나는 포괄적이고 공정하며 편견 없는 프로세스를 사용하여 모든 제안을 요청하고 평가하는 것입니다. Beckman 재단의 성공은 새롭고 흥미롭고 혁신적인 연구 아이디어를 식별하고 자금을 지원하는 능력에 달려 있으며, 우리 프로세스의 편견이 우리의 사명 달성을 방해할 수 있다고 믿습니다.

Like many basic science funding organizations, we rely on peer review to evaluate and recommend the research projects that we consider for funding. One challenge in the basic sciences is the concentration of grant funding at relatively few U.S. institutions, and my colleagues and I have been concerned that our traditional peer review processes may be perpetuating this concentration.

많은 기초 과학 자금 지원 조직과 마찬가지로 우리는 동료 검토를 통해 자금 지원을 고려하는 연구 프로젝트를 평가하고 추천합니다. 기초 과학의 한 가지 과제는 상대적으로 소수의 미국 기관에 보조금 자금이 집중된다는 것입니다. 동료와 저는 우리의 전통적인 동료 평가 프로세스가 이러한 집중을 지속시킬 수 있다는 점을 우려해 왔습니다.

Admittedly there are many benefits to continue funding established institutions that have made the investments in the infrastructure, research teams, and specialized equipment to conduct advanced research. But this also raises some concerns: Are we stifling research progress when only those with the access and connections to these elite institutions are able to participate? How many great ideas and breakthroughs do we ignore because they aren’t from the “traditional” places? Do the well-resourced institutions become less innovative if they get an advantage through our peer-review system for continued funding?

고급 연구를 수행하기 위해 인프라, 연구팀, 전문 장비에 투자한 기존 기관에 계속 자금을 지원하면 많은 이점이 있다는 것은 사실입니다. 그러나 이것은 또한 몇 가지 우려를 불러일으킵니다. 이러한 엘리트 기관에 접근하고 연결되어 있는 사람들만 참여할 수 있는데, 연구 진행을 방해하고 있습니까? 얼마나 많은 훌륭한 아이디어와 혁신이 "전통적인" 분야에서 나온 것이 아니라는 이유로 무시합니까? 지속적인 자금 조달을 위해 동료 검토 시스템을 통해 이점을 얻으면 자원이 풍부한 기관의 혁신성이 떨어지나요?

Of course, as a foundation focused on basic science, we turned to the data to examine the evidence and test our hypothesis. Starting in 2019, we did a detailed analysis of our own grant awards at the Beckman Foundation, and we saw a similar concentration of funding in our awards to the same institutions year after year. We asked ourselves: Are we identifying and funding the best scientific ideas, or does the institutional affiliation of an applicant unduly factor into our review processes?

물론 기초과학에 초점을 맞춘 재단으로서 우리는 데이터를 활용하여 증거를 조사하고 가설을 검증했습니다. 2019년부터 우리는 Beckman Foundation에서 자체 보조금에 대한 자세한 분석을 수행했으며 해마다 동일한 기관에 대한 보조금에서 유사한 자금 집중을 확인했습니다. 우리는 스스로에게 질문했습니다. 최고의 과학적 아이디어를 식별하고 자금을 지원하고 있습니까? 아니면 지원자의 기관 소속이 검토 프로세스에 부당하게 영향을 미치고 있습니까?

This question led us change the proposal review process we used for our 2020 applications to a dual-anonymized structure to investigate if we saw any implicit bias in our reviews towards prestigious institutions. We then tracked our application statistics for the next four years of applications and saw a shift away from the prestigious institutions that enabled more applications from diverse universities to advance in our selection process. Our complete study methodology and findings are published in a 2024 eLife article.

이 질문으로 인해 우리는 2020년 지원서에 사용한 제안서 검토 프로세스를 이중 익명 구조로 변경하여 리뷰에서 권위 있는 기관에 대한 암묵적인 편견이 있는지 조사했습니다. 그런 다음 향후 4년간의 지원자 통계를 추적한 결과, 다양한 대학의 더 많은 지원자가 선발 과정에서 발전할 수 있었던 명망 높은 기관에서 벗어나는 것을 확인했습니다. 우리의 전체 연구 방법론과 결과는 2024년 eLife 기사에 게시되었습니다.

In implementing this change, we required our applicants themselves to remove any gender, race, or institutional affiliation identifiers from their proposals. The reviewers were only provided with the anonymized research proposal without any supporting information about the applicant themselves.

이 변경 사항을 시행하면서 우리는 지원자 스스로 제안서에서 성별, 인종 또는 기관 소속 식별자를 제거하도록 요구했습니다. 심사자에게는 신청자 본인에 대한 어떠한 뒷받침 정보도 없이 익명화된 연구 제안서만 제공되었습니다.

Interestingly, we found a reduction in the relative advantage of applicants from the more prestigious institutions to advance in our review process after the anonymization step. Before anonymization, the proposals from elite institutions had 1.5 times greater-than-average chance of being selected to advance for further consideration, and after anonymization this advantage to advance dropped to only 1.2 times the average.

흥미롭게도 우리는 익명화 단계 이후 검토 과정에서 더 권위 있는 기관 출신 지원자의 상대적 이점이 감소한다는 사실을 발견했습니다. 익명화 이전에는 엘리트 기관의 제안서가 추가 고려 대상으로 선정될 확률이 평균보다 1.5배 높았지만, 익명화 후에는 이러한 진출 이점이 평균의 1.2배로 떨어졌습니다.

This shift in which proposals advance in our reviews brings forward more excellent scientific ideas from those not at these elite institutions to be included in the final stages of our review process to be considered for funding. The anonymization resulted in a reduction, but not elimination, of the advantage that the prestigious institutions had in our review process, likely indicating that the prestigious institutions do have an intrinsic advantage: Their researchers and resources put forward above-average and compelling research proposals. However, our finding that the likelihood for these proposals to advance was reduced showed us that these advantages of being associated with certain prestigious institutions were given undue influence in our review processes.

우리의 검토에서 제안이 발전하는 이러한 변화는 자금 지원을 고려하기 위한 검토 프로세스의 최종 단계에 포함될 엘리트 기관에 없는 아이디어로부터 더 우수한 과학적 아이디어를 가져옵니다. 익명화로 인해 우리의 검토 과정에서 권위 있는 기관이 갖는 이점이 감소했지만 제거되지는 않았습니다. 이는 명문 기관이 본질적인 이점을 가지고 있음을 나타낼 가능성이 높습니다. 해당 기관의 연구원과 자원은 평균 이상으로 설득력 있는 연구 제안을 제시합니다. 그러나 이러한 제안이 진전될 가능성이 감소했다는 우리의 발견은 특정 권위 있는 기관과 연관되어 있는 이러한 이점이 우리의 검토 과정에서 과도한 영향을 미쳤다는 것을 보여주었습니다.

Ensuring that our review processes are fair and inclusive to all of our applicants regardless of their institution was the goal of our process change, but we also realized the additional benefits that the anonymized proposals were easier to read and evaluate, which reduces reviewer fatigue. During the review discussions we stayed focused on the innovation and the science in the proposal without additional discussions of perceived mentor status, publication rates, journal impact factors, and other ancillary topics.

검토 프로세스가 기관에 관계없이 모든 지원자에게 공정하고 포용적이라는 것을 보장하는 것이 프로세스 변경의 목표였지만, 익명화된 제안서를 읽고 평가하기가 더 쉬워 검토자의 피로를 줄여준다는 추가 이점도 깨달았습니다. 검토 토론 동안 우리는 인식된 멘토 상태, 출판 비율, 저널 영향력 요인 및 기타 보조 주제에 대한 추가 논의 없이 제안의 혁신과 과학에 집중했습니다.

Like all big systemic challenges, there are many possible solutions being explored. While we have focused on the dual-anonymized review approach, other

모든 대규모 시스템 문제와 마찬가지로 가능한 솔루션도 많이 모색되고 있습니다. 우리는 이중 익명 검토 접근 방식에 중점을 두었지만 다른