バイアスを軽減するために助成金提案を匿名化する

2021年に大学に与えられた連邦研究資金全体の25％を受け取った米国の大学は、わずか11大学だった。そして、これらトップクラスの研究資金提供を受けている大学のうち9校は東海岸または西海岸に位置しており、ミシガン大学とミシガン大学のみである。国の真ん中を代表するピッツバーグの。

Despite receiving 25% of all federal research funding awarded to universities and colleges in 2021, just 11 U.S. universities are responsible for distributing the funds. Of these top research-funded universities, nine of them are located on either the East or West Coast. Only University of Michigan and University of Pittsburgh are representing the middle of the country. This trend has been consistent since 2010.

2021年に大学に与えられた連邦研究資金全体の25％を受け取ったにもかかわらず、資金配分を担当している米国の大学はわずか11校だ。これらトップクラスの研究資金提供大学のうち、9 校は東海岸または西海岸にあります。ミシガン大学とピッツバーグ大学だけが国の中央を代表しています。この傾向は 2010 年以来一貫しています。

However, there are strong research programs at universities throughout the U.S. So why does such a small set of universities receive such a large portion of federal research funding? Is there bias toward these institutions or a hesitancy to criticize proposals from elite universities? Whatever the cause may be, the problem extends beyond federal research funding and also affects foundations that support research.

しかし、米国中の大学には強力な研究プログラムが存在します。では、なぜこのような少数の大学が連邦研究資金のこれほど多くを受け取っているのでしょうか?これらの大学に対する偏見や、エリート大学からの提案を批判することをためらうことはありますか？原因が何であれ、問題は連邦政府の研究資金を超えて広がり、研究を支援する財団にも影響を及ぼします。

I’m the executive director of the Arnold and Mabel Beckman Foundation, where we provide basic science research grants with the vision of supporting young scientists today for tomorrow’s breakthrough discoveries. Our mission is to support “young scientists, and especially those that don’t yet have the clout to win major research grants.” One of my main objectives is to ensure that we solicit and evaluate all proposals using an inclusive, fair, and unbiased process. The Beckman Foundation’s success depends on our ability to identify and fund new exciting and innovative research ideas, and we believe that biases in our processes can impede us in accomplishing our mission.

私はアーノルド・メイベル・ベックマン財団の事務局長を務めています。この財団では、明日の画期的な発見に向けて今日の若い科学者を支援するというビジョンのもと、基礎科学研究の助成金を提供しています。私たちの使命は、「若い科学者、特に主要な研究助成金を獲得する影響力をまだ持っていない科学者」をサポートすることです。私の主な目的の 1 つは、包括的で公平かつ公平なプロセスを使用して、すべての提案を確実に募集し、評価することです。ベックマン財団の成功は、新しいエキサイティングで革新的な研究アイデアを特定し、資金を提供できるかどうかにかかっており、プロセスにおけるバイアスが使命の達成を妨げる可能性があると私たちは考えています。

Like many basic science funding organizations, we rely on peer review to evaluate and recommend the research projects that we consider for funding. One challenge in the basic sciences is the concentration of grant funding at relatively few U.S. institutions, and my colleagues and I have been concerned that our traditional peer review processes may be perpetuating this concentration.

多くの基礎科学資金提供機関と同様に、私たちは資金提供を検討している研究プロジェクトを評価し、推奨するためにピアレビューに依存しています。基礎科学における課題の 1 つは、米国の比較的少数の機関に助成金が集中していることであり、同僚と私は、従来の査読プロセスがこの集中を永続させているのではないかと懸念していました。

Admittedly there are many benefits to continue funding established institutions that have made the investments in the infrastructure, research teams, and specialized equipment to conduct advanced research. But this also raises some concerns: Are we stifling research progress when only those with the access and connections to these elite institutions are able to participate? How many great ideas and breakthroughs do we ignore because they aren’t from the “traditional” places? Do the well-resourced institutions become less innovative if they get an advantage through our peer-review system for continued funding?

確かに、高度な研究を実施するためのインフラ、研究チーム、特殊な機器に投資を行っている確立された機関に資金を提供し続けることには多くの利点があります。しかし、これはいくつかの懸念も引き起こします。これらのエリート機関へのアクセスとコネを持つ人だけが参加できる場合、研究の進歩を抑制することになるのでしょうか? 「伝統的な」場所から来たものではないという理由で、私たちはどれだけの素晴らしいアイデアや画期的なアイデアを無視しているでしょうか?資金の豊富な機関は、継続的な資金提供のために私たちのピアレビューシステムを通じて有利になると、革新性が低下するのでしょうか?

Of course, as a foundation focused on basic science, we turned to the data to examine the evidence and test our hypothesis. Starting in 2019, we did a detailed analysis of our own grant awards at the Beckman Foundation, and we saw a similar concentration of funding in our awards to the same institutions year after year. We asked ourselves: Are we identifying and funding the best scientific ideas, or does the institutional affiliation of an applicant unduly factor into our review processes?

もちろん、基礎科学に重点を置いた財団として、証拠を調べて仮説を検証するためにデータに注目しました。 2019 年から、私たちはベックマン財団での独自の助成金の詳細な分析を行ったところ、毎年同じ機関への助成金に同様の資金が集中していることがわかりました。私たちは自問しました。私たちは最高の科学的アイデアを特定して資金を提供しているのでしょうか、それとも申請者の所属機関が審査プロセスに不当に考慮されているのでしょうか?

This question led us change the proposal review process we used for our 2020 applications to a dual-anonymized structure to investigate if we saw any implicit bias in our reviews towards prestigious institutions. We then tracked our application statistics for the next four years of applications and saw a shift away from the prestigious institutions that enabled more applications from diverse universities to advance in our selection process. Our complete study methodology and findings are published in a 2024 eLife article.

この疑問により、私たちは 2020 年の申請に使用した提案審査プロセスを二重匿名構造に変更し、権威ある機関に対する審査に暗黙のバイアスが見られないかどうかを調査しました。その後、今後 4 年間の出願統計を追跡したところ、権威ある教育機関からの移行が進み、多様な大学からのより多くの出願が選考プロセスに進むことが可能になったことがわかりました。私たちの完全な調査方法と調査結果は、2024 年の eLife 記事に掲載されています。

In implementing this change, we required our applicants themselves to remove any gender, race, or institutional affiliation identifiers from their proposals. The reviewers were only provided with the anonymized research proposal without any supporting information about the applicant themselves.

この変更を実施するにあたり、私たちは申請者自身に、提案から性別、人種、所属機関の識別子を削除するよう求めました。査読者には匿名化された研究提案書のみが提供され、申請者自身に関する裏付け情報は提供されませんでした。

Interestingly, we found a reduction in the relative advantage of applicants from the more prestigious institutions to advance in our review process after the anonymization step. Before anonymization, the proposals from elite institutions had 1.5 times greater-than-average chance of being selected to advance for further consideration, and after anonymization this advantage to advance dropped to only 1.2 times the average.

興味深いことに、匿名化ステップ後の審査プロセスでは、より権威ある機関からの応募者の相対的な優位性が低下することがわかりました。匿名化前は、エリート機関からの提案がさらなる検討のために選ばれる確率は平均の 1.5 倍でしたが、匿名化後はこの前進の利点は平均の 1.2 倍に低下しました。

This shift in which proposals advance in our reviews brings forward more excellent scientific ideas from those not at these elite institutions to be included in the final stages of our review process to be considered for funding. The anonymization resulted in a reduction, but not elimination, of the advantage that the prestigious institutions had in our review process, likely indicating that the prestigious institutions do have an intrinsic advantage: Their researchers and resources put forward above-average and compelling research proposals. However, our finding that the likelihood for these proposals to advance was reduced showed us that these advantages of being associated with certain prestigious institutions were given undue influence in our review processes.

私たちの審査で提案が進むこの変化により、これらのエリート機関以外の人々からのより優れた科学的アイデアが提案され、資金提供を検討するための審査プロセスの最終段階に組み込まれます。匿名化の結果、私たちの審査プロセスにおいて権威ある研究機関が持つ利点は減少しましたが、排除されたわけではありません。これはおそらく、権威ある研究機関が本質的な利点を持っていることを示していると考えられます。つまり、研究者やリソースが平均を上回る説得力のある研究提案を提出しているということです。しかし、これらの提案が前進する可能性が低下したという私たちの調査結果は、特定の権威ある機関と提携していることの利点が、私たちの審査プロセスに不当な影響を与えていることを示しました。

Ensuring that our review processes are fair and inclusive to all of our applicants regardless of their institution was the goal of our process change, but we also realized the additional benefits that the anonymized proposals were easier to read and evaluate, which reduces reviewer fatigue. During the review discussions we stayed focused on the innovation and the science in the proposal without additional discussions of perceived mentor status, publication rates, journal impact factors, and other ancillary topics.

審査プロセスが公平で、所属機関に関係なくすべての申請者を対象とすることを保証することがプロセス変更の目標でしたが、匿名化された提案は読みやすく評価しやすくなり、審査員の疲労が軽減されるという追加の利点も認識しました。レビューの議論中、私たちは指導者としての地位、出版率、ジャーナルのインパクトファクター、その他の付随的なトピックについて追加の議論を行うことなく、提案のイノベーションと科学に焦点を当て続けました。

Like all big systemic challenges, there are many possible solutions being explored. While we have focused on the dual-anonymized review approach, other

すべての大きなシステム上の課題と同様に、多くの解決策が検討されています。私たちは二重匿名化されたレビューアプローチに焦点を当ててきましたが、その他の