Anonymisierung von Zuschussvorschlägen zur Reduzierung von Verzerrungen

Nur 11 US-Universitäten erhielten im Jahr 2021 25 % aller bundesstaatlichen Forschungsgelder, die an Universitäten und Hochschulen vergeben wurden. Und von diesen Spitzenuniversitäten mit Forschungsgeldern befinden sich neun an der Ost- oder Westküste, nur die University of Michigan und die University of Michigan von Pittsburgh, die die Mitte des Landes repräsentiert.

Despite receiving 25% of all federal research funding awarded to universities and colleges in 2021, just 11 U.S. universities are responsible for distributing the funds. Of these top research-funded universities, nine of them are located on either the East or West Coast. Only University of Michigan and University of Pittsburgh are representing the middle of the country. This trend has been consistent since 2010.

Obwohl sie im Jahr 2021 25 % aller Bundesforschungsgelder erhalten, die an Universitäten und Hochschulen vergeben werden, sind nur 11 US-Universitäten für die Verteilung der Mittel verantwortlich. Von diesen erstklassigen forschungsfinanzierten Universitäten befinden sich neun an der Ost- oder Westküste. Nur die University of Michigan und die University of Pittsburgh repräsentieren die Mitte des Landes. Dieser Trend hält seit 2010 an.

However, there are strong research programs at universities throughout the U.S. So why does such a small set of universities receive such a large portion of federal research funding? Is there bias toward these institutions or a hesitancy to criticize proposals from elite universities? Whatever the cause may be, the problem extends beyond federal research funding and also affects foundations that support research.

Allerdings gibt es an Universitäten in den gesamten USA starke Forschungsprogramme. Warum erhält also eine so kleine Gruppe von Universitäten einen so großen Teil der Bundesforschungsförderung? Gibt es eine Voreingenommenheit gegenüber diesen Institutionen oder eine Zurückhaltung, Vorschläge von Eliteuniversitäten zu kritisieren? Was auch immer die Ursache sein mag, das Problem geht über die Forschungsförderung des Bundes hinaus und betrifft auch Stiftungen, die Forschung unterstützen.

I’m the executive director of the Arnold and Mabel Beckman Foundation, where we provide basic science research grants with the vision of supporting young scientists today for tomorrow’s breakthrough discoveries. Our mission is to support “young scientists, and especially those that don’t yet have the clout to win major research grants.” One of my main objectives is to ensure that we solicit and evaluate all proposals using an inclusive, fair, and unbiased process. The Beckman Foundation’s success depends on our ability to identify and fund new exciting and innovative research ideas, and we believe that biases in our processes can impede us in accomplishing our mission.

Ich bin geschäftsführender Direktor der Arnold and Mabel Beckman Foundation, wo wir Stipendien für Grundlagenforschung vergeben, mit der Vision, junge Wissenschaftler heute für die bahnbrechenden Entdeckungen von morgen zu unterstützen. Unsere Mission ist es, „junge Wissenschaftler zu unterstützen, und insbesondere diejenigen, die noch nicht die Macht haben, große Forschungsstipendien zu gewinnen.“ Eines meiner Hauptziele besteht darin, sicherzustellen, dass wir alle Vorschläge in einem inklusiven, fairen und unvoreingenommenen Verfahren einholen und bewerten. Der Erfolg der Beckman Foundation hängt von unserer Fähigkeit ab, neue spannende und innovative Forschungsideen zu identifizieren und zu finanzieren, und wir glauben, dass Vorurteile in unseren Prozessen uns daran hindern können, unsere Mission zu erfüllen.

Like many basic science funding organizations, we rely on peer review to evaluate and recommend the research projects that we consider for funding. One challenge in the basic sciences is the concentration of grant funding at relatively few U.S. institutions, and my colleagues and I have been concerned that our traditional peer review processes may be perpetuating this concentration.

Wie viele Organisationen zur Förderung der Grundlagenforschung verlassen wir uns auf Peer-Reviews, um die Forschungsprojekte, die wir für eine Finanzierung in Betracht ziehen, zu bewerten und zu empfehlen. Eine Herausforderung in den Grundlagenwissenschaften ist die Konzentration der Fördermittel auf relativ wenige US-Institutionen, und meine Kollegen und ich waren besorgt, dass unsere traditionellen Peer-Review-Prozesse diese Konzentration aufrechterhalten könnten.

Admittedly there are many benefits to continue funding established institutions that have made the investments in the infrastructure, research teams, and specialized equipment to conduct advanced research. But this also raises some concerns: Are we stifling research progress when only those with the access and connections to these elite institutions are able to participate? How many great ideas and breakthroughs do we ignore because they aren’t from the “traditional” places? Do the well-resourced institutions become less innovative if they get an advantage through our peer-review system for continued funding?

Zugegebenermaßen bietet es viele Vorteile, weiterhin etablierte Institutionen zu finanzieren, die in die Infrastruktur, Forschungsteams und Spezialausrüstung für die Durchführung fortgeschrittener Forschung investiert haben. Dies wirft jedoch auch einige Bedenken auf: Ersticken wir den Forschungsfortschritt, wenn nur diejenigen teilnehmen können, die Zugang und Verbindungen zu diesen Eliteinstitutionen haben? Wie viele großartige Ideen und Durchbrüche ignorieren wir, weil sie nicht von „traditionellen“ Orten stammen? Werden die gut ausgestatteten Institutionen weniger innovativ, wenn sie durch unser Peer-Review-System einen Vorteil für die weitere Finanzierung erhalten?

Of course, as a foundation focused on basic science, we turned to the data to examine the evidence and test our hypothesis. Starting in 2019, we did a detailed analysis of our own grant awards at the Beckman Foundation, and we saw a similar concentration of funding in our awards to the same institutions year after year. We asked ourselves: Are we identifying and funding the best scientific ideas, or does the institutional affiliation of an applicant unduly factor into our review processes?

Als Stiftung, die sich auf die Grundlagenwissenschaft konzentriert, haben wir natürlich auf die Daten zurückgegriffen, um die Beweise zu prüfen und unsere Hypothese zu testen. Ab 2019 führten wir eine detaillierte Analyse unserer eigenen Fördermittelvergaben bei der Beckman Foundation durch und konnten Jahr für Jahr eine ähnliche Konzentration der Fördermittel bei unseren Fördermitteln an dieselben Institutionen feststellen. Wir haben uns gefragt: Identifizieren und finanzieren wir die besten wissenschaftlichen Ideen oder spielt die institutionelle Zugehörigkeit eines Antragstellers eine unangemessene Rolle bei unseren Begutachtungsprozessen?

This question led us change the proposal review process we used for our 2020 applications to a dual-anonymized structure to investigate if we saw any implicit bias in our reviews towards prestigious institutions. We then tracked our application statistics for the next four years of applications and saw a shift away from the prestigious institutions that enabled more applications from diverse universities to advance in our selection process. Our complete study methodology and findings are published in a 2024 eLife article.

Diese Frage veranlasste uns, den Prozess zur Prüfung von Vorschlägen, den wir für unsere Bewerbungen für 2020 verwendeten, auf eine doppelt anonymisierte Struktur umzustellen, um zu untersuchen, ob wir in unseren Prüfungen eine implizite Voreingenommenheit gegenüber renommierten Institutionen feststellen konnten. Anschließend verfolgten wir unsere Bewerbungsstatistiken für die nächsten vier Bewerbungsjahre und stellten eine Abkehr von den renommierten Institutionen fest, die es mehr Bewerbungen von verschiedenen Universitäten ermöglichte, in unserem Auswahlprozess voranzukommen. Unsere vollständige Studienmethodik und Ergebnisse werden in einem eLife-Artikel von 2024 veröffentlicht.

In implementing this change, we required our applicants themselves to remove any gender, race, or institutional affiliation identifiers from their proposals. The reviewers were only provided with the anonymized research proposal without any supporting information about the applicant themselves.

Bei der Umsetzung dieser Änderung verlangten wir von unseren Bewerbern selbst, alle Geschlechts-, Rassen- oder institutionellen Zugehörigkeitskennungen aus ihren Vorschlägen zu entfernen. Den Gutachtern wurde lediglich der anonymisierte Forschungsvorschlag ohne unterstützende Informationen über den Antragsteller selbst zur Verfügung gestellt.

Interestingly, we found a reduction in the relative advantage of applicants from the more prestigious institutions to advance in our review process after the anonymization step. Before anonymization, the proposals from elite institutions had 1.5 times greater-than-average chance of being selected to advance for further consideration, and after anonymization this advantage to advance dropped to only 1.2 times the average.

Interessanterweise stellten wir nach dem Anonymisierungsschritt eine Verringerung des relativen Vorteils von Bewerbern aus angeseheneren Institutionen fest, in unserem Überprüfungsprozess voranzukommen. Vor der Anonymisierung hatten die Vorschläge von Eliteinstitutionen eine 1,5-mal höhere Chance, für eine weitere Prüfung ausgewählt zu werden, und nach der Anonymisierung sank dieser Vorsprung auf nur noch das 1,2-fache des Durchschnitts.

This shift in which proposals advance in our reviews brings forward more excellent scientific ideas from those not at these elite institutions to be included in the final stages of our review process to be considered for funding. The anonymization resulted in a reduction, but not elimination, of the advantage that the prestigious institutions had in our review process, likely indicating that the prestigious institutions do have an intrinsic advantage: Their researchers and resources put forward above-average and compelling research proposals. However, our finding that the likelihood for these proposals to advance was reduced showed us that these advantages of being associated with certain prestigious institutions were given undue influence in our review processes.

Diese Verschiebung, mit der Vorschläge in unseren Begutachtungen voranschreiten, führt dazu, dass mehr hervorragende wissenschaftliche Ideen von denjenigen, die nicht an diesen Eliteinstitutionen arbeiten, in die Endphase unseres Begutachtungsprozesses aufgenommen werden, um für eine Finanzierung in Betracht gezogen zu werden. Die Anonymisierung führte zu einer Verringerung, aber nicht zu einer Beseitigung des Vorteils, den die renommierten Institutionen in unserem Überprüfungsprozess hatten, was wahrscheinlich darauf hindeutet, dass die renommierten Institutionen einen intrinsischen Vorteil haben: Ihre Forscher und Ressourcen unterbreiten überdurchschnittliche und überzeugende Forschungsvorschläge. Unsere Feststellung, dass die Wahrscheinlichkeit, dass diese Vorschläge vorankommen, geringer war, zeigte uns jedoch, dass diese Vorteile der Verbindung mit bestimmten renommierten Institutionen in unseren Prüfprozessen unangemessenen Einfluss hatten.

Ensuring that our review processes are fair and inclusive to all of our applicants regardless of their institution was the goal of our process change, but we also realized the additional benefits that the anonymized proposals were easier to read and evaluate, which reduces reviewer fatigue. During the review discussions we stayed focused on the innovation and the science in the proposal without additional discussions of perceived mentor status, publication rates, journal impact factors, and other ancillary topics.

Ziel unserer Prozessänderung war es, sicherzustellen, dass unsere Begutachtungsprozesse für alle unsere Bewerber unabhängig von ihrer Institution fair und inklusiv sind. Wir erkannten aber auch den zusätzlichen Vorteil, dass die anonymisierten Vorschläge leichter zu lesen und zu bewerten waren, was die Ermüdung der Prüfer verringert. Während der Begutachtungsdiskussionen konzentrierten wir uns weiterhin auf die Innovation und die Wissenschaft des Vorschlags, ohne zusätzliche Diskussionen über den wahrgenommenen Mentorstatus, Veröffentlichungsraten, Journal-Impact-Faktoren und andere Nebenthemen.

Like all big systemic challenges, there are many possible solutions being explored. While we have focused on the dual-anonymized review approach, other

Wie bei allen großen systemischen Herausforderungen gibt es viele mögliche Lösungen, die erforscht werden. Während wir uns auf den Ansatz der doppelt anonymisierten Überprüfung konzentriert haben, gibt es noch andere