Pouvez-vous faire confiance à votre IA pour être impartial? Par: Rob Viglione

Un récent document de recherche suggère que c'est un peu plus compliqué. Malheureusement, le biais n'est pas seulement un bug - c'est une fonctionnalité persistante sans garde-corps cryptographique approprié.

Can you trust your AI to be unbiased? A recent research paper suggests it’s a little more complicated.

Pouvez-vous faire confiance à votre IA pour être impartial? Un récent document de recherche suggère que c'est un peu plus compliqué.

Unfortunately, bias isn’t just a bug — it’s a persistent feature without proper cryptographic guardrails. A September 2024 study from Imperial College London shows how zero-knowledge proofs (ZKPs) can help companies verify that their machine learning (ML) models treat all demographic groups equally while still keeping model details and user data private.

Malheureusement, le biais n'est pas seulement un bug - c'est une fonctionnalité persistante sans garde-corps cryptographique approprié. Une étude de septembre 2024 de l'Imperial College London montre comment les preuves zéro-connaissances (ZKPS) peuvent aider les entreprises à vérifier que leurs modèles d'apprentissage automatique (ML) traitent tous les groupes démographiques également tout en conservant les détails du modèle et les données utilisateur privées.

We recently covered how ZKPs are being used to detect fraud and anomalies in financial transactions. But in this case, ZKPs can be applied to verify the fairness property of ML models.

Nous avons récemment couvert comment les ZKP sont utilisés pour détecter la fraude et les anomalies dans les transactions financières. Mais dans ce cas, les ZKP peuvent être appliqués pour vérifier la propriété d'équité des modèles ML.

When discussing "fairness," we're entering a complicated area. There are several mathematical definitions of fairness, and the preferred definition shifts with the political landscape. For instance, consider the US government's approach to fairness over the past two administrations.

Lorsque nous discutons de «l'équité», nous entrons dans une zone compliquée. Il existe plusieurs définitions mathématiques de l'équité, et la définition préférée se déplace avec le paysage politique. Par exemple, considérez l'approche du gouvernement américain de l'équité au cours des deux dernières administrations.

The previous administration was focused on diversity, equity and inclusion. They used demographic parity as a key measure of fairness, aiming to ensure the output probability of a specific prediction is the same across different groups.

L'administration précédente était axée sur la diversité, l'équité et l'inclusion. Ils ont utilisé la parité démographique comme mesure clé de l'équité, visant à garantir que la probabilité de sortie d'une prédiction spécifique est la même entre différents groupes.

But as we integrate more ML models into critical systems like college admissions, home loans and future job prospects, we could use a little more reassurance that AI is treating us fairly.

Mais alors que nous intégrons davantage de modèles ML dans des systèmes critiques comme les admissions à l'université, les prêts à domicile et les perspectives d'emploi futures, nous pourrions utiliser un peu plus de rassurance que l'IA nous traite équitablement.

We need to be sure that any attestations of fairness keep the underlying ML models and training data confidential. They need to protect intellectual property and users’ privacy while providing enough access for users to know that their model is not discriminatory. Not an easy task.

Nous devons être sûrs que toute attestation de l'équité garde les modèles ML sous-jacents et les données de formation confidentielles. Ils doivent protéger la propriété intellectuelle et la confidentialité des utilisateurs tout en offrant un accès suffisant pour que les utilisateurs sachent que leur modèle n'est pas discriminatoire. Pas une tâche facile.

Enter, zero-knowledge proofs.

Entrez, des preuves de connaissances zéro.

ZKML (zero knowledge machine learning) is how we use zero-knowledge proofs to verify that an ML model is what it says on the box. ZKML combines zero-knowledge cryptography with machine learning to create systems that can verify AI properties without exposing the underlying models or data. We can also take that concept and use ZKPs to identify ML models that treat everyone equally and fairly.

ZKML (Zero Knowledge Machine Learning) est la façon dont nous utilisons des preuves de connaissances zéro pour vérifier qu'un modèle ML est ce qu'il dit sur la boîte. ZKML combine la cryptographie de connaissances zéro avec l'apprentissage automatique pour créer des systèmes qui peuvent vérifier les propriétés de l'IA sans exposer les modèles ou données sous-jacents. Nous pouvons également prendre ce concept et utiliser ZKPS pour identifier les modèles ML qui traitent tout le monde de manière égale et équitable.

Recently, we covered how ZKPs were becoming more efficient to perform at scale. Previously, using ZKPs to prove AI fairness was extremely limited because it could only focus on one phase of the ML pipeline. This made it possible for dishonest model providers to construct data sets that would satisfy the fairness requirements, even if the model failed to do so. The ZKPs would also introduce unrealistic computational demands and long wait times to produce proofs of fairness.

Récemment, nous avons couvert comment les ZKP étaient de plus en plus efficaces pour effectuer à grande échelle. Auparavant, l'utilisation de ZKPS pour prouver que l'équité IA était extrêmement limitée car elle ne pouvait se concentrer que sur une phase du pipeline ML. Cela a permis aux fournisseurs de modèles malhonnêtes de construire des ensembles de données qui satisferaient aux exigences d'équité, même si le modèle ne le faisait pas. Les ZKPs introduiraient également des demandes de calcul irréalistes et des temps d'attente longs pour produire des preuves d'équité.

But in recent months, ZK frameworks have become more efficient to scale ZKPs to be able to perform synthesis tasks like quickly generating diverse pieces of content or merging large amounts of data. This makes it possible to integrate ZKPs to detect fraud or anomalies in financial transactions, which is a critical step toward large-scale adoption.

Mais ces derniers mois, les cadres ZK sont devenus plus efficaces pour évoluer les ZKP pour pouvoir effectuer des tâches de synthèse, comme générer rapidement divers contenu ou fusionner de grandes quantités de données. Cela permet d'intégrer les ZKP pour détecter la fraude ou les anomalies dans les transactions financières, ce qui est une étape critique vers l'adoption à grande échelle.

So how do we measure whether an AI is fair? Let's break down three of the most common group fairness definitions:

Alors, comment mesurer si une IA est juste? Décomposons trois des définitions d'équité de groupe les plus courantes:

* Demographic parity

* Parité démographique

* Equality of opportunity

* Égalité d'opportunité

* Predictive equality

* Égalité prédictive

As we mentioned, diversity, equity and inclusion departments often use demographic parity as a measurement to attempt to reflect the demographics of a population in a company's workforce. It's not the ideal fairness metric for ML models because it's used to measure the probability of a specific prediction. For example, we wouldn't necessarily expect that every group will have the same outcomes.

Comme nous l'avons mentionné, les services de diversité, d'équité et d'inclusion utilisent souvent la parité démographique comme mesure pour tenter de refléter la démographie d'une population dans la main-d'œuvre d'une entreprise. Ce n'est pas la métrique d'équité idéale pour les modèles ML car il est utilisé pour mesurer la probabilité d'une prédiction spécifique. Par exemple, nous ne nous attendrions pas nécessairement à ce que chaque groupe ait les mêmes résultats.

Equality of opportunity is easy for most people to understand. It gives every group the same chance to have a positive outcome, assuming they are equally qualified. For instance, it is not optimizing for outcomes — only that every demographic should have the same opportunity to get a job or a home loan.

L'égalité des opportunités est facile à comprendre pour la plupart des gens. Il donne à chaque groupe la même chance d'avoir un résultat positif, en supposant qu'ils sont également qualifiés. Par exemple, il n'optimise pas les résultats - seulement que chaque démographie devrait avoir la même possibilité d'obtenir un emploi ou un prêt immobilier.

Likewise, predictive equality measures if an ML model makes predictions with the same accuracy across various demographics, so no one is penalized simply for being part of a group. So in both cases, the ML model is not putting its thumb on the scale for equity reasons but only to ensure that groups are not being systematically discriminated against in any way. And that is an eminently sensible fix.

De même, l'égalité prédictive mesure si un modèle ML fait des prédictions avec la même précision à travers diverses données démographiques, donc personne n'est pénalisé simplement pour faire partie d'un groupe. Ainsi, dans les deux cas, le modèle ML ne met pas son pouce sur l'échelle pour des raisons d'actions, mais seulement pour s'assurer que les groupes ne sont systématiquement discriminés en aucune façon. Et c'est une solution éminemment sensée.

Over the past year, the US government and other countries have issued statements and mandates around AI fairness and protecting the public from ML bias. Now, with a new administration in the US, there will likely be a different approach to AI fairness, shifting the focus back to equality of opportunity and away from equity.

Au cours de la dernière année, le gouvernement américain et d'autres pays ont publié des déclarations et des mandats autour de l'équité de l'IA et de la protection du public du biais de la ML. Désormais, avec une nouvelle administration aux États-Unis, il y aura probablement une approche différente de l'équité de l'IA, de redonner l'accent à l'égalité des opportunités et à l'écart des capitaux propres.

As political landscapes change, so do the definitions of fairness in AI, moving between those focused on equity and those focused on opportunity. We are proponents of ML models that treat everyone equally without needing to put a thumb on the scale. And ZKPs can serve as an airtight way to verify that ML models are doing this without revealing private data.

Au fur et à mesure que les paysages politiques changent, les définitions de l'équité dans l'IA sont également en cours de se concentrer sur les capitaux propres et ceux qui se sont concentrés sur l'opportunité. Nous sommes les partisans des modèles ML qui traitent tout le monde également sans avoir besoin de mettre un pouce sur l'échelle. Et les ZKP peuvent servir de moyen étanche à vérifier que les modèles ML le font sans révéler des données privées.

While ZKPs have faced plenty of scalability challenges over the years, the technology is finally becoming more affordable for mainstream use cases. We can use ZKPs to verify training data integrity, protect privacy, and ensure the models we’re using are what they say they are.

Bien que les ZKP aient fait face à de nombreux défis d'évolutivité au fil des ans, la technologie devient enfin plus abordable pour les cas d'utilisation grand public. Nous pouvons utiliser ZKPS pour vérifier l'intégrité des données de formation, protéger la confidentialité et nous assurer que les modèles que nous utilisons sont ce qu'ils disent être.