La plateforme d'IA générative d'Adobe est une distillation parfaite du problème

L'année dernière, Adobe a mis à jour sa plateforme d'IA générative Firefly à plusieurs reprises, la plus récente en septembre. Au fil du temps, les outils Lightroom et Photoshop qui s'appuient sur cette technologie n'ont cessé de se détériorer et le choix du système d'ajouter un logo Bitcoin à une photo d'une mouette est une parfaite synthèse du problème.

Adobe updated its Firefly generative AI platform multiple times last year, the most recent coming in September. Over that time, the Lightroom and Photoshop tools that rely on the technology have gotten steadily worse and the system’s choice to add a Bitcoin logo to a photo of a seagull is a perfect distillation of the problem.

Adobe a mis à jour sa plateforme d'IA générative Firefly à plusieurs reprises l'année dernière, la plus récente en septembre. Au fil du temps, les outils Lightroom et Photoshop qui s'appuient sur cette technologie n'ont cessé de se détériorer et le choix du système d'ajouter un logo Bitcoin à une photo d'une mouette est une parfaite synthèse du problème.

Last week, I struggled to get any of Adobe’s generative or content-aware tools to extend a background and cover an area for a thumbnail I was working on for our YouTube channel. Previous to the updates last year, the tasks I asked Photoshop to handle were done quickly and without issue. Since, however, it’s been a rocky road.

La semaine dernière, j'ai eu du mal à obtenir que l'un des outils génératifs ou sensibles au contenu d'Adobe étende un arrière-plan et couvre une zone pour une vignette sur laquelle je travaillais pour notre chaîne YouTube. Avant les mises à jour de l’année dernière, les tâches que j’avais demandé à Photoshop étaient effectuées rapidement et sans problème. Mais depuis, le chemin a été semé d’embûches.

All I was trying to do was make a little bit more room on that side of the frame so I could reposition the camera and lens Chris was using.

Tout ce que j'essayais de faire, c'était de faire un peu plus d'espace de ce côté du cadre pour pouvoir repositionner l'appareil photo et l'objectif que Chris utilisait.

Eventually had to resort to the old-fashioned way of doing this and manually cloned out the area to produce the thumbnail we eventually published:

Finalement, nous avons dû recourir à la méthode à l'ancienne et cloner manuellement la zone pour produire la vignette que nous avons finalement publiée :

The issue with my request is apparently known by Adobe. When I reached out to the company for comment, a company representative pointed me to an article on Lightroom Queen where it says asking Generative Remove or Generative Fill to work in a space requires that the entire subject and anything related to it be selected or else it will try and replace it with something.

Le problème avec ma demande est apparemment connu d'Adobe. Lorsque j'ai contacté l'entreprise pour obtenir des commentaires, un représentant de l'entreprise m'a indiqué un article sur Lightroom Queen dans lequel il est dit que demander à Generative Remove ou Generative Fill de travailler dans un espace nécessite que l'ensemble du sujet et tout ce qui s'y rapporte soit sélectionné, sinon il Je vais essayer de le remplacer par quelque chose.

“Select the entire object/person, including its shadow, reflection, and any disconnected parts (such as a hand on someone else’s shoulder). Otherwise, the AI tries to rebuild the object based on what’s left behind. For example, if you select a person and miss their feet, Lightroom tries to rebuild a new person to fit the feet,” the article reads.

« Sélectionnez l'objet/la personne dans son intégralité, y compris son ombre, son reflet et toutes les parties déconnectées (comme une main sur l'épaule de quelqu'un d'autre). Sinon, l’IA essaie de reconstruire l’objet en fonction de ce qui reste. Par exemple, si vous sélectionnez une personne et que ses pieds manquent, Lightroom essaie de reconstruire une nouvelle personne pour qu'elle s'adapte à ses pieds », peut-on lire dans l'article.

While this kind of makes sense if you don’t think about it too hard, it also is completely counterintuitive to the concept of the name of the tool and the result an editor is expecting.

Bien que cela ait du sens si vous n'y réfléchissez pas trop, cela est également complètement contre-intuitif par rapport au concept du nom de l'outil et au résultat attendu par un éditeur.

If I am selecting a body part and asking a tool to fill or remove that space, zero percent of the time would I want it to replace my selection with its eldritch nightmare version of that exact same thing. What I, and any editor doing this, want is for what is selected to be removed as seamlessly as possible.

Si je sélectionne une partie du corps et demande à un outil de remplir ou de supprimer cet espace, zéro pour cent du temps, je voudrais qu'il remplace ma sélection par sa version cauchemardesque surnaturelle de cette même chose. Ce que moi et tout éditeur faisant cela souhaitons, c'est que ce qui est sélectionné soit supprimé de la manière la plus transparente possible.

Also, this method does not always work, as I demonstrated last year:

De plus, cette méthode ne fonctionne pas toujours, comme je l'ai démontré l'année dernière :

This is a repeat of the problem I showcased last fall when I pitted Apple’s Clean Up tool against Adobe Generative tools. Multiple times, Adobe’s tool wanted to add things into a shot and did so even if an entire subject was selected — which runs counter to the instructions Adobe pointed me to in the Lightroom Queen article.

Il s'agit d'une répétition du problème que j'ai présenté l'automne dernier lorsque j'ai opposé l'outil Clean Up d'Apple aux outils Adobe Generative. À plusieurs reprises, l'outil d'Adobe a voulu ajouter des éléments dans une photo et l'a fait même si un sujet entier était sélectionné, ce qui va à l'encontre des instructions qu'Adobe m'a indiquées dans l'article Lightroom Queen.

Adobe also pointed me to an Adobe Community post that has some tips for getting better results out of its generative tools, and while I can confirm these do help, we’re still seeing weird results even if we follow the instructions to the letter.

Adobe m'a également dirigé vers un article de la communauté Adobe qui contient quelques conseils pour obtenir de meilleurs résultats avec ses outils génératifs, et même si je peux confirmer que ceux-ci sont utiles, nous constatons toujours des résultats étranges même si nous suivons les instructions à la lettre.

This loops us back to the Bitcoin situation. Yesterday, photographer Matthew Raifman shared a bizarre result Adobe’s Generative AI produced in Lightroom. The Generative Remove tool saw a selection of a reflection and decided to replace it with a Bitcoin logo.

Cela nous ramène à la situation du Bitcoin. Hier, le photographe Matthew Raifman a partagé un résultat bizarre produit par l'IA générative d'Adobe dans Lightroom. L’outil Generative Remove a vu une sélection d’un reflet et a décidé de le remplacer par un logo Bitcoin.

“Adobe has officially jumped the shark. Their AI remove feature in lightroom just added a bitcoin to my gull bird in flight photo,” he shared on Bluesky. “A bitcoin!?!”

« Adobe a officiellement sauté sur le requin. Leur fonction de suppression d’IA dans Lightroom vient d’ajouter un bitcoin à ma photo de mouette en vol », a-t-il partagé sur Bluesky. "Un bitcoin !?!"

Raifman shared a screen recording with PetaPixel that verifies this wasn’t added on purpose and was the first suggestion from Adobe’s AI.

Raifman a partagé un enregistrement d'écran avec PetaPixel qui vérifie que cela n'a pas été ajouté volontairement et qu'il s'agissait de la première suggestion de l'IA d'Adobe.

To its credit, two of the three options Generative Remove suggested did provide usable alternatives. Unfortunately, the Bitcoin option was the first one, which (whether Adobe intends this or not) tells an editor that it is what the platform feels is the best result.

À son honneur, deux des trois options suggérées par Generative Remove offraient des alternatives utilisables. Malheureusement, l'option Bitcoin a été la première à indiquer à un éditeur (que Adobe le veuille ou non) que c'est ce que la plate-forme considère comme le meilleur résultat.

It’s not so much that Adobe’s tools don’t work well, it’s more the manner of how they’re not working well — if we weren’t trying to get work done, some of these results would be really funny. In the case of the Bitcoin thing, it just seems like it’s trying to replace the painted pixels with something similar in shape to the detected “object” the user is trying to remove. But that doesn’t make any sense in how editors would expect the tool to perform.

Ce n'est pas tant que les outils d'Adobe ne fonctionnent pas bien, c'est plutôt la manière dont ils ne fonctionnent pas bien : si nous n'essayions pas de faire le travail, certains de ces résultats seraient vraiment amusants. Dans le cas du Bitcoin, il semble simplement qu'il essaie de remplacer les pixels peints par quelque chose de forme similaire à « l'objet » détecté que l'utilisateur essaie de supprimer. Mais cela n’a aucun sens dans la manière dont les éditeurs s’attendent à ce que l’outil fonctionne.

Editors don’t want something replaced with an object akin to what they select to remove, they want it replaced with what is around it. But, somehow, Adobe’s AI just isn’t coded to understand this and it repeatedly generates the weirdest stuff because of it.

Les éditeurs ne veulent pas que quelque chose soit remplacé par un objet semblable à ce qu'ils choisissent de supprimer, ils veulent qu'il soit remplacé par ce qui l'entoure. Mais, d’une manière ou d’une autre, l’IA d’Adobe n’est tout simplement pas codée pour comprendre cela et génère à plusieurs reprises les choses les plus étranges à cause de cela.

Generative Remove and Generative Fill have become so unreliable that some members of the PetaPixel staff have stopped using it entirely. As I pointed out, I had to go back to the manual clone stamp method to get the task I wanted completed.

Generative Remove et Generative Fill sont devenus si peu fiables que certains membres du personnel de PetaPixel ont complètement cessé de les utiliser. Comme je l'ai souligné, j'ai dû revenir à la méthode manuelle du tampon de clonage pour terminer la tâche que je souhaitais.

“Overall, Adobe is aware and actively working to resolve,” Adobe tells PetaPixel.

"Dans l'ensemble, Adobe en est conscient et travaille activement à résoudre ce problème", a déclaré Adobe à PetaPixel.

When Adobe is pushing AI as the biggest value proposition in its updates

Quand Adobe fait de l'IA la plus grande proposition de valeur dans ses mises à jour