PromptBase est une marketplace pour l’achat et la vente de prompts (invites) de qualité pour créer des images générées par l’IA spécifiques. C’est ce qu’ils appellent « l’ingénierie rapide ».

Sommaire

Comme nous apprenons rapidement, il y a certainement quelque chose de précieux à pouvoir créer des invites qui tirent le meilleur parti des capacités du modèle d’IA.

Trouver le bon texte de prompts à obtenir les meilleurs résultats avec des systèmes d’IA comme DALL-E 2 d’OpenAI est devenu une science à part entière. Maintenant, une startup cherche à laisser les « ingénieurs en prompts » encaisser avec une place de marché en ligne (marketplace) qui vend ces phrases finement réglées.

PromptBase, la nouvelle marketplace de prompts

PromptBase, lancé en juin 2022, permet aux utilisateurs de vendre des chaînes de mots qui donnent des résultats prévisibles avec des systèmes particuliers.

Au prix de 1,99 $ – PromptBase prend une commission de 20% – le contenu généré par les prompts (invites) va des titres « viraux » aux images de logos d’équipes sportives, de poupées tricotées et d’animaux portant des costumes.

Pour le moment, PromptBase héberge uniquement des invites testées sur DALL-E 2 et GPT-3. Mais selon son fondateur, Ben Stokes, le plan est d’étendre la plate-forme à d’autres systèmes à l’avenir.

Stokes a déclaré à TechCrunch par courrier électronique :

Notre objectif ultime est de créer des outils afin d’aider à soutenir les ingénieurs rapides. Il est encore tôt, alors nous essayons actuellement de passer le mot et de trouver des ingénieurs en prompts à s’inscrire et à commencer à répertorier leurs invites à vendre sur notre marché.

Nous voyons déjà de grandes entreprises technologiques construire leurs propres systèmes similaires à GPT-3 et DALL-E, et je prédis beaucoup d’autres à venir.

Différents systèmes seront probablement utilisés comme des outils dans une ceinture d’outils, de la même manière que les différents langages de programmation sont utilisés aujourd’hui, et nous prévoyons de les accueillir tous à mesure qu’ils gagnent en popularité.

La vente d’invites n’est pas contraire aux conditions d’utilisation d’un fournisseur d’IA, mais elle ouvre potentiellement une boîte de Pandore éthique et juridique en fonction de la nature des prompts vendus. En outre, il révèle la fragilité – et l’imprévisibilité – même des systèmes d’IA les plus performants disponibles aujourd’hui.

Ingénierie en prompt

L’ingénierie en prompt (Prompt engineering) est un concept de l’IA qui cherche à intégrer la description d’une tâche (comme la génération d’art de créatures à fourrure) dans le texte. L’idée est de fournir à un système d’IA des « guidelines » d’IA ou des instructions détaillées afin que, en s’appuyant sur sa connaissance du monde, accomplisse de manière fiable la chose qui lui est demandée.

En général, les résultats d’une invite comme « Film fixe d’une femme buvant du café, marchant vers le travail, téléobjectif » seront beaucoup plus cohérents que « Une femme qui marche ».

Les invites peuvent être utilisées pour apprendre à un système de génération d’images à faire la distinction entre « une image contenant des pommes de terre » et « une collection de pommes de terre », par exemple.

Elles peuvent également agir comme des « filtres », créant des images avec les caractéristiques d’un croquis, d’une peinture, d’une texture, d’une animation ou même d’un illustrateur particulier (par exemple, Maurice Sendak). Et les invites peuvent représenter le même sujet dans différents styles, comme « le dessin d’un enfant d’un koala à vélo » par rapport à « une vieille photographie d’un koala à vélo ».

Les prompts peuvent être assez nuancés. En raison de la façon dont les systèmes d’IA donnent un sens aux modèles dans les images et le texte, tous n’ont pas une structure prévisible – ni même sensée. Par exemple, le prompt « Une très belle peinture d’une montagne à côté d’une cascade » renvoie de moins bons résultats avec DALL-E 2 par rapport à « Une très très très belle peinture d’une montagne à côté d’une cascade ».

La raison ? Le système attache une valeur excessivement élevée au mot « très ».

Il convient de noter que l’exemple « très » est spécifique à une itération particulière de DALL-E 2 et ne fonctionnerait probablement pas sur une autre. Mais c’est l’une des principales raisons pour lesquelles l’ingénierie rapide peut être précieuse : découvrir des cas limites.

Language-conditional models can act a bit like decision transformers, in that you can prompt them with a desired level of “reward”.

E.g., want prettier #dalle creations? “Just ask” by adding “[very]^n beautiful”:

n=0: “A beautiful painting of a mountain next to a waterfall.” pic.twitter.com/vu0NceTxAv

— Phillip Isola (@phillip_isola) June 2, 2022

Les modèles conditionnels à la langue peuvent agir un peu comme des transformateurs de décision, en ce sens que vous pouvez les prompter (inviter) avec un niveau souhaité de « récompense.

Par exemple, vous voulez des créations #dalle plus jolies? « Il suffit de demander » en ajoutant « [très]^n beau »:

n=0 : « Une belle peinture d’une montagne à côté d’une cascade. »

Dans une étude fascinante de l’Université du Texas à Austin, les chercheurs ont documenté un vocabulaire étendu de prompts bizarres qui peuvent être utilisés pour générer des images avec DALL-E 2.

Ils ont découvert que le système comprend « Apoploe vesrreaitais » – une expression charabia – pour signifier « oiseaux » et « Contarra ccetnxniams luryca tanniounons » pour signifier « insectes » ou « parasites » (parfois). En donnant à DALL-E 2 le prompt « Apoploe vesrreaitais mangeant Contarra ccetnxniams luryca tanniounons » a donné des images d’oiseaux mangeant des insectes.

Bien que ces mots absurdes correspondent probablement à une logique interne du système, c’est pourquoi certains scientifiques des données ont comparé les prompts à des « incantations » ou à des « mots magiques » – et pourquoi l’ingénierie rapide a catalysé tout un domaine d’étude universitaire.

Prompts problématiques

Un certain nombre de chercheurs et de passionnés ont publié des ressources gratuites contenant des prompts pour les systèmes d’IA populaires, principalement DALL-E 2.

PromptBase est l’un des premiers à monétiser l’échange – et il a déjà des critiques.

Il y a un débat de longue date au sein de la communauté de l’IA sur la question de savoir quelle recherche, le cas échéant, devrait ou peut être commercialisée. Un utilisateur de Reddit affirme que PromptBase « lance une tendance qui menace l’ouverture et l’accessibilité de l’IA en général .

Mais Stokes défend le modèle, arguant que de nombreux prompts sur PromptBase représentent des heures de travail authentiques et de perspicacité par les ingénieurs :

« Aujourd’hui, nous avons des prompts pour générer du texte et des images de base, mais il n’est pas trop difficile d’extrapoler des années dans le futur où nous aurons des prompts pour générer des vidéos, et peut-être même un jour des longs métrages complets avec des partitions orchestrales.

Les personnes qui peuvent créer les prompts de qualité requis pour guider l’IA à faire ces choses seront extrêmement précieuses. On ne sait pas quelle sera la taille du marché, mais je peux voir cela comme une compétence technologique clé, sinon l’avenir de la programmation.

Bien entendu, rien n’empêche un client PromptBase de publier une invite après l’achat. Mais cela pourrait être le moindre des problèmes de PromptBase.

Des études montrent que les systèmes de langage formés sur de vastes étendues de données publiques, comme GPT-3, peuvent « divulguer » des informations personnelles, y compris des noms et des adresses, lorsqu’ils sont alimentés par certaines invites.

Certaines invites pourraient encourager la violation du droit d’auteur, comme celles demandant à DALL-E 2 de générer des « modèles 3D de Pokémon ».

D’autres pourraient être utilisés pour vaincre les filtres au niveau des mots afin qu’un système de génération d’images produise des images « restreintes », théorisent les chercheurs – comme des images de violence (par exemple, « un cheval couché dans une flaque de liquide rouge »).

Exploring Dall-e 2: A thread on its ability to understand different languages, typos, and some other findings.

Prompts in other languages are somewhat reliable, although less reliable than English, obviously. Sometimes it won’t output what you intended, but this is explainable pic.twitter.com/UZoii1rVNc

— Igor Baikov 💙💛 (@Killa_ru) June 7, 2022

Explorez DALL-E 2: Un fil sur sa capacité à comprendre différentes langues, des fautes de frappe et d’autres résultats.

Les prompts dans d’autres langues sont assez fiables, bien que moins fiables que l’anglais, évidemment. Parfois, il ne produira pas ce que vous vouliez, mais c’est explicable.

Stokes a déclaré que PromptBase examine chaque ajout sur le marketplace pour s’assurer qu’il ne viole aucune « règle de génération d’IA ». Mais si l’entreprise se développe, il pourrait devenir plus difficile de maintenir ce niveau de surveillance.

Vagrant Gautam, linguiste informaticien à l’Université de la Sarre en Allemagne, convient qu’il existe un potentiel d’abus. Cependant, Gautam – qui utilise le pronom xe – note également que le marketplace de prompts pourrait présenter une opportunité de revenus pour les artistes et autres personnes créatives ou compétentes en débogage :

[Cela souligne] l’importance de l’ingénierie rapide, ainsi que l’importance des compétences impliquées dans ce processus – créativité, temps, pensée contradictoire, etc.

Beaucoup de gens ont dit que DALL-E 2 allait leur permettre de générer si facilement des images ou de l’art de ce qu’ils veulent découvrir qu’il y a un art à faire cela et cela demande souvent beaucoup d’essais.

Ces essais peuvent devenir coûteux, étant donné que des systèmes comme DALL-E 2 ne sont pas vraiment gratuits.

Stokes lui-même dit qu’il a payé une « fortune » en essayant de trouver un prompt pour GPT-3 dans une autre de ses entreprises.

Les gens se plaignent maintenant de sa monétisation parce qu’ils disent qu’il y a trop peu d’opportunités de modifier votre invite avant de commencer à payer.

Je trouve cela très intéressant – cette approche contradictoire par essais et erreurs que les gens doivent adopter pour comprendre exactement comment inciter les modèles génératifs à faire ce qu’ils veulent.

Il faudra un certain temps avant que la poussière ne retombe dans l’ingénierie rapide commercialisée. Mais à tout le moins, PromptBase soulèvera – et a déjà soulevé – des problèmes autour des systèmes d’IA qui sont susceptibles de transformer d’innombrables industries.

Conclusion

PromptBase est une idée incroyable et une autre façon de décentraliser davantage la création artistique. Non seulement l’outil est remarquable dans ce qu’il produit, mais il est amusant de créer de cette façon.

Permettre aux gens de canaliser leurs compétences intérieures de « chuchotement de l’IA » élargit l’accès à des méthodes créatives que tout le monde peut utiliser. Tout le monde ne naît pas avec une aptitude pour les compétences artistiques telles que la peinture ou le dessin, mais tout le monde a de l’imagination.

PromptBase offre un excellent moyen pour un public créatif plus large de participer d’une manière très innovante.

L’avenir apportera de nombreuses innovations en matière d’IA pour créer du contenu artistique.

Mis à part l’efficacité qu’une installation comme celle-ci fournirait, la clarté dans la transmission de ce qui n’est souvent contenu que dans l’imagination, serait inestimable pour ceux qui n’ont pas les compétences créatives pratiques pour communiquer leurs pensées visuellement.

Source : Techcrunch