Évaluer un outil d’AI en 5 filtres, pas seulement à l’image

L’évaluation d’un outil d’AI ne peut pas se limiter à l’image, car un score de préférence prouve seulement qu’une sortie plaît davantage. Il ne prouve pas qu’elle peut entrer dans un flux de devis, de finalisation, d’épreuvage et de production en volume

Une discussion Reddit sur les world models et les tests de préférence indique que Black Forest Labs, société spécialisée dans les modèles génératifs d’image et de vidéo, a présenté les performances de FLUX 3 avec son propre preference test. Les chiffres annoncés face à Runway Gen- sont :

・4.5 préféré à 77 %, face à Luma Ray

・3.2 préféré à 93 %, mais le post critique l’absence de méthode, de taille d’échantillon, de panel d’évaluateurs et de prompt set

preference test : on montre deux sorties A/B à des évaluateurs, qui choisissent la version qu’ils préfèrent. C’est utile pour repérer une tendance esthétique, pas pour déduire une compréhension physique, une stabilité en impression ou un risque commercial

Sur le terrain, en imprimerie, j’ai vu beaucoup de très beaux échantillons. Le problème, c’est quand ils ne tiennent que dans une présentation commerciale. Dès qu’on passe au fond perdu, aux textes chinois, aux couleurs de marque et aux contraintes de façonnage, les problèmes reviennent tous sur la table du prépresse

Pas si vite

Le lien entre world model et achats en imprimerie tient à une règle simple : plus le terme marketing d’un outil d’AI est ambitieux, plus l’acheteur doit le découper en critères de réception reproductibles

world model : système capable de représenter la façon dont les objets changent, interagissent et réagissent à des conditions. Dans l’idéal, il doit pouvoir prédire les conséquences d’une scène. Ce n’est pas la même chose que générer une image agréable à regarder

Les commentaires Reddit pointent très concrètement les manques : un test devrait publier les prompt, seed, model build, sample selection rule et failure rubric. Il devrait aussi vérifier si un objet existe encore après avoir été masqué, si les résultats de collision restent cohérents et si les relations entre objets restent plausibles après un changement d’angle

seed : paramètre qui fixe le point de départ aléatoire pendant la génération. Il sert souvent à réduire les variations entre plusieurs sorties issues du même prompt

Si un même visuel principal de promotion est généré 20 fois et produit 20 scènes de produit qui se contredisent, l’imprimeur se retrouve avec des coûts de retouche sur les SKU, les logos et les matériaux d’emballage modifiés

Si votre équipe commence à intégrer l’image générative dans le prépresse, vous pouvez confier votre SOP existante à l’équipe conseil de MINDS Knowledge Academy pour concevoir d’abord une grille d’évaluation

Pour l’achat d’un outil d’AI en imprimerie, j’utilise 5 filtres afin d’éliminer d’abord les produits qui ne savent faire que des images de démonstration. Ensuite seulement, je décide s’ils peuvent entrer dans le flux de prise de commande

Commencez par les trois filtres d’envoi en impression de MINDS Printing (MS) : ① l’usage est-il valable, ② le fichier est-il exploitable pour la mise en plaques, ③ le coût de retouche est-il rentable. Puis passez aux 5 contrôles

・Esthétique : l’image doit d’abord passer le test humain, mais un A/B preference test de 5 secondes n’est qu’une porte d’entrée, pas une conclusion d’achat

・Contrôlabilité : le même produit, la même couleur de marque et la même structure d’emballage doivent pouvoir être générés à répétition. Le logo et les textes chinois ne doivent pas dériver

・Stabilité : après avoir fixé le prompt et le seed, relancez la génération. Si la composition change à chaque fois pour une même demande, les maquettistes devront boucher les trous au stade de la finalisation

・Couleur et prépresse : le profil ICC (International Color Consortium, profil de description colorimétrique qui permet à l’écran, aux logiciels et aux périphériques de sortie de communiquer avec les mêmes règles de conversion couleur) doit être explicable. La résolution, le fond perdu et l’espace colorimétrique doivent aussi pouvoir entrer dans le contrôle

・Licences et intégration : licence commerciale, réutilisation par le client, conservation des fichiers, API reliée au devis ou au support client. Chaque manque devient un coût d’exploitation

ISO 12647 (norme de l’International Organization for Standardization pour le contrôle des procédés d’impression, utilisée pour vérifier la cohérence des points de trame, des couleurs et des épreuves) rappelle une chose : en imprimerie, on juge un flux validable, pas l’image la plus séduisante à l’écran

La grille d’évaluation doit partir de la commande et remonter en arrière, afin que chaque sortie d’un outil d’AI puisse répondre à ces questions : qui va l’utiliser, où, qui la corrige, et jusqu’à quel niveau avant le passage à l’étape suivante

・prompt : consigner la demande client et ses contraintes, pour que le designer ou le support client puisse relancer le même type de dossier

・seed : fixer le point de départ de la génération, afin de savoir, en cas de refus du fichier, si la demande a changé ou si la sortie a dérivé

・model build : garder la version utilisée, pour éviter qu’un même prompt donne une image différente 3 mois plus tard

・sample selection rule : expliquer clairement pourquoi cette image a été choisie. Pas seulement parce que c’est celle que le patron préfère

・failure rubric : classer comme échecs les fautes de texte, les écarts de couleur de marque, les erreurs de structure produit et les mauvais rapports de mise en page. Même une belle épreuve doit perdre des points

En reliant cette grille au devis et au support client, le commercial sait avant d’accepter le dossier si l’image AI nécessite des frais de finalisation supplémentaires. Le prépresse peut aussi bloquer les fichiers à risque avant l’épreuvage

Pour de l’impression commerciale personnalisée moyen et haut de gamme, vous pouvez faire vérifier les risques de finalisation et d’épreuvage chez MINDS Printing avant de laisser le problème arriver sur machine

・Pour évaluer un outil d’AI, demandez d’abord s’il peut être relancé de façon stable. Ensuite seulement, demandez si l’image est belle

・Un score de préférence sert à juger la première impression. Il ne remplace pas une validation prépresse

・L’achat d’un outil d’AI doit séparer l’esthétique, la contrôlabilité, la stabilité, les licences et l’intégration au flux de travail

・Si plusieurs sorties d’un même prompt ne conservent pas la cohérence du produit et de la marque, le temps gagné sera absorbé par les retouches

Quand une imprimerie adopte un outil d’AI, l’étape suivante n’est pas d’acheter l’abonnement le plus en vue. C’est de tester l’outil sur un vrai bon de commande, avec les équipes commerciales, design, prépresse et support client, pour repérer ensemble les points de refus. Côté design, il faut conserver le prompt et le seed. Côté SaaS, il faut fournir l’historique des versions et le marquage des échecs. Côté imprimerie, il faut raccorder les résultats d’évaluation au devis et aux engagements de délai. Moins de mythe, plus de fichiers refusés examinés

・Discussion Reddit sur les world models et les tests de préférence