Générer des images à partir de consignes textuelles

🤖/image/generate génère des images à partir de consignes textuelles à l’aide de l’IA.

Exemple d’utilisation

Retoucher une image par remplissage génératif en téléversant une image originale et une image de masque, puis en utilisant les deux fichiers dans /image/generate :

{
  "steps": {
    ":original": {
      "robot": "/upload/handle"
    },
    "inpainted": {
      "format": "png",
      "model": "google/nano-banana-pro",
      "prompt": "Replace the masked area with a breaching whale. Keep the rest of the image unchanged.",
      "robot": "/image/generate",
      "use": [
        {
          "as": "image",
          "name": ":original"
        },
        {
          "as": "mask",
          "name": ":original"
        }
      ]
    }
  }
}

Paramètres

interpolate
boolean | Record<string, boolean>
Détermine si les Assembly Variables sont interpolées pour chaque champ d’instruction.

Par défaut, la plupart des champs d’instruction des Robots interpolent les Assembly Variables. Définissez ce paramètre sur false pour traiter tous les champs d’instruction comme du texte littéral, ou définissez le chemin d’un champ individuel sur false pour traiter uniquement ce champ comme du texte littéral. Pour les champs propres à un Robot qui sont littéraux par défaut, définissez ce paramètre sur true ou définissez le chemin de ce champ sur true pour réactiver l’interpolation.

Utilisez des noms de champs tels que path, ou des chemins avec points tels que ffmpeg.vf pour les objets imbriqués.
output_meta
Record<string, boolean> | boolean | Array<string>
Permet de spécifier un ensemble de métadonnées dont le calcul est plus coûteux en puissance CPU et qui sont donc désactivées par défaut afin que le traitement de vos Assemblies reste rapide.

Pour les images, vous pouvez ajouter "has_transparency": true dans cet objet pour déterminer si l’image contient des parties transparentes, et "dominant_colors": true pour extraire de l’image un tableau de codes couleur hexadécimaux.

Pour les images, vous pouvez également ajouter "blurhash": true pour extraire une chaîne BlurHash — une représentation compacte d’un espace réservé pour l’image, utile pour afficher un aperçu flou pendant le chargement de l’image complète.

Pour les images, "thumbhash": true extrait plutôt un ThumbHash encodé en base64 dans meta.thumbhash, accompagné de meta.has_alpha (qui indique si un canal alpha existe, même lorsque l’image est entièrement opaque). Il décrit les pixels orientés selon les données EXIF et utilise la première image des images animées. L’extraction est effectuée au mieux : les images de plus de 40 mégapixels, les formats non pris en charge ou un décodage échoué ou limité ne produisent aucun espace réservé. Une extraction réussie ajoute des frais de métadonnées équivalents à 20 % des octets de ce fichier. Aucun supplément ThumbHash ne s’applique lorsque l’option est désactivée ou lorsqu’aucun hash n’est produit.

Définissez cette option sur le Step qui produit l’image, par exemple /upload/handle pour les originaux téléversés ou /image/resize pour les sorties traitées. La définir uniquement sur /transloadit/store ne déclenche pas l’extraction : le stockage conserve les métadonnées du Step producteur. Transloadit Storage conserve un hash généré avec sa version immuable et le renvoie dans les résultats stockés et lors des lectures natives de ressources. Les téléversements directs vers S3 ne génèrent pas d’espaces réservés. Un espace réservé contient des informations sur l’image : protégez-le donc avec les mêmes contrôles d’accès que l’image complète.

Pour les vidéos, vous pouvez ajouter le paramètre "colorspace": true pour extraire l’espace colorimétrique de la vidéo de sortie.

Pour les vidéos, vous pouvez également ajouter "interlaced": true pour détecter si la vidéo est entrelacée. Cette option combine l’indicateur ffprobe peu coûteux field_order avec une passe d’échantillonnage idet limitée sur les premières images de la source, et expose interlaced, field_order ainsi qu’un objet de diagnostic interlace_detection sous file.meta. Cette opération est coûteuse en calcul et facturée en conséquence.

Pour l’audio, vous pouvez ajouter "mean_volume": true pour obtenir une valeur unique représentant le volume moyen du fichier audio.

Vous pouvez également définir cette option sur false pour ignorer l’extraction des métadonnées et accélérer le transcodage.
user_meta
Record<string, any>(par défaut : {})
Ajoute des métadonnées JSON personnalisées à chaque fichier émis sans modifier son contenu. Les objets et tableaux imbriqués sont pris en charge.

L’héritage dépend du Robot. Les valeurs sont fusionnées avec la valeur user_meta existante du fichier de sortie ; le Step actuel remplace les clés de premier niveau correspondantes. Attribuez explicitement les clés requises lorsqu’un Robot crée de nouvelles sorties.

Dans les Steps de traitement, ${file.*} désigne la première entrée et ${result.*} le fichier émis. Les valeurs sont évaluées pour chaque sortie après l’exécution du Robot, avant l’extraction ultérieure des métadonnées et le stockage temporaire. Sur :original, les valeurs sont évaluées pour chaque téléversement avant l’extraction des métadonnées.

Les Steps en aval lisent ${file.user_meta.key}. Consultez Métadonnées personnalisées pour un exemple complet et les règles d’héritage.
result
boolean(par défaut : false)
Indique si les résultats de ce Step doivent figurer dans l’Assembly Status JSON
queue
batch
Définir la file d’attente sur « batch » abaisse manuellement la priorité des Jobs de ce Step afin d’éviter de consommer des emplacements prioritaires de Jobs pour des Jobs qui n’ont pas besoin d’un temps d’attente nul dans la file
force_accept
boolean(par défaut : false)
Forcer un Robot à accepter un type de fichier qu’il aurait ignoré.

Par défaut, les Robots ignorent les fichiers qu’ils ne connaissent pas. Le Robot 🤖/video/encode, par exemple, ignorera volontiers les images en entrée.

Avec le paramètre force_accept défini sur true, vous pouvez forcer les Robots à accepter tous les fichiers qui leur sont envoyés. Cela entraîne généralement des erreurs et ne doit être utilisé que pour le débogage ou pour traiter des cas limites.
ignore_errors
boolean | Array<meta | execute>(par défaut : [])
Ignore les erreurs pendant certaines phases du traitement.

Si vous définissez cette valeur sur ["meta"], le Robot ignorera les erreurs lors de l’extraction des métadonnées.

Si vous définissez cette valeur sur ["execute"], le Robot ignorera les erreurs lors de la phase d’exécution principale.

Définir cette valeur sur true équivaut à ["meta", "execute"] : les erreurs seront alors ignorées dans les deux phases.
use
string | Array<string> | Array<object> | object
Indique quel(s) Step(s) utiliser comme entrée.

Pour la retouche par remplissage génératif, fournissez à la fois l’image source et le masque via use, généralement ainsi :
```
{
  "use": [
    { "name": ":original", "as": "image" },
    { "name": ":original", "as": "mask" }
  ]
}
```
Bonnes pratiques :
- Étiquetez explicitement les entrées source et masque avec as (ou avec des noms sémantiques de champs d’envoi)
- Concentrez la consigne sur ce qui doit changer dans la zone masquée/transparente
- Laissez le choix du modèle aux valeurs par défaut du Robot, sauf si vous avez un besoin spécifique
model
string
Le modèle d’IA à utiliser. La valeur par défaut est openai/gpt-image-2.5-flare. Les modèles pris en charge incluent flux-1.1-pro-ultra, flux-schnell, recraft-v3, google/nano-banana, google/nano-banana-2, google/nano-banana-pro, openai/gpt-image-2, openai/gpt-image-2.5-flare, openai/gpt-image-2.5-sunburst et stability-ai/stable-diffusion-inpainting. L’alias hérité gpt-image-2 est également accepté pour assurer la rétrocompatibilité.
prompt — obligatoire
string
Consigne décrivant l’image souhaitée. Pour la retouche par remplissage génératif, décrivez ce qui doit apparaître dans la zone masquée/transparente et précisez que le reste doit rester inchangé.
format
jpeg | jpg | png | gif | webp | svg
Format de sortie. Les valeurs par défaut dépendent du modèle : png pour les modèles Google et OpenAI, svg pour recraft-v3, jpeg pour les autres. Les modèles Google renvoient actuellement uniquement du PNG.
seed
string | number
Valeur d’initialisation du générateur de nombres aléatoires. Pour les modèles Google, utilisez un entier de 0 à 2147483647. Chaque sortie incrémente la valeur d’initialisation de 1, la valeur d’initialisation de la dernière sortie doit donc également se situer dans cet intervalle. Une valeur d’initialisation ne garantit pas des images identiques.
aspect_ratio
string
Rapport d’aspect de sortie demandé. Pour les modèles Google, les paramètres width/height peuvent également être utilisés et l’orientation est déduite automatiquement lorsque aspect_ratio est omis.
height
string | number
Hauteur de sortie demandée en pixels (principalement utilisée par les modèles d’image Google et OpenAI).
width
string | number
Largeur de sortie demandée en pixels (principalement utilisée par les modèles d’image Google et OpenAI).
style
string
Style de l’image générée.
num_outputs
string | number
Nombre de variantes de sortie à générer (de 1 à 10).

Démonstrations

Generate stunning images from text using AI (English) 1 avril 2025

Générer des images à partir de consignes textuelles

Exemple d’utilisation

Paramètres

`interpolate`

`output_meta`

`user_meta`

`result`

`queue`

`force_accept`

`ignore_errors`

`use`

`model`

`prompt` — obligatoire

`format`

`seed`

`aspect_ratio`

`height`

`width`

`style`

`num_outputs`

Démonstrations

Générer des images à partir de consignes textuelles

Exemple d’utilisation

Paramètres

interpolate

output_meta

user_meta

result

queue

force_accept

ignore_errors

use

model

prompt — obligatoire

format

seed

aspect_ratio

height

width

style

num_outputs

Démonstrations

Articles de blog associés

`interpolate`

`output_meta`

`user_meta`

`result`

`queue`

`force_accept`

`ignore_errors`

`use`

`model`

`prompt` — obligatoire

`format`

`seed`

`aspect_ratio`

`height`

`width`

`style`

`num_outputs`