Qu’est-ce que la traduction d’image à image ?
La traduction d’image à image transforme une image d’entrée en une sortie correspondante dans un autre domaine visuel, tout en conservant certains éléments structurels. Elle comprend notamment la colorisation, le rééclairage, la restauration, le transfert de style et la conversion de cartes.
Fonctionnement de la traduction d’image à image
Un modèle de traduction apprend une transformation conditionnelle dont la sortie reste liée au contenu spatial ou sémantique d’une entrée. L’entraînement apparié peut superviser les pixels ou les caractéristiques correspondants, tandis que l’entraînement non apparié repose sur des contraintes au niveau des distributions et sur des hypothèses moins fortes concernant la préservation du contenu. Lors de l’inférence, le décodage, la normalisation, le conditionnement et la mise à l’échelle de la sortie doivent correspondre à ceux de l’entraînement. Cette technique s’insère dans des chaînes de retouche ou de restauration où ses modifications nécessitent une validation propre au domaine.
Points clés
- La cohérence cyclique encourage le retour d’un échantillon traduit vers son entrée, mais elle ne prouve pas que l’identité, la géométrie ou les détails rares restent inchangés.
- Les exemples appariés et alignés au pixel près permettent d’utiliser directement des fonctions de perte de reconstruction ; les paires mal recalées font apprendre du flou ou des contours dédoublés, car les coordonnées correspondantes ne concordent pas.
- Un modèle de traduction stochastique a besoin d’une entrée explicite de bruit ou d’une entrée latente pour produire des variantes contrôlées ; sinon, la correspondance apprise peut se réduire à une seule sortie par entrée.
Quand la traduction d’image à image est importante
Choisissez des données d’entraînement appariées lorsqu’une correspondance exacte entre entrée et sortie est disponible, ou une méthode non appariée dans le cas contraire. Le modèle peut altérer l’identité, la géométrie ou des détails factuels au-delà du changement de domaine prévu, ce qui nécessite des vérifications de la sortie.