O que é tradução de imagem para imagem?
A tradução de imagem para imagem mapeia uma imagem de entrada para uma saída correspondente em outro domínio visual, preservando aspectos selecionados da estrutura. Exemplos incluem colorização, alteração da iluminação, restauração, transferência de estilo e conversão de mapas.
Como funciona a tradução de imagem para imagem
Um modelo de tradução aprende uma transformação condicional cuja saída permanece vinculada ao conteúdo espacial ou semântico de uma entrada. O treinamento pareado pode supervisionar pixels ou características correspondentes, enquanto o treinamento não pareado depende de restrições no nível das distribuições e de suposições menos fortes sobre a preservação do conteúdo. Na inferência, a decodificação, a normalização, o condicionamento e o escalonamento da saída devem corresponder aos do treinamento. A técnica faz parte de pipelines de edição ou restauração nos quais suas alterações exigem validação específica do domínio.
Informações essenciais
- A consistência de ciclo incentiva o mapeamento de uma amostra traduzida de volta à sua entrada, mas não comprova que a identidade, a geometria ou detalhes raros permaneçam inalterados.
- Exemplos pareados alinhados no nível dos pixels permitem usar perdas de reconstrução diretas; pares com registro incorreto ensinam o modelo a produzir desfoque ou bordas duplicadas porque as coordenadas correspondentes não coincidem.
- Um tradutor estocástico precisa de uma entrada explícita de ruído ou de uma entrada latente para produzir alternativas controladas; caso contrário, o mapeamento aprendido pode colapsar para uma única saída por entrada.
Quando a tradução de imagem para imagem é importante
Escolha dados de treinamento pareados quando houver correspondência exata entre entrada e saída, ou um método não pareado quando não houver. O modelo pode alterar a identidade, a geometria ou detalhes factuais além da mudança de domínio pretendida, exigindo verificações da saída.