Ejercicios de transferencia de estilo – II

Continuando los ejercicios de transferencia de estilo, en esta ocasión colabora @quetu / @toda_aazul con dos de sus trabajos; una ilustración digital y una cianotipia.

Tabla de contenido

La idea de este ejercicio es utilizar como contenido y estilo imágenes que tengan representaciones de lo mismo. En este caso utilicé las montañas. A continuación las cinco imágenes utilizadas en este ejercicio:

Purple mountain

En los siguientes ejercicios utilicé como estilo las ilustraciones 1, 2 y 3 expuestas más arriba. Fue el primer ejercicio donde quise conocer como responde el reconocimiento de contenido tanto en el estilo como en el contenido. Comencé el ejercicio con la ilustración 3, pues es la que tiene mayor contenido de montañas que el resto de las tres.

La configuración fue 1000 iteraciones, peso de contenido 1e3, peso de estilo en 1e-2 y resolución 1024×686. Obtuve el siguiente resultado:

Mientras conversaba con @quetu respecto a los resultados nos llamó la atención la coloración verde de las montañas, pensando en que el contenido es una fotografía analógica en blanco y negro y la paleta de colores de la ilustración 3 (estilo) contiene los siguientes tres colores (extraídos usando TinEye):

52.8%

#efc3f3

RGB: 239, 195, 243

CMYK: 2, 20, 0, 5

46.7%

#caa2dd

RGB: 202, 162, 221

CMYK: 9, 27, 0, 13

0.5%

#6061a3

RGB: 96, 97, 163

CMYK: 41, 40, 0, 36

Suponemos que la IA reconoce las montañas como tal e intenta re-interpretar con una representación específica de montañas verdes. Sin embargo, veremos más abajo que no sucede lo mismo cuando utilizamos otro estilo.

Por otro lado, probé con una configuración diferente, en este caso modificando el peso del contenido desde 1e3 a 1e6 y obtuve el siguiente resultado:

Finalmente, quise aplicar más de un estilo a un contenido pero lamentablemente aún no puedo encontrar el código que me permita hacerlo (creí tenerlo en algún momento). Para acercarme a la idea que tenía lo que hice fue tomar la fotografía en analógica y aplicar el estilo de la ilustración 1 y luego al resultado, aplicar el estilo de la ilustración 2 y a ese resultado aplicar el estilo de la ilustración 3. Un poco de fuerza bruta.

Sería más o menos esto:
Fotografía analógica + ilustración 1 = resultado 1 + ilustración 2 = resultado 2 + ilustración 3 = resultado 3

La sucesión fue la siguiente:

Blue mountain

En este ejercicio tomamos como contenido la misma fotografía analógica de montañas pero con un estilo nuevo y también analógico (bueno, digitalización de la obra): una cianotipia de @quetu. Aquí, la idea era la misma que con las ilustraciones, es decir; hacer coincidir la representación del estilo con el contenido.

En blue mountain quise experimentar con cambios en los pesos de las imágenes. Los pesos representan cuanto de la imagen o estilo habrá en el resultado. Por defecto está configurado de la siguiente forma:

  • Peso de contenido: 1e3.
  • Peso de estilo: 1e-2.

Se hicieron tres pruebas:

  1. Peso de contenido 1e3 + peso de estilo 1e-2 (estándar).
  2. Peso de contenido 2e-3 + peso de estilo 1e-2.
  3. Peso de contenido 1e3 + peso de estilo 2e-3.
Blue mountain – I

En este ejercicio realicé una animación de la secuencia de iteraciones que realiza la IA.

BLue mountain – II

Blue mountain – III

impressionist mountain

Mientras realizaba el procesamiento, en la iteración 100 (o sea el paso 2 de 10) apareció un traspaso de estilo que nos llamó mucho la atención con @quetu por sus semejanzas con una pintura con estilo impresionista:

Purple forest

En este ejercicio volví a tomar la fotografía de «a forest» para aplicar el estilo de la ilustración 1 mostrada más arriba. Bajo los parámetros peso de contenido 1e3 y peso de estilo 1e-2, obtuve:

Me llama la atención como los trazos de la ilustración son traspasados de manera muy similar a como resultó en el ejercicio de Geo Forest.