«a forest» explicado – Parte I

La publicación «a forest» es una colaboración realizada con inteligencia artificial, particularmente con machine learning y deep learning. Surge como primer ejercicio frente a la inquietud de poder realizar un trabajo en conjunto, posterior al primer ensamblaje código-humane.

En esta primera parte se describirá el proceso realizado para obtener los resultados visuales de «a forest». En la segunda parte abordaré los resultados textuales.

En «a forest» tomé una fotografía analógica digitalizada, que fue disparada por una cámara Zenit 122 y un lente Helios-44 58mm ƒ/2 en el rollo fotográfico Ilford HP5+. De ese entramado resultó una fotografía en blanco y negro de tamaño 1840×1232, como se muestra a continuación:

Fotografía analógica original en sus dimensiones 1840×1232.

Primer paso: super resolución con DCSCN

Lo primero que realicé fue mejorar el soporte inicial que utilizaría, necesitando más resolución de la imagen pero sin perder calidad y mejorar la nitidez. Para eso, utilicé el proyecto DCSCN basado en el «Fast and Accurate Image Super Resolution by Deep CNN» 1 . El resultado de esta operación fue el siguiente:

Fotografía mejorada, aumentando su resolución a 3200×2140 y mejorando la nitidez y sin pérdida de detalles.

segundo paso: colorear con ImageCOlorizer

Sin duda el momento más esperado en esta experimentación era colorizar la imagen en blanco y negro. Para eso utilicé ImageColorizer/DeOldify, proyecto basado en deep learning utilizando Self-Attention Generative Adversarial Network 2 , Two Time-Scale Update Rule 3  y NoGAN 4 . El resultado fue el siguiente:

Imagen colorizada por DeOldify en resolución 1840×1232.

En este momento cometí el error de colorizar la imagen inicial, no la mejorada en blanco y negro. Sin embargo, volví a utilizar DCSCN para ahora mejorar la imagen colorizada, quedando lo siguiente:

Imagen colorizada por DeOldify y mejorada con DCSCN a resolución 3200×2140.

tercer paso: nueva composición con deepdream

En este momento comencé a trabajar con la imagen con color, queriendo aplicar la librería DeepDream 5 , que exagera características y también en ese proceso elabora algunos elementos en la imagen, tomando como referencia el entrenamiento que ha recibido el código. Resultó lo siguiente, muy peculiar:

Imagen colorizada trabajada con DeepDream, resultando un archivo de 800×535.

Sin embargo, a propósito de las re-composiciones que realiza DeepDream, bajó la calidad de la imagen, por lo que tuve que volver a usar DCSCN, quedando lo siguiente:

El resultado de DeepDream trabajado con DCSCN, quedando un archivo de 3200×2140.

Referencias[+]