¿Cómo podría combinar el aprendizaje automático y el arte y cómo hacer que la investigación académica tenga un gusto estético?

Un excelente ejemplo de esto es “Reconocimiento de estilo de imagen” [1].

En este artículo, los autores entrenan arquitecturas de CNN para reconocer:

1) El género artístico de una pintura: barroco, rococó, cubismo, etc.
2) El estilo de una imagen: Vintage, Romántica, Exposición larga-corta, etc.


Puede encontrar los detalles de cómo entrenaron a las CNN (en realidad no entrenan a las CNN desde cero, sino que simplemente ajustan la última capa, también conocida como transferencia de aprendizaje) aquí: Ajuste para el reconocimiento de estilos


Otro ejemplo sería entrenar computadoras para describir imágenes en términos de estética literaria [2]. Este campo se conoce como subtítulos / descripción automática de imágenes, y recientemente las computadoras solo describen imágenes en términos de lo que es obvio: hay una con gafas esquiando en la nieve. En este trabajo, preguntan: ¿podemos hacer que las computadoras hablen como un intelectual para una imagen?

Figura.2 Título generado por computadora: más tarde, el octavo día, Billy era amigo de un hombre que vivía solo. No sabía a qué distancia estaban, y si iba a sobrevivir a la caída. Su mente se aceleró, tratando de no mostrar signos de debilidad. El viento revolvió la nieve y el hielo en la nieve. No tenía idea de cuántas veces iba a subir a las montañas. Me dijo que me quedara en el suelo por un tiempo, pero si descubro lo que está pasando, deberíamos ir a pie. Sam y Si Lei se unieron a nosotros en el ejército.

[1] Karayev, Sergey y col. [1311.3715] Reconocimiento del estilo de imagen
[2] Página en toronto.edu

Hay muchas aplicaciones geniales de aprendizaje automático en gráficos. Estos papeles producen mucho arte CS genial, y los papeles son muy agradables a la vista.

Recientemente escribí una publicación de blog sobre algunas aplicaciones gráficas geniales de aprendizaje automático, podría darle algunas ideas sobre cómo realizar una ciencia estéticamente agradable.

http://quantombone.blogspot.com/

Puede investigar sobre algunos de los problemas de visión por computadora (que dependen en gran medida del aprendizaje automático). Por ejemplo, ¿construir modelos computacionales para evaluar la belleza de una imagen o un video? En esta línea de investigación, las características están diseñadas en base al arte y los humanos, por ejemplo, ¿qué hace que una imagen sea hermosa para los humanos? (Armonía de color, balance de blancos, …) y existen formas y algoritmos en la visión por computadora para extraer las características correspondientes. Luego puede construir modelos utilizando algoritmos de aprendizaje automático o diseñar nuevas técnicas para hacerlo. Si está interesado, puede echar un vistazo a este documento:

Hacia un modelo computacional integral para la evaluación estética de videos ( http://dl.acm.org/citation.cfm?i …)

En este documento, el problema se da 1000 videos, ¿cómo puede una computadora clasificarlos en función de su belleza de 1 a 1000. Han estudiado los factores que son importantes para evaluar la belleza de un video. Han considerado la nitidez de los cuadros, la sensibilidad del ojo humano en diferentes colores, el movimiento del sujeto en el video, … Luego, sus modelos se han inclinado y combinado estas características utilizando modelos de aprendizaje automático. La salida de sus modelos es una lista clasificada de videos basados ​​en belleza.

Mira algunas investigaciones en Rutegrs.
Laboratorio de Humanidades Digitales en Rutgers