Crean un prototipo que usa la visión artificial para la realización audiovisual automática

Investigadores de la Universidad Politécnica de Valencia (UPV) han desarrollado un prototipo experimental que utiliza herramientas innovadores de hardware y software de visión artificial para conseguir una realización audiovisual automatizada.

El prototipo se llama CvCinema y es el resultado de la investigación "Aplicación de las técnicas de visión artificial en realizaciones audiovisuales", que supone una aportación a las investigaciones actuales sobre nuevas estrategias de lenguaje audiovisual propiciadas por las tecnologías de la imagen.

El investigador del grupo Laboratorio de Luz de la UPV, que lleva a cabo el desarrollo del prototipo, David  Sanz, ha explicado que "se trata de los primeros pasos para demostrar que en el futuro será posible hacer cine de forma automática".

Esta aportación es posible gracias al empleo de sistemas innovadores de hardware y software de visión artificial a la hora de buscar nuevos usos de los recursos audiovisuales tanto en la adquisición de las imágenes (encuadre, movimientos..) como en el montaje (encadenados, fundidos, cortes...).

El planteamiento original a la hora de desarrollar un dispositivo experimental que permitiese evaluar el potencial expresivo del uso de herramientas de visión artificial en el campo audiovisual es el de crear nuevos criterios de decisión con respecto al qué y al cómo registrar imágenes y sonidos en un escenario determinado.

Estos nuevos criterios trasladan la tarea de decidir a algoritmos de visión artificial que ya existen en otros campos, como la robótica, la vigilancia o el control de calidad, con el fin de minimizar el nivel de intervención humana en el proceso de realización audiovisual.

"No se trata de sustituir al ser humano sino de buscar alternativas, es decir, resultados a los que un director o realizador no llegarían con su propia creatividad pero a las que sí que podría llegar una máquina o un robot con su peculiar forma de ver", ha asegurado.

Según ha explicado, como se trata de un proyecto experimental, el tipo de audiovisual que surge "no es convencional", por lo que de momento "no hay que esperar una película de cine" sino "un tipo de lenguaje visual que se genera con imágenes fragmentadas y una especie de montaje que recurra al estilo del videoclip".

Ha subrayado el "éxito" que ha tenido en los experimentos que han realizado, la integración del sistema en conciertos en directo, por lo que considera que, además del cine, "una futura aplicación sería la realización automática de videoclips, bien en conciertos en directo o en estudios de televisión".

De hecho, ya ha habido resultados aplicados, como por ejemplo en el corto At one's fingertips, exhibido en 2012 en el Experimental Film Festival Portland y en el Montreal Underground Film Festival o la reciente realización de visuales en directo en los conciertos de Shining Crane y Wayne en diversas salas de espectáculos.

Para crear este dispositivo experimental, los investigadores han utilizado elementos de visión artificial de 2D y 3D, subsistemas "input" de captura de imágenes y alimentan al sistema con materia imágenes del mundo real y elementos de "output", que muestran la materia producida.

Los dispositivos 2D son cámaras de vídeo convencionales, que proporcionan datos bidimensionales del espectro visible captado, organizados en fotogramas consecutivos, cada uno con una resolución o cantidad de píxeles determinada.

Como dispositivo 3D han usado una cámara Kinect, el periférico de una conocida videoconsola, cuyos sensores proporcionan información espacial tridimensional del espacio que cubre su rango de trabajo y corresponden a posiciones en el espacio real de la escena.

Una aplicación concreta, en el caso de el sensor Kinect, es la de analizar la nube de puntos en busca de patrones que se correspondan con la posición de una persona en el espacio y, tras detectar la pose del usuario, permite que éste interactúe con sus propios movimientos en el mundo virtual de un videojuego.

Sanz considera que una vez haya alguna empresa potencialmente interesada en disponer del producto, en el plazo de un año podría estar totalmente desarrollado.