Saltar apartados
  • UA
  • i3a
  • Reconstrucción de escenas e integración en un sistema de realidad aumentada

Reconstrucción de escenas e integración en un sistema de realidad aumentada

Reconstrucción de escenas e integración de información visual 3D en un sistema de realidad aumentada

Introducción

La Realidad Aumentada es un área de interés creciente dado el gran número de aplicaciones potenciales. El reto principal consiste en ampliar la información que nos ofrece el mundo real con objetos virtuales y datos que coexistan en el mismo espacio y nos permitan mejorar la percepción que el usuario tiene de su entorno. Partimos de la hipótesis de que los sistemas visuales artificiales y, en particular, aquellos basados en visión estereoscópica o 3D pueden ayudarnos de manera importante a reconstruir la escena, detectar los objetos que en ella se encuentran, con el objetivo de etiquetar la realidad, añadir información de su estructura, disposición, color o identificación, e introducir objetos virtuales. De hecho, la visión estereoscópica es uno de los mecanismos que utilizan los seres vivos para calcular distancias a los objetos, evitar obstáculos, identificar elementos, etc.

Los resultados alcanzados por nuestro grupo de investigación en visión estéreo y Realidad Aumentada y otros trabajos de numerosos investigadores nos permiten suponer que a partir de los mapas de disparidad es posible obtener la reconstrucción de un entorno y utilizarlo en un sistema de Realidad Aumentada.

En definitiva nos planteamos tomar como punto de partida del proyecto los mapas de disparidad obtenidos de un sistema de visión estéreo y aprovechar la información sobre profundidad que nos proporcionan para reconstruir la escena y añadir objetos e información virtual a la imagen real en el sistema de Realidad Aumentada. La posibilidad de visualizar estas imágenes en un casco 3D de realidad virtual, mejoraría la inmersión y las posibilidades de control del sistema.

Objetivos

1. Construcción de un mapa de profundidades a partir del mapa de disparidad proveniente del sistema de visión estereoscópica. De esta manera, resulta más sencillo utilizar la información de profundidades en los pasos sucesivos.

2. Reconstrucción 3D del entorno a partir del mapa de profundidades, aplicando un esquema de enumeración de la ocupación espacial. La reconstrucción de entornos a partir de imágenes tiene amplio interés, no sólo para su incorporación en un sistema de realidad aumentada, sino también para telecontrol de robots y otras máquinas, para inspección de entornos desconocidos a los que no se pueda acceder, detección de la posición de objetos y su seguimiento (traking), etc.

3. Corrección de la reconstrucción aplicando los conceptos de la geometría perspectiva, coherencia espacial y otras restricciones geométricas. La corrección es necesaria ya que al proyectar las imágenes en la cámara, se pierde una dimensión y se introduce una transformación perspectiva que produce cambios en las relaciones geométricas de los objetos.

4. Integración de la información 3D en un sistema de realidad aumentada. Se pretende que el usuario tenga una imagen tridimensional (gracias al uso de cascos HMD) y que esta imagen se encuentre complementada con información sobre posición, orientación y distancias de los elementos de la escena.

5. Generación de objetos virtuales e inclusión en la imagen real, resolviendo el problema de la alineación de los elementos reales y virtuales.

Metodología

Partiendo de los mapas de disparidad que generan los sistemas de visión 3D de que disponemos planteamos la obtención del mapa de profundidad asociado. El mapa de profundidad nos permitirá utilizar técnicas de enumeración de la ocupación del espacio, en concreto, matrices de vóxeles como aproximación para reconstruir la forma tridimensional de un objeto a partir de vistas múltiples. En esta aproximación la escena se construiría etiquetando cada vóxel con un valor binario que determina si pertenece o no a un objeto de la escena.

Será necesario también definir transformaciones que corrijan los efectos de la proyección perspectiva de las imágenes originales.

El proceso que proponemos es, de forma esquemática:

esquema reconstrucción

Una vez reconstruida la escena, proponemos utilizar esta reconstrucción junto con el mapa de profundidades para incorporar información a un sistema de Realidad Aumentada. Al disponer de Cascos de Realidad Virtual nos planteamos capturar la imagen de la cámara, incorporar la información y los objetos virtuales añadidos, y visualizarla en los cascos.

Publicaciones

 

Informática Industrial e Inteligencia Artificial (i3a)


Universidad de Alicante
Dpto.Ciencia de la Computación e Inteligencia Artificial
Grupo Informática Industrial e Inteligencia Artificial

Carretera San Vicente s/n
03690 San Vicente del Raspeig
Alicante (Spain)

Tel: (+34) 96 590 3400

Fax: (+34) 96 590 3464

Para más información: informacio@ua.es, y para temas relacionados con este servidor Web: webmaster@ua.es

Carretera San Vicente del Raspeig s/n - 03690 San Vicente del Raspeig - Alicante - Tel. 96 590 3400 - Fax 96 590 3464