Saltar apartados
  • UA
  • i3a
  • Reconstrucció d'escenes i integració en un sistema de realitat augmentada

Reconstrucció d'escenes i integració en un sistema de realitat augmentada

Reconstrucció d'escenes i integració d'informació visual 3D en un sistema de realitat augmentada

Introducció

La Realitat Augmentada és un àrea d'interès creixent donat el gran nombre d'aplicacions potencials. El repte principal consisteix a ampliar la informació que ens ofereix el món real amb objectes virtuals i dades que coexistisquen en el mateix espai i ens permeten millorar la percepció que l'usuari té del seu entorn. Partim de la hipòtesi que els sistemes visuals artificials i, en particular, aquells basats en visió estereoscópica o 3D poden ajudar-nos de manera important a reconstruir l'escena, detectar els objectes que en ella es troben, amb l'objectiu d'etiquetar la realitat, afegir informació de la seua estructura, disposició, color o identificació, i introduir objectes virtuals. De fet, la visió estereoscópica és un dels mecanismes que utilitzen els éssers vius per a calcular distàncies als objectes, evitar obstacles, identificar elements, etc.

Els resultats aconseguits pel nostre grup de recerca en visió estèreo i Realitat Augmentada i altres treballs de nombrosos investigadors ens permeten suposar que a partir dels mapes de disparitat és possible obtenir la reconstrucció d'un entorn i utilitzar-ho en un sistema de Realitat Augmentada.

En definitiva ens plantegem prendre com a punt de partida del projecte els mapes de disparitat obtinguts d'un sistema de visió estèreo i aprofitar la informació sobre profunditat que ens proporcionen per a reconstruir l'escena i afegir objectes i informació virtual a la imatge real en el sistema de Realitat Augmentada. La possibilitat de visualitzar aquestes imatges en un casc 3D de realitat virtual, milloraria la immersió i les possibilitats de control del sistema.

Objectius

1. Construcció d'un mapa de profunditats a partir del mapa de disparitat provinent del sistema de visió estereoscópica. D'aquesta manera, resulta més senzill utilitzar la informació de profunditats en els passos successius.

2. Reconstrucció 3D de l'entorn de partir del mapa de profunditats, aplicant un esquema d'enumeració de l'ocupació espacial. La reconstrucció d'entorns a partir d'imatges té ampli interès, no solament per a la seua incorporació en un sistema de realitat augmentada, sinó també per a telecontrol de robots i altres màquines, per a inspecció d'entorns desconeguts als quals no es puga accedir, detecció de la posició d'objectes i el seu seguiment (traking), etc.

3. Correcció de la reconstrucció aplicant els conceptes de la geometria perspectiva, coherència espacial i altres restriccions geomètriques. La correcció és necessària ja que en projectar les imatges en la càmera, es perd una dimensió i s'introdueix una transformació perspectiva que produeix canvis en les relacions geomètriques dels objectes.

4. Integració de la informació 3D en un sistema de realitat augmentada. Es pretén que l'usuari tinga una imatge tridimensional (gràcies a l'ús de cascos HMD) i que aquesta imatge es trobe complementada amb informació sobre posició, orientació i distàncies dels elements de l'escena.

5. Generació d'objectes virtuals i inclusió en la imatge real, resolent el problema de l'alineació dels elements reals i virtuals.

Metodologia

Partint dels mapes de disparitat que generen els sistemes de visió 3D que disposem plantegem l'obtenció del mapa de profunditat associat. El mapa de profunditat ens permetrà utilitzar tècniques d'enumeració de l'ocupació de l'espai, en concret, matrius de vòxels com a aproximació per a reconstruir la forma tridimensional d'un objecte a partir de vistes múltiples. En aquesta aproximació l'escena es construiria etiquetant cada vòxel amb un valor binari que determina si pertany o no a un objecte de l'escena.

Serà necessari també definir transformacions que corregisquen els efectes de la projecció perspectiva de les imatges originals.

El procés que proposem és, de forma esquemàtica:

esquema reconstrucció

Una vegada reconstruïda l'escena, proposem utilitzar aquesta reconstrucció juntament amb el mapa de profunditats per a incorporar informació a un sistema de Realitat Augmentada. En disposar de Cascos de Realitat Virtual ens plantegem capturar la imatge de la càmera, incorporar la informació i els objectes virtuals afegits, i visualitzar-la en els cascos.

Publicacions

 

Informàtica Industrial i Intel·ligència Artificial (i3a)


Universitat d'Alacant
Dpto. Ciència de la Computació i Intel·ligència Artificial
Grup Informàtica Industrial i Intel·ligència Artificial

Carretera Sant Vicent s/n
03690 Sant Vicent del Raspeig
Alacant (Spain)

Tel: (+34) 96 590 3400

Fax: (+34) 96 590 3464

Per a més informació: informacio@ua.es, i per a temes relacionats amb aquest servidor web: webmaster@ua.es

Carretera de Sant Vicent del Raspeig, s/n - 03690 Sant Vicent del Raspeig - Alacant - Tel.: 96 590 3400 - Fax: 96 590 3464