lunedì 8 agosto 2011

Alla scoperta del Kinect : questione di profondità

Nei due precedenti post (link e link) abbiamo fatto conoscenza con “l’aggeggio” kinect e visto come sia possibile, in maniera molto semplice, gestire lo stream video proveniente dalla camera.

In questo post diamo un’occhiata alla capacità che ha il Kinect di fornire frame in cui l’immagine non è la rappresentazione fedele della realtà che ci circonda ma la rappresentazione bidimensionale della distanza degli oggetti dai sensori di profondità.

L’aggeggio, infatti, dispone di un sensore di profondità che è in grado di fornirci la distanza dei punti inquadrati da se stesso e, in più, è in grado di dirci a quale “player” fa riferimento ogni singolo pixel.

Ma andiamo con ordine.

Per abilitare la ricezione del depth stream è necessario:

  1. Istanziare la classe Runtime;
  2. Agganciare il gestore dell’evento DepthFrameReady;
  3. Inizializzare l’istanza della Runtime scegliendo una delle opzioni che abilitano il sensore di profondità;
  4. Aprire lo stream dei dati relativi alla profondità.

A livello di codice (abbiamo già visto nei precedenti post) significa:

  1. Nui = New Runtime
  2. AddHandler Nui.DepthFrameReady, AddressOf DepthFrameHandler
  3. Nui.Initialize(RuntimeOptions.UseDepthAndPlayerIndex)
  4. Nui.DepthStream.Open(ImageStreamType.Depth, 2, ImageResolution.Resolution320x240, ImageType.DepthAndPlayerIndex)

dove Nui è una variabile di tipo Runtime.

Per quanto riguarda le RuntimeOptions, abbiamo la possibilità di scegliere di ricevere i soli dati di profondità (RuntimeOptions.UseDepth) o i dati di profondità e il numero del player (RuntimeOptions.UseDepthAndPlayerIndex).

La differenza tra le due opzioni si manifesta nella differenza della struttura dei dati che ci arrivano all’interno dell’evento DepthFrameReady.

In questo evento, come già visto nei precedenti post, riceviamo l’array dei bytes costuenti l’immagine recuperata dai sensori del Kinect.

L’array è contenuto nella proprietà Image (di tipo PlanarImage) dell’istanza di ImageFrame contenuta all’interno dell’argomento dell’evento DepthFrameReady:

image

Per le immagini fornite dal sensore di profondità, ogni pixel è descritto da 2 Bytes (totale 16 bits), la struttura dei quali cambia in base al fatto che stiamo chiedendo il player index o meno.

In entrambi i casi, l’array contiene la distanza (in mm) per ogni punto dell’immagine, e questa varia da un minimo di 800/850 mm ad un massimo di circa 4000 mm. Se “l’aggeggio” non riesce a recuperare la distanza (ad esempio per una fonte di luce forte alle spalle del soggetto inquadrato) la profondità restituita sarà 0.

La dimensione dell’array è, quindi, pari al prodotto delle dimensioni dell’immagine (ad esempio 320x240) per 2 ed è strutturato per righe a partire dall’angolo in alto a sinistra.

Se stiamo utilizzando RuntimeOptions.UseDepth, i due bytes contengono esattamente la distanza (espressa in mm) dal sensore) con il primo byte che contiene la parte meno significativa, mentre il secondo la più significativa:

Bytes senza player index

In questo caso, dati i due bytes dell’array, la distanza è calcolabile nel seguente modo:

  1. depth = CLng(frame.Image.Bits(arrayIndex)) + (CLng(frame.Image.Bits(arrayIndex + 1)) << 8)

La conversione a CLng è opportuna in quanto l’operazione di shift (<<) farebbe perdere i bit più significativi.

Se stiamo utilizzando RuntimeOptions.UseDepthAndPlayerIndex, invece, i primi tre bit del byte meno significativo (il primo dei due) sono utilizzati per contenere l’indice del player a cui fa riferimento il dato di profondità (se non c’è un player o Kinect non ha agganciato un player abbiamo il valore 0):

Bytes con player index

In questo caso la distanza si calcola nel seguente modo:

  1. depth = (CLng(frame.Image.Bits(arrayIndex)) >> 3) + (CLng(frame.Image.Bits(arrayIndex + 1)) << 5)

Per fare un esempio concreto, supponiamo di voler calcolare la distanza e il player index del punto (160,120) dell’immagine.

In questo caso i due bytes interessati sono il 160*320+120=51320 e 51321:

Esempio con player index

Nell’esempio abbiamo come player index il valore 2 (010 binario) mentre la profondità è 2009 (0011111011001 in binario).

Nella solution che allego al post è presente un semplice programma che ci consente di selezionare, tramite il mouse, un punto sull’immagine (identificato da un pallino giallo) e di avere in tempo reale le informazioni di player index e profondità:

SNAGHTML1c545cf




5 commenti:

stefacc ha detto...

salve a tutti
anch'io sto provando ad utilizzare il kinect, sono riuscito sia a fare lo skeleton viewer che il depthstream... ma appena provo ad unire le due cose il programma o non parte o si blocca a sbalzi tipo 5 sec funziona e poi altri 5 si blocca e così via qualcuno mi può aiutare? uso C# non VB
grazie a chi rispondere... ottimo sito

Max ha detto...

Sei sicuro di avere un pc con i requisiti minimi hardware?
Quello che potresti fare è non utilizzare gli eventi ma utilizzare una tecnica di polling accedendo direttamente agli stream provenienti dal device. Per maggiori info guarda questo post http://codetailor.blogspot.com/2011/09/alla-scoperta-del-kinect-utilizzo-del.html. Avrai un FPS minore, ma probabilmente riuscirai a gestire meglio la situazione.

stefacc ha detto...

si effettivamente non ho un super computer ma più che altro sembra che i due eventi generati (quello depth e quello skeleton) si alternino a loro piacere e comincio a perdere le speranze

Max ha detto...

Gli eventi DepthFrameReady e SkeletonFrameReady vengono generati nel momento in cui i rispettivi frame sono pronti, per questo non è assolutamente detto che siano sincronizzati (e, di fatto, non lo sono). Se gestisci tu il prelievo dei frame dagli stream con il polling puoi, bene o male, ottenere i frame in contemporanea (anche se non è certo che siano sincronizzati).

stefacc ha detto...

effettivamente appena accedo al kinect la cpu si ferma a quota 100% ma con il GetNextFrame riesco a sopperire alla mancanza di potenza del mio pc.
Grazie mille