Passa ai contenuti principali

Alla scoperta del Kinect : questione di profondità

Nei due precedenti post (link e link) abbiamo fatto conoscenza con “l’aggeggio” kinect e visto come sia possibile, in maniera molto semplice, gestire lo stream video proveniente dalla camera.

In questo post diamo un’occhiata alla capacità che ha il Kinect di fornire frame in cui l’immagine non è la rappresentazione fedele della realtà che ci circonda ma la rappresentazione bidimensionale della distanza degli oggetti dai sensori di profondità.

L’aggeggio, infatti, dispone di un sensore di profondità che è in grado di fornirci la distanza dei punti inquadrati da se stesso e, in più, è in grado di dirci a quale “player” fa riferimento ogni singolo pixel.

Ma andiamo con ordine.

Per abilitare la ricezione del depth stream è necessario:

  1. Istanziare la classe Runtime;
  2. Agganciare il gestore dell’evento DepthFrameReady;
  3. Inizializzare l’istanza della Runtime scegliendo una delle opzioni che abilitano il sensore di profondità;
  4. Aprire lo stream dei dati relativi alla profondità.

A livello di codice (abbiamo già visto nei precedenti post) significa:

  1. Nui = New Runtime
  2. AddHandler Nui.DepthFrameReady, AddressOf DepthFrameHandler
  3. Nui.Initialize(RuntimeOptions.UseDepthAndPlayerIndex)
  4. Nui.DepthStream.Open(ImageStreamType.Depth, 2, ImageResolution.Resolution320x240, ImageType.DepthAndPlayerIndex)

dove Nui è una variabile di tipo Runtime.

Per quanto riguarda le RuntimeOptions, abbiamo la possibilità di scegliere di ricevere i soli dati di profondità (RuntimeOptions.UseDepth) o i dati di profondità e il numero del player (RuntimeOptions.UseDepthAndPlayerIndex).

La differenza tra le due opzioni si manifesta nella differenza della struttura dei dati che ci arrivano all’interno dell’evento DepthFrameReady.

In questo evento, come già visto nei precedenti post, riceviamo l’array dei bytes costuenti l’immagine recuperata dai sensori del Kinect.

L’array è contenuto nella proprietà Image (di tipo PlanarImage) dell’istanza di ImageFrame contenuta all’interno dell’argomento dell’evento DepthFrameReady:

image

Per le immagini fornite dal sensore di profondità, ogni pixel è descritto da 2 Bytes (totale 16 bits), la struttura dei quali cambia in base al fatto che stiamo chiedendo il player index o meno.

In entrambi i casi, l’array contiene la distanza (in mm) per ogni punto dell’immagine, e questa varia da un minimo di 800/850 mm ad un massimo di circa 4000 mm. Se “l’aggeggio” non riesce a recuperare la distanza (ad esempio per una fonte di luce forte alle spalle del soggetto inquadrato) la profondità restituita sarà 0.

La dimensione dell’array è, quindi, pari al prodotto delle dimensioni dell’immagine (ad esempio 320x240) per 2 ed è strutturato per righe a partire dall’angolo in alto a sinistra.

Se stiamo utilizzando RuntimeOptions.UseDepth, i due bytes contengono esattamente la distanza (espressa in mm) dal sensore) con il primo byte che contiene la parte meno significativa, mentre il secondo la più significativa:

Bytes senza player index

In questo caso, dati i due bytes dell’array, la distanza è calcolabile nel seguente modo:

  1. depth = CLng(frame.Image.Bits(arrayIndex)) + (CLng(frame.Image.Bits(arrayIndex + 1)) << 8)

La conversione a CLng è opportuna in quanto l’operazione di shift (<<) farebbe perdere i bit più significativi.

Se stiamo utilizzando RuntimeOptions.UseDepthAndPlayerIndex, invece, i primi tre bit del byte meno significativo (il primo dei due) sono utilizzati per contenere l’indice del player a cui fa riferimento il dato di profondità (se non c’è un player o Kinect non ha agganciato un player abbiamo il valore 0):

Bytes con player index

In questo caso la distanza si calcola nel seguente modo:

  1. depth = (CLng(frame.Image.Bits(arrayIndex)) >> 3) + (CLng(frame.Image.Bits(arrayIndex + 1)) << 5)

Per fare un esempio concreto, supponiamo di voler calcolare la distanza e il player index del punto (160,120) dell’immagine.

In questo caso i due bytes interessati sono il 160*320+120=51320 e 51321:

Esempio con player index

Nell’esempio abbiamo come player index il valore 2 (010 binario) mentre la profondità è 2009 (0011111011001 in binario).

Nella solution che allego al post è presente un semplice programma che ci consente di selezionare, tramite il mouse, un punto sull’immagine (identificato da un pallino giallo) e di avere in tempo reale le informazioni di player index e profondità:

SNAGHTML1c545cf




Commenti

stefacc ha detto…
salve a tutti
anch'io sto provando ad utilizzare il kinect, sono riuscito sia a fare lo skeleton viewer che il depthstream... ma appena provo ad unire le due cose il programma o non parte o si blocca a sbalzi tipo 5 sec funziona e poi altri 5 si blocca e così via qualcuno mi può aiutare? uso C# non VB
grazie a chi rispondere... ottimo sito
Max ha detto…
Sei sicuro di avere un pc con i requisiti minimi hardware?
Quello che potresti fare è non utilizzare gli eventi ma utilizzare una tecnica di polling accedendo direttamente agli stream provenienti dal device. Per maggiori info guarda questo post http://codetailor.blogspot.com/2011/09/alla-scoperta-del-kinect-utilizzo-del.html. Avrai un FPS minore, ma probabilmente riuscirai a gestire meglio la situazione.
stefacc ha detto…
si effettivamente non ho un super computer ma più che altro sembra che i due eventi generati (quello depth e quello skeleton) si alternino a loro piacere e comincio a perdere le speranze
Max ha detto…
Gli eventi DepthFrameReady e SkeletonFrameReady vengono generati nel momento in cui i rispettivi frame sono pronti, per questo non è assolutamente detto che siano sincronizzati (e, di fatto, non lo sono). Se gestisci tu il prelievo dei frame dagli stream con il polling puoi, bene o male, ottenere i frame in contemporanea (anche se non è certo che siano sincronizzati).
stefacc ha detto…
effettivamente appena accedo al kinect la cpu si ferma a quota 100% ma con il GetNextFrame riesco a sopperire alla mancanza di potenza del mio pc.
Grazie mille

Post popolari in questo blog

MVP Reconnect …… ovvero quando entri nella “famigghia” resti sempre nella “famigghia”!!!

Ma di che “famigghia” stiamo parlando!!!!

Fermi tutti, non si tratta di robe strane o sette segrete o affari malavitosi….stiamo parlando della grande famiglia dei Microsoft MVP.

Per chi non sapesse cosa sono i Microsoft MVP, vi consiglio di fare un giro sul sito ufficiale del programma (link), ma, volendolo spiegare in pochisime parole, si tratta di un riconoscimento che Microsoft da a persone che si distinguono per il loro impegno, aiutando gli altri ad ottenere il massimo grazie alle tecnologie Microsoft. Si tratta di persone, non dipendenti Microsoft, che mettono la loro passione, il loro tempo, la loro buona volontà per la divulgazione e la condivisione della conoscenza. Non necessariamente (come qualcuno erroneamente sostiene, evidentemente non conoscendo le basi del programma) si tratta di professionisti nel termine letterale del termine ma si tratta comunque di un gruppo di persone che sacrifica un pò del suo tempo (e, a volte, vi assicuro neanche pò!!!) per la sua passione.

Pe…

Nuova versione del Band SDK

E’ di ieri l’annuncio del rilascio della nuova versione dell’SDK per il Microsoft Band.
Si tratta della versione 1.3.10417 (la precedente e, prima della serie, era la 1.3.10219 preview).
Maggiori informazioni, download dell’SDK per le tre piattaforme Windows Phone, iOS e Android all’indirizzo http://developer.microsoftband.com/.
Allo stesso indirizzo potrete trovare anche la documentazione.
Nei mesi scorsi mi sono gia’ occupato della precedente versione e questi sono i post che ne parlano:
Microsoft Band SDK Preview - First LookMicrosoft Band SDK Preview - ”Hello Band”Microsoft Band SDK Preview - Accesso ai sensoriMicrosoft Band SDK Preview - TileMicrosoft Band SDK Preview - NotificheMicrosoft Band SDK Preview - Personalizzazione
Gli argomenti trattati e il codice proposto dovrebbe, ad una prima lettura delle nuove funzionalita’ inserite, essere ancora valido e funzionante ma nei prossimi giorni prendero’ in esame tutti gli argomenti dei precedenti post e vedremo cosa cambia e cosa e’ …

Template di progetto per sviluppare applicazioni WPF con Intel® RealSense™

E’ disponibile, nella gallery di Visual Studio, la prima versione del mio template di progetto per applicazioni WPF scritte in C# che permette di realizzare applicazioni con l’SDK di Intel® RealSense™.Il template si può scaricare direttamente all’interno Visual Studio utilizzando il tool “Extensions and Updates”oppure all’indirizzo https://visualstudiogallery.msdn.microsoft.com/1c36ecfd-8c00-4aee-b20c-a1726ab6424dIl template esegue le seguenti operazioni per voi:Aggiunge la reference all’assembly libpxcclr.cs.dll (nelle due distinte versioni per x86 e x64);Aggiunge lo script di post build per copiare la libreria libpxccpp2c.dll dalla cartella dell’SDK alla cartella bin del vostro progetto.Una volta creato il progetto dovete rimuovere la configurazione di compilazione AnyCPU (che non ha più senso) dalla vostra solution e sarete pronti per sviluppare con Intel® RealSense™.Ovviamente dovete installare l’SDK che potete scaricare all’indirizzo https://software.intel.com/en-us/intel-realsen…