Passa ai contenuti principali

Alla scoperta del Kinect : questione di profondità

Nei due precedenti post (link e link) abbiamo fatto conoscenza con “l’aggeggio” kinect e visto come sia possibile, in maniera molto semplice, gestire lo stream video proveniente dalla camera.

In questo post diamo un’occhiata alla capacità che ha il Kinect di fornire frame in cui l’immagine non è la rappresentazione fedele della realtà che ci circonda ma la rappresentazione bidimensionale della distanza degli oggetti dai sensori di profondità.

L’aggeggio, infatti, dispone di un sensore di profondità che è in grado di fornirci la distanza dei punti inquadrati da se stesso e, in più, è in grado di dirci a quale “player” fa riferimento ogni singolo pixel.

Ma andiamo con ordine.

Per abilitare la ricezione del depth stream è necessario:

  1. Istanziare la classe Runtime;
  2. Agganciare il gestore dell’evento DepthFrameReady;
  3. Inizializzare l’istanza della Runtime scegliendo una delle opzioni che abilitano il sensore di profondità;
  4. Aprire lo stream dei dati relativi alla profondità.

A livello di codice (abbiamo già visto nei precedenti post) significa:

  1. Nui = New Runtime
  2. AddHandler Nui.DepthFrameReady, AddressOf DepthFrameHandler
  3. Nui.Initialize(RuntimeOptions.UseDepthAndPlayerIndex)
  4. Nui.DepthStream.Open(ImageStreamType.Depth, 2, ImageResolution.Resolution320x240, ImageType.DepthAndPlayerIndex)

dove Nui è una variabile di tipo Runtime.

Per quanto riguarda le RuntimeOptions, abbiamo la possibilità di scegliere di ricevere i soli dati di profondità (RuntimeOptions.UseDepth) o i dati di profondità e il numero del player (RuntimeOptions.UseDepthAndPlayerIndex).

La differenza tra le due opzioni si manifesta nella differenza della struttura dei dati che ci arrivano all’interno dell’evento DepthFrameReady.

In questo evento, come già visto nei precedenti post, riceviamo l’array dei bytes costuenti l’immagine recuperata dai sensori del Kinect.

L’array è contenuto nella proprietà Image (di tipo PlanarImage) dell’istanza di ImageFrame contenuta all’interno dell’argomento dell’evento DepthFrameReady:

image

Per le immagini fornite dal sensore di profondità, ogni pixel è descritto da 2 Bytes (totale 16 bits), la struttura dei quali cambia in base al fatto che stiamo chiedendo il player index o meno.

In entrambi i casi, l’array contiene la distanza (in mm) per ogni punto dell’immagine, e questa varia da un minimo di 800/850 mm ad un massimo di circa 4000 mm. Se “l’aggeggio” non riesce a recuperare la distanza (ad esempio per una fonte di luce forte alle spalle del soggetto inquadrato) la profondità restituita sarà 0.

La dimensione dell’array è, quindi, pari al prodotto delle dimensioni dell’immagine (ad esempio 320x240) per 2 ed è strutturato per righe a partire dall’angolo in alto a sinistra.

Se stiamo utilizzando RuntimeOptions.UseDepth, i due bytes contengono esattamente la distanza (espressa in mm) dal sensore) con il primo byte che contiene la parte meno significativa, mentre il secondo la più significativa:

Bytes senza player index

In questo caso, dati i due bytes dell’array, la distanza è calcolabile nel seguente modo:

  1. depth = CLng(frame.Image.Bits(arrayIndex)) + (CLng(frame.Image.Bits(arrayIndex + 1)) << 8)

La conversione a CLng è opportuna in quanto l’operazione di shift (<<) farebbe perdere i bit più significativi.

Se stiamo utilizzando RuntimeOptions.UseDepthAndPlayerIndex, invece, i primi tre bit del byte meno significativo (il primo dei due) sono utilizzati per contenere l’indice del player a cui fa riferimento il dato di profondità (se non c’è un player o Kinect non ha agganciato un player abbiamo il valore 0):

Bytes con player index

In questo caso la distanza si calcola nel seguente modo:

  1. depth = (CLng(frame.Image.Bits(arrayIndex)) >> 3) + (CLng(frame.Image.Bits(arrayIndex + 1)) << 5)

Per fare un esempio concreto, supponiamo di voler calcolare la distanza e il player index del punto (160,120) dell’immagine.

In questo caso i due bytes interessati sono il 160*320+120=51320 e 51321:

Esempio con player index

Nell’esempio abbiamo come player index il valore 2 (010 binario) mentre la profondità è 2009 (0011111011001 in binario).

Nella solution che allego al post è presente un semplice programma che ci consente di selezionare, tramite il mouse, un punto sull’immagine (identificato da un pallino giallo) e di avere in tempo reale le informazioni di player index e profondità:

SNAGHTML1c545cf




Commenti

Unknown ha detto…
salve a tutti
anch'io sto provando ad utilizzare il kinect, sono riuscito sia a fare lo skeleton viewer che il depthstream... ma appena provo ad unire le due cose il programma o non parte o si blocca a sbalzi tipo 5 sec funziona e poi altri 5 si blocca e così via qualcuno mi può aiutare? uso C# non VB
grazie a chi rispondere... ottimo sito
Massimo Bonanni ha detto…
Sei sicuro di avere un pc con i requisiti minimi hardware?
Quello che potresti fare è non utilizzare gli eventi ma utilizzare una tecnica di polling accedendo direttamente agli stream provenienti dal device. Per maggiori info guarda questo post http://codetailor.blogspot.com/2011/09/alla-scoperta-del-kinect-utilizzo-del.html. Avrai un FPS minore, ma probabilmente riuscirai a gestire meglio la situazione.
Unknown ha detto…
si effettivamente non ho un super computer ma più che altro sembra che i due eventi generati (quello depth e quello skeleton) si alternino a loro piacere e comincio a perdere le speranze
Massimo Bonanni ha detto…
Gli eventi DepthFrameReady e SkeletonFrameReady vengono generati nel momento in cui i rispettivi frame sono pronti, per questo non è assolutamente detto che siano sincronizzati (e, di fatto, non lo sono). Se gestisci tu il prelievo dei frame dagli stream con il polling puoi, bene o male, ottenere i frame in contemporanea (anche se non è certo che siano sincronizzati).
Unknown ha detto…
effettivamente appena accedo al kinect la cpu si ferma a quota 100% ma con il GetNextFrame riesco a sopperire alla mancanza di potenza del mio pc.
Grazie mille

Post popolari in questo blog

VB.NET : Aggregare stringhe con LINQ

Tip facile facile, ma a qualcuno potrebbe servire. Supponiamo di avere una lista di stringhe (magari come risultato di una query LINQ) e di voler ottenere una stringa con la concatenazione delle stesse: Dim list = CreateList() Dim concatStr = (From s In list _ Select s).Aggregate( Function (currentString, nextString) currentString + nextString) MessageBox.Show(concatStr) Il metodo CreateList non ci interessa, in questo momento, ma crea una lista di oggetti String. Protected Function CreateList() As IEnumerable( Of String ) Dim list As String () = {" stringa1 ", " stringa2 ", " stringa3 ", " stringa4 ", " stringa5 "} Return list.AsEnumerable() End Function Questo metodo potrebbe restituire una qualsiasi lista di oggetti di cui, nella select successiva recuperiamo solo stringhe. La stessa tecnica è utilizzabile per concatenare stringhe inserendovi un carattere separatore Dim list = CreateList() Dim

VB.NET: SplashScreen con effetto fade-in

In questo post vorrei proporvi un modo per realizzare una splash screen per le nostre applicazioni Windows Form che appare progressivamente con un effetto fade. Supponiamo di avere il nostro progetto VB.NET in una soluzione Visual Studio 2008 in cui abbiamo il sorgente della nostra applicazione Windows Form. Inseriamo una splash screen utilizzando il menù Progetto->Aggiungi Nuovo Elemento e selezionando il tipo di elemento “Schermata Iniziale” A questo punto Visual Studio creerà, automaticamente, la schermata iniziale che possiamo personalizzare graficamente come vogliamo. Per poter fare in modo che questa finestra appaia nel momento in cui avviamo l’applicazione, è necessario aprire le proprietà del progetto e impostare la maschera di avvio: In questo modo, all’avvio dell’applicazione, la schermata appare immediatamente e scompare un attimo prima della visualizzazione della finestra dell’applicazione. Possiamo far apparire la schermata iniziale con un ef

VB.NET: Convertire un file DOC in RTF e PDF con office interop

In questo post vorrei proporvi del codice per poter convertire un file .doc in un file .rtf oppure .pdf utilizzando le API di interoperabilità di Office. Creeremo una classe, DocConverter, che esporrà le due funzionalità sopra citate. Cominciamo con il prevedere un attributo privato della classe che rappresenterà l’applicazione Word che utilizzeremo per la conversione. Creeremo l’istanza dell’attributo privato all’interno del costruttore della classe: Public Sub New () If Not CreateWordApp() Then Throw New ApplicationException(" Assembly di interoperabilità con Office non trovato! ") End If End Sub Private _wordApp As Word.ApplicationClass Protected Function CreateWordApp() As Boolean Dim retval = True Try _wordApp = New Word.ApplicationClass() _wordApp.Visible = False Catch ex As System.Exception _wordApp = Nothing retval = False End Try Return retval End Function La conve