Passa ai contenuti principali

Alla scoperta del Kinect : questione di profondità

Nei due precedenti post (link e link) abbiamo fatto conoscenza con “l’aggeggio” kinect e visto come sia possibile, in maniera molto semplice, gestire lo stream video proveniente dalla camera.

In questo post diamo un’occhiata alla capacità che ha il Kinect di fornire frame in cui l’immagine non è la rappresentazione fedele della realtà che ci circonda ma la rappresentazione bidimensionale della distanza degli oggetti dai sensori di profondità.

L’aggeggio, infatti, dispone di un sensore di profondità che è in grado di fornirci la distanza dei punti inquadrati da se stesso e, in più, è in grado di dirci a quale “player” fa riferimento ogni singolo pixel.

Ma andiamo con ordine.

Per abilitare la ricezione del depth stream è necessario:

  1. Istanziare la classe Runtime;
  2. Agganciare il gestore dell’evento DepthFrameReady;
  3. Inizializzare l’istanza della Runtime scegliendo una delle opzioni che abilitano il sensore di profondità;
  4. Aprire lo stream dei dati relativi alla profondità.

A livello di codice (abbiamo già visto nei precedenti post) significa:

  1. Nui = New Runtime
  2. AddHandler Nui.DepthFrameReady, AddressOf DepthFrameHandler
  3. Nui.Initialize(RuntimeOptions.UseDepthAndPlayerIndex)
  4. Nui.DepthStream.Open(ImageStreamType.Depth, 2, ImageResolution.Resolution320x240, ImageType.DepthAndPlayerIndex)

dove Nui è una variabile di tipo Runtime.

Per quanto riguarda le RuntimeOptions, abbiamo la possibilità di scegliere di ricevere i soli dati di profondità (RuntimeOptions.UseDepth) o i dati di profondità e il numero del player (RuntimeOptions.UseDepthAndPlayerIndex).

La differenza tra le due opzioni si manifesta nella differenza della struttura dei dati che ci arrivano all’interno dell’evento DepthFrameReady.

In questo evento, come già visto nei precedenti post, riceviamo l’array dei bytes costuenti l’immagine recuperata dai sensori del Kinect.

L’array è contenuto nella proprietà Image (di tipo PlanarImage) dell’istanza di ImageFrame contenuta all’interno dell’argomento dell’evento DepthFrameReady:

image

Per le immagini fornite dal sensore di profondità, ogni pixel è descritto da 2 Bytes (totale 16 bits), la struttura dei quali cambia in base al fatto che stiamo chiedendo il player index o meno.

In entrambi i casi, l’array contiene la distanza (in mm) per ogni punto dell’immagine, e questa varia da un minimo di 800/850 mm ad un massimo di circa 4000 mm. Se “l’aggeggio” non riesce a recuperare la distanza (ad esempio per una fonte di luce forte alle spalle del soggetto inquadrato) la profondità restituita sarà 0.

La dimensione dell’array è, quindi, pari al prodotto delle dimensioni dell’immagine (ad esempio 320x240) per 2 ed è strutturato per righe a partire dall’angolo in alto a sinistra.

Se stiamo utilizzando RuntimeOptions.UseDepth, i due bytes contengono esattamente la distanza (espressa in mm) dal sensore) con il primo byte che contiene la parte meno significativa, mentre il secondo la più significativa:

Bytes senza player index

In questo caso, dati i due bytes dell’array, la distanza è calcolabile nel seguente modo:

  1. depth = CLng(frame.Image.Bits(arrayIndex)) + (CLng(frame.Image.Bits(arrayIndex + 1)) << 8)

La conversione a CLng è opportuna in quanto l’operazione di shift (<<) farebbe perdere i bit più significativi.

Se stiamo utilizzando RuntimeOptions.UseDepthAndPlayerIndex, invece, i primi tre bit del byte meno significativo (il primo dei due) sono utilizzati per contenere l’indice del player a cui fa riferimento il dato di profondità (se non c’è un player o Kinect non ha agganciato un player abbiamo il valore 0):

Bytes con player index

In questo caso la distanza si calcola nel seguente modo:

  1. depth = (CLng(frame.Image.Bits(arrayIndex)) >> 3) + (CLng(frame.Image.Bits(arrayIndex + 1)) << 5)

Per fare un esempio concreto, supponiamo di voler calcolare la distanza e il player index del punto (160,120) dell’immagine.

In questo caso i due bytes interessati sono il 160*320+120=51320 e 51321:

Esempio con player index

Nell’esempio abbiamo come player index il valore 2 (010 binario) mentre la profondità è 2009 (0011111011001 in binario).

Nella solution che allego al post è presente un semplice programma che ci consente di selezionare, tramite il mouse, un punto sull’immagine (identificato da un pallino giallo) e di avere in tempo reale le informazioni di player index e profondità:

SNAGHTML1c545cf




Commenti

stefacc ha detto…
salve a tutti
anch'io sto provando ad utilizzare il kinect, sono riuscito sia a fare lo skeleton viewer che il depthstream... ma appena provo ad unire le due cose il programma o non parte o si blocca a sbalzi tipo 5 sec funziona e poi altri 5 si blocca e così via qualcuno mi può aiutare? uso C# non VB
grazie a chi rispondere... ottimo sito
Max ha detto…
Sei sicuro di avere un pc con i requisiti minimi hardware?
Quello che potresti fare è non utilizzare gli eventi ma utilizzare una tecnica di polling accedendo direttamente agli stream provenienti dal device. Per maggiori info guarda questo post http://codetailor.blogspot.com/2011/09/alla-scoperta-del-kinect-utilizzo-del.html. Avrai un FPS minore, ma probabilmente riuscirai a gestire meglio la situazione.
stefacc ha detto…
si effettivamente non ho un super computer ma più che altro sembra che i due eventi generati (quello depth e quello skeleton) si alternino a loro piacere e comincio a perdere le speranze
Max ha detto…
Gli eventi DepthFrameReady e SkeletonFrameReady vengono generati nel momento in cui i rispettivi frame sono pronti, per questo non è assolutamente detto che siano sincronizzati (e, di fatto, non lo sono). Se gestisci tu il prelievo dei frame dagli stream con il polling puoi, bene o male, ottenere i frame in contemporanea (anche se non è certo che siano sincronizzati).
stefacc ha detto…
effettivamente appena accedo al kinect la cpu si ferma a quota 100% ma con il GetNextFrame riesco a sopperire alla mancanza di potenza del mio pc.
Grazie mille

Post popolari in questo blog

VB.NET: Convertire un file DOC in RTF e PDF con office interop

In questo post vorrei proporvi del codice per poter convertire un file .doc in un file .rtf oppure .pdf utilizzando le API di interoperabilità di Office.Creeremo una classe, DocConverter, che esporrà le due funzionalità sopra citate.Cominciamo con il prevedere un attributo privato della classe che rappresenterà l’applicazione Word che utilizzeremo per la conversione. Creeremo l’istanza dell’attributo privato all’interno del costruttore della classe:PublicSubNew()
IfNot CreateWordApp() Then
ThrowNew ApplicationException("Assembly di interoperabilità con Office non trovato!")
EndIf
EndSub
Private _wordApp As Word.ApplicationClass
ProtectedFunction CreateWordApp() AsBoolean
Dim retval = True
Try
_wordApp = New Word.ApplicationClass()
_wordApp.Visible = False
Catch ex As System.Exception
_wordApp = Nothing
retval = False
EndTry
Return retval
EndFunction

La conversione del file doc sarà effettuata aprendo il file stesso ed eseguendo un’operazione di SaveAs:

Pr…

VB.NET for Dummies: Gli Eventi

Vorrei iniziare con questo post una serie dedicata ad aspetti di VB.NET di base che possono essere utile a coloro che si avvicinano al mondo .NET e che, in genere, non vengono trattati a livello base.La serie di post non ha la pretesa di essere assolutamente esaustivi sugli argomenti che tratteròIn questo primo post parleremo degli eventi.Cosa sono e a cosa servonoUn evento è la “notifica” dell’accadimento di qualcosa.Quando, ad esempio, premiamo un bottone della finestra di un’applicazione, dietro le quinte, il bottone stesso “notifica” al mondo circostante che qualcuno, in quell’istante, lo ha premuto.Sta, poi, al mondo circostante preoccuparsi di “intercettare” l’evento stesso per gestirlo (tramite un gestore di evento).Attenzione a non confondere la pressione del tasto con la “notifica” della pressione del tasto: l’evento è la “notifica” dell’accadimento, non l’accadimento stesso.Ma a cosa serve tutto ciò?Utilizzare gli eventi è un modo per disaccoppiare due o più attori del nostr…

Creare uno shortcut con VB.NET

Prendendo spunto da un post comparso sul forum MSDN vorrei proporvi un tip su come creare uno shortcut utilizzando VB.NET.Per poter creare uno shortcut possiamo procedere in due modi: o ci studiamo la struttura del file .lnk e scriviamo una classe che è in grado di ricreare tale struttura oppure utilizziamo Windows Scripting Host.La prima soluzione è percorribile ma laboriosa perchè la struttura di un file lnk non è banale. Chi fosse interessato a vedere come è composto, internamente, un file lnk può scaricare la seguente reference guide (link).Io vorrei proporvi la seconda strada e realizzerò una classe che incapsula l’utilizzo di Windows Scripting Host.L’object model di Windows Scripting Host è contenuto nella dll IWshRuntimeLibrary che può essere referenziata, nel nostro progetto, utilizzando il tab COM della finestra di aggiunta delle reference:Tra gli oggetti che troviamo all’interno della libreria utilizzeremo la classe WshShell e la classe WshShortcut.La prima delle due rappres…