Passa ai contenuti principali

Kinect: Questione di profondità

In questo post continuiamo ad analizzare i cambiamenti apportati all’SDK v.1.0 di Kinect pubblicato il 1 Febbraio 2012.
In particolare ci occuperemo della capacità che ha il Kinect di fornire frame in cui l’immagine non è la rappresentazione fedele della realtà che ci circonda ma la rappresentazione bidimensionale della distanza degli oggetti dai sensori di profondità.
Il Kinect, infatti, dispone di un sensore di profondità che è in grado di fornirci la distanza dei punti inquadrati da se stesso e, in più, è in grado di dirci a quale “player” fa riferimento ogni singolo pixel.
Come già visto nel precedente post (link), per recuperare l’istanza della classe che ci permette di accedere al dispositivo Kinect, abilitare lo stream dei dati di profondità e avviare il tutto possiamo procedere in questo modo:
  1. Verificare se sono presenti dispositivi Kinect collegati tramite la proprietà statica KinectSensors della classe KinectSensor;
  2. Recuperare, ad esempio, il primo dei dispositivi;
  3. Abilitare lo stream di profondità (selezionando la risoluzione desiderata);
  4. Agganciare il gestore di evento per manipolare i dati provenienti dall’evento DepthFrameReady;
  5. Avviare la ricezione dei dati con il metodo Start della classe KinectSensor.
  1. If KinectSensor.KinectSensors.Any() Then
  2.     Sensor = KinectSensor.KinectSensors(0)
  3.     If Sensor.Status = KinectStatus.Connected Then
  4.         AddHandler Sensor.DepthFrameReady, AddressOf DepthFrameReadyHandler
  5.         Sensor.DepthStream.Enable(DepthImageFormat.Resolution320x240Fps30)
  6.         Try
  7.             Sensor.Start()
  8.         Catch ex As Exception
  9.  
  10.         End Try
  11.     End If
  12. End If
Cominciamo subito con il dire che, a differenza della versione Beta2, in cui potevamo scegliere se avere i dati di profondità solamente o anche i dati relativi al player rilevato (avendo una diversa disposizione dei bit all’interno dei bytes di profondità), nella versione 1.0, la struttura dei bit ritornati rimane sempre la stessa (cioè c’è sempre lo spazio per il player index – come mostrato in una figura in seguito) anche se il riconoscimento del player si ha solamente se viene attivato lo skeleton tracking (del quale ci occuperemo in un altro post).
Sono state introdotte, inoltre, due differenti possibilità di utilizzo riguardo la profondità: il “Default Mode” e il “Near Mode”.
La seguente figura mostra le distanze a cui lavora il dispositivo nelle due modalità:
Near Mode vs Default Mode Distances
In questa versione, l’SDK è in grado non solo di dirci la distanza (quando ci si trova nel range “Normal Values”) in termini di millimetri a partire dal sensore, ma anche quando il punto esaminato si trova in uno degli altri range (nella versione Beta2 l’SDK recuperava la distanza nel range corretto e basta).
La classe che contiene tutte le informazioni inerenti la lo stream di profondità è la DepthImageStream
image
La proprietà Range consente di impostare il tipo di modalità di funzionamento del Kinect tra Default e Near. Quando viene cambiata questa proprietà si ottengono, contestualmente i cambiamenti sulle proprietà MaxDepth e MinDepth che indicano i limiti del range rilevato dal sensore.
Le tre proprietà TooFarDepth, TooNearDepth e UnknownDepth forniscono i valori utilizzati dal sensore per identificare se un punto si trova, rispettivamente, troppo lontano (valore FFF esadecimale, 4095 in decimale), troppo vicino (valore 0) o sconosciuto (valore –1), secondo quanto mostrato dalla precedente figura.
Lo stream ci mette a disposizione anche dati sul campo visivo della camera di profondità:
  • NominalVerticalFieldOfView : angolo di visuale verticale, in gradi, della camera;
  • NominalHorizontalFieldOfView : angolo di visuale orizzontale, in gradi, della camera;
  • NominalDiagonalFieldOfView : angolo di visuale diagonale, in gradi, della camera.
Quando il sensore dispone di un frame di profondità, viene sollevato l’evento DepthFrameReady che possiamo gestire per recuperare effettivamente i bytes (due per ogni punto x,y)  che descrivono la scena.
  1. Dim depthArray = New Short(frame.PixelDataLength - 1) {}
  2. frame.CopyPixelDataTo(depthArray)
Per recuperare, dato un punto di coordinate (x,y), i valori di profondità e player index corrispondenti, possiamo utilizzare la seguente funzione:
  1. Private Sub GetDepthAndPlayerIndex(frame As DepthImageFrame,
  2.                                         x As Integer,y As Integer,
  3.                                         ByRef depth As Long,ByRef playerIndex As Short)
  4.     Dim arrayIndex = (y * frame.Width + x)
  5.     If arrayIndex >= frame.PixelDataLength Then Throw New ArgumentOutOfRangeException()
  6.  
  7.     Dim depthArray = New Short(frame.PixelDataLength - 1) {}
  8.     frame.CopyPixelDataTo(depthArray)
  9.  
  10.     Dim depthPoint = depthArray(arrayIndex))
  11.     depth = depthPoint >> DepthImageFrame.PlayerIndexBitmaskWidth
  12.     playerIndex = CShort(depthPoint And DepthImageFrame.PlayerIndexBitmask)
  13. End Sub
La variabile depthPoint contiene il valore effettivo letto dal sensore per il punto (x,y) e le due formule che restituiscono distanza e player index sono:
image
A differenza della Beta2 dell’SDK, i dati raw di profondità che arrivano dal sensore sono, punto per punto, su un solo elemento dell’array e non dobbiamo ricostruirli concatenando byte meno significativo a quello più significativo e, in più, troviamo le due costanti pubbliche PlayerIndexBitmaskWidth e PlayerIndexBitmask le quali ci dicono, rispettivamente, la lunghezza della maschera di bit del player index (3) e la vera e propria bitmask per estrarre il player index.
Importante novità dell’SDK, anticipata in precedenza, è che il player index viene valorizzato solo se è attivo lo skeletal tracking.
Per questo motivo, se vogliamo avere il player index dobbiamo instanziare il KinectSensor nel seguente modo.
  1. If KinectSensor.KinectSensors.Any() Then
  2.     Sensor = KinectSensor.KinectSensors(0)
  3.     If Sensor.Status = KinectStatus.Connected Then
  4.         AddHandler Sensor.DepthFrameReady, AddressOf DepthFrameReadyHandler
  5.         Sensor.DepthStream.Enable(DepthImageFormat.Resolution320x240Fps30)
  6.         Sensor.SkeletonStream.Enable()
  7.         Try
  8.             Sensor.Start()
  9.         Catch ex As Exception
  10.  
  11.         End Try
  12.     End If
  13. End If
In allegato trovate una semplice solution in cui vengono utilizzati i concetti esposti.


Commenti

Post popolari in questo blog

MVP Reconnect …… ovvero quando entri nella “famigghia” resti sempre nella “famigghia”!!!

Ma di che “famigghia” stiamo parlando!!!!

Fermi tutti, non si tratta di robe strane o sette segrete o affari malavitosi….stiamo parlando della grande famiglia dei Microsoft MVP.

Per chi non sapesse cosa sono i Microsoft MVP, vi consiglio di fare un giro sul sito ufficiale del programma (link), ma, volendolo spiegare in pochisime parole, si tratta di un riconoscimento che Microsoft da a persone che si distinguono per il loro impegno, aiutando gli altri ad ottenere il massimo grazie alle tecnologie Microsoft. Si tratta di persone, non dipendenti Microsoft, che mettono la loro passione, il loro tempo, la loro buona volontà per la divulgazione e la condivisione della conoscenza. Non necessariamente (come qualcuno erroneamente sostiene, evidentemente non conoscendo le basi del programma) si tratta di professionisti nel termine letterale del termine ma si tratta comunque di un gruppo di persone che sacrifica un pò del suo tempo (e, a volte, vi assicuro neanche pò!!!) per la sua passione.

Pe…

Nuova versione del Band SDK

E’ di ieri l’annuncio del rilascio della nuova versione dell’SDK per il Microsoft Band.
Si tratta della versione 1.3.10417 (la precedente e, prima della serie, era la 1.3.10219 preview).
Maggiori informazioni, download dell’SDK per le tre piattaforme Windows Phone, iOS e Android all’indirizzo http://developer.microsoftband.com/.
Allo stesso indirizzo potrete trovare anche la documentazione.
Nei mesi scorsi mi sono gia’ occupato della precedente versione e questi sono i post che ne parlano:
Microsoft Band SDK Preview - First LookMicrosoft Band SDK Preview - ”Hello Band”Microsoft Band SDK Preview - Accesso ai sensoriMicrosoft Band SDK Preview - TileMicrosoft Band SDK Preview - NotificheMicrosoft Band SDK Preview - Personalizzazione
Gli argomenti trattati e il codice proposto dovrebbe, ad una prima lettura delle nuove funzionalita’ inserite, essere ancora valido e funzionante ma nei prossimi giorni prendero’ in esame tutti gli argomenti dei precedenti post e vedremo cosa cambia e cosa e’ …

Template di progetto per sviluppare applicazioni WPF con Intel® RealSense™

E’ disponibile, nella gallery di Visual Studio, la prima versione del mio template di progetto per applicazioni WPF scritte in C# che permette di realizzare applicazioni con l’SDK di Intel® RealSense™.Il template si può scaricare direttamente all’interno Visual Studio utilizzando il tool “Extensions and Updates”oppure all’indirizzo https://visualstudiogallery.msdn.microsoft.com/1c36ecfd-8c00-4aee-b20c-a1726ab6424dIl template esegue le seguenti operazioni per voi:Aggiunge la reference all’assembly libpxcclr.cs.dll (nelle due distinte versioni per x86 e x64);Aggiunge lo script di post build per copiare la libreria libpxccpp2c.dll dalla cartella dell’SDK alla cartella bin del vostro progetto.Una volta creato il progetto dovete rimuovere la configurazione di compilazione AnyCPU (che non ha più senso) dalla vostra solution e sarete pronti per sviluppare con Intel® RealSense™.Ovviamente dovete installare l’SDK che potete scaricare all’indirizzo https://software.intel.com/en-us/intel-realsen…