Passa ai contenuti principali

Alla scoperta del Kinect: video e depth insieme per eliminare lo sfondo

Nel precedenti post (qui e qui) abbiamo visto singolarmente come utilizzare lo stream video e i dati di “distanza” che provengono dal nostro Kinect.

In questo post cercheremo di utilizzare contemporaneamente i due stream in modo da utilizzare le informazioni di distanza per modificare l’immagine video.

In particolare vedremo come (in maniera molto rozza e, sicuramente, ottimizzabile) riuscire a modificare l’immagine proveniente dallo stream video per lasciare visibili i player uniformando lo sfondo con un colore a nostra scelta.

Quello che faremo è prendere le singole immagini video e depth fornite dagli eventi del Runtime del Kinect, scandire l’immagine di depth e, ogni volta che si ha un player index pari a 0, colorare il corrispondente pixel dell’immagine video con il colore da noi scelto.

Uno dei problemi che si pongono immediatamente è che la risoluzione dell’immagine video sia diversa dalla risoluzione dell’immagine depth.

Ad esempio nel seguente pezzo di codice l’immagine video è 640x480 mentre l’immagine depth è 320x240.

  1. Try
  2.     Nui = New Runtime
  3.  
  4.     AddHandler Nui.VideoFrameReady, AddressOf VideoFrameHandler
  5.     AddHandler Nui.DepthFrameReady, AddressOf DepthFrameReadyHandler
  6.  
  7.     Nui.Initialize(RuntimeOptions.UseDepthAndPlayerIndex Or RuntimeOptions.UseColor)
  8.  
  9.     Nui.VideoStream.Open(ImageStreamType.Video, 2, ImageResolution.Resolution640x480, ImageType.Color)
  10.     Nui.DepthStream.Open(ImageStreamType.Depth, 2, ImageResolution.Resolution320x240, ImageType.DepthAndPlayerIndex)
  11.  
  12. Catch ex As Exception
  13.  
  14. End Try

In alcuni casi non si può avere uguaglianza di risoluzione anche forzando i parametri del metodo Open degli stream.

Ad esempio nel mio pc non è ammesso avere 320x240 per entrambe le sorgenti (ottengo una eccezione in fase di open).

Nel caso mostrato nel codice precedente dobbiamo trovare qualche modo per correlare un pixel dell’immagine depth con uno o più pixel dell’immagine video.

L’SDK del Kinect ci mette a disposizione il metodo GetColorPixelCoordinatesFromDepthPixel della classe NuiCamera che consente di ottenere le coordinate x,y del punto video a partire dalle coordinate x,y del punto depth.

Nel nostro caso non utilizzeremo questa funzione perché andremo a calcolarci da soli i punti corrispondenti sull’immagine video.

In maniera molto grossolana (ci manterremo sul semplice essendo questo post didattico), ogni punto dell’immagine depth corrisponde a 4 punti dell’immagine video (visto che la risoluzione della video è 4 volte quella della depth).

Per questo dovremo ricavare le coordinate del punto in alto a sinistra di questo quadrato e prendere i 3 punti adiacenti.

Se indichiamo con xd e yd le coordinate di un punto dell’immagine depth, e con xv e yv le coordinate del punto in alto a sinistra dell’immagine video, potremmo considerare:

clip_image002

e, di conseguenza dovremmo elaborare i 4 punti:

clip_image002[4]

L’algoritmo che utilizzeremo sarà quindi:

  1. per ogni x, y dell’immagine depth (con x compreso tra 0 e 319 e y compreso tra 0 e 239)
  2. recupereremo il player index come visto nel precedente post;
  3. se il player index è zero, andremo ad impostare i bytes dell’immagine video corrispondenti ai 4 punti di cui sopra con i valori corrispondenti al colore di sfondo desiderato.

Il codice che implementa ciò è il seguente:

  1. Private Sub ElaborateImage(videoFrame As ImageFrame, depthFrame As ImageFrame)
  2.     Dim depthIndex = 0
  3.     Dim videoIndex = 0
  4.     For x = 0 To depthFrame.Image.Width - 1
  5.         For y = 0 To depthFrame.Image.Height - 1
  6.             depthIndex = (y * depthFrame.Image.Width + x) * depthFrame.Image.BytesPerPixel
  7.             Dim playerIndex = depthFrame.Image.Bits(depthIndex) And 7
  8.             If playerIndex = 0 Then
  9.                 Dim x1 = 2 * x
  10.                 Dim x2 = 2 * x + 1
  11.                 Dim y1 = 2 * y
  12.                 Dim y2 = 2 * y + 1
  13.  
  14.                 SetPixelValue(videoFrame, x1, y1, Colors.Red)
  15.                 SetPixelValue(videoFrame, x1, y2, Colors.Red)
  16.                 SetPixelValue(videoFrame, x2, y1, Colors.Red)
  17.                 SetPixelValue(videoFrame, x2, y2, Colors.Red)
  18.             End If
  19.         Next
  20.     Next
  21.  
  22.     Me.ElaboratedImage.Source = videoFrame.ToBitmapSource()
  23. End Sub

dove il metodo SetPixelValue altro non fa che impostare i 4 bytes del pixel video con le componenti del colore scelto:

  1. Private Sub SetPixelValue(imageFrame As ImageFrame, x As Integer, y As Integer, color As Color)
  2.     Dim index = (y * imageFrame.Image.Width + x) * imageFrame.Image.BytesPerPixel
  3.     imageFrame.Image.Bits(index) = color.B
  4.     imageFrame.Image.Bits(index + 1) = color.G
  5.     imageFrame.Image.Bits(index + 2) = color.R
  6.     imageFrame.Image.Bits(index + 3) = color.A
  7. End Sub

Il risultato che otteniamo è un’immagine rossa che vedrà apparire le figure dei player nel momento in cui il KInect le “aggancia”.

image

Il bordo che si forma attorno alla figura è dovuto all’algoritmo di recupero dei punti video molto semplicistico e al fatto che le immagini che andiamo a prendere potrebbero non essere sincronizzate tra loro. Nel nostro semplice esempio non andiamo assolutamente a controllare il timestamp delle due immagini e, poichè i due stream potrebbero avere frame rate differente, le immagini potrebbero non coincidere e creare la fastidiosa scia.

Inoltre teniamo presente che i sensori video e di profondità che monta il Kinect sono posizionati in due differenti punti dell’”aggeggio” e, quindi, soffrono dell’errore di parallasse che fa si che le due immagini non possono mai essere sovrapponibili senza errore.



Commenti

Post popolari in questo blog

MVP Reconnect …… ovvero quando entri nella “famigghia” resti sempre nella “famigghia”!!!

Ma di che “famigghia” stiamo parlando!!!!

Fermi tutti, non si tratta di robe strane o sette segrete o affari malavitosi….stiamo parlando della grande famiglia dei Microsoft MVP.

Per chi non sapesse cosa sono i Microsoft MVP, vi consiglio di fare un giro sul sito ufficiale del programma (link), ma, volendolo spiegare in pochisime parole, si tratta di un riconoscimento che Microsoft da a persone che si distinguono per il loro impegno, aiutando gli altri ad ottenere il massimo grazie alle tecnologie Microsoft. Si tratta di persone, non dipendenti Microsoft, che mettono la loro passione, il loro tempo, la loro buona volontà per la divulgazione e la condivisione della conoscenza. Non necessariamente (come qualcuno erroneamente sostiene, evidentemente non conoscendo le basi del programma) si tratta di professionisti nel termine letterale del termine ma si tratta comunque di un gruppo di persone che sacrifica un pò del suo tempo (e, a volte, vi assicuro neanche pò!!!) per la sua passione.

Pe…

Template di progetto per sviluppare applicazioni WPF con Intel® RealSense™

E’ disponibile, nella gallery di Visual Studio, la prima versione del mio template di progetto per applicazioni WPF scritte in C# che permette di realizzare applicazioni con l’SDK di Intel® RealSense™.Il template si può scaricare direttamente all’interno Visual Studio utilizzando il tool “Extensions and Updates”oppure all’indirizzo https://visualstudiogallery.msdn.microsoft.com/1c36ecfd-8c00-4aee-b20c-a1726ab6424dIl template esegue le seguenti operazioni per voi:Aggiunge la reference all’assembly libpxcclr.cs.dll (nelle due distinte versioni per x86 e x64);Aggiunge lo script di post build per copiare la libreria libpxccpp2c.dll dalla cartella dell’SDK alla cartella bin del vostro progetto.Una volta creato il progetto dovete rimuovere la configurazione di compilazione AnyCPU (che non ha più senso) dalla vostra solution e sarete pronti per sviluppare con Intel® RealSense™.Ovviamente dovete installare l’SDK che potete scaricare all’indirizzo https://software.intel.com/en-us/intel-realsen…

Nuova versione del Band SDK

E’ di ieri l’annuncio del rilascio della nuova versione dell’SDK per il Microsoft Band.
Si tratta della versione 1.3.10417 (la precedente e, prima della serie, era la 1.3.10219 preview).
Maggiori informazioni, download dell’SDK per le tre piattaforme Windows Phone, iOS e Android all’indirizzo http://developer.microsoftband.com/.
Allo stesso indirizzo potrete trovare anche la documentazione.
Nei mesi scorsi mi sono gia’ occupato della precedente versione e questi sono i post che ne parlano:
Microsoft Band SDK Preview - First LookMicrosoft Band SDK Preview - ”Hello Band”Microsoft Band SDK Preview - Accesso ai sensoriMicrosoft Band SDK Preview - TileMicrosoft Band SDK Preview - NotificheMicrosoft Band SDK Preview - Personalizzazione
Gli argomenti trattati e il codice proposto dovrebbe, ad una prima lettura delle nuove funzionalita’ inserite, essere ancora valido e funzionante ma nei prossimi giorni prendero’ in esame tutti gli argomenti dei precedenti post e vedremo cosa cambia e cosa e’ …