Passa ai contenuti principali

Kinect V2: body index stream

In questo post vedremo come sia possibile capire se, in un determinato punto ripreso dal device Kinect, è presente o meno un essere umano (player).

Nella versione 1.x dell’SDK del Kinect (per il device Kinect V1) l’indice del player presente in un determinato punto x,y dello spazio di fronte al device stesso era fornito dallo stream di profondità (lo potevamo ricavare da una parte dei bytes che ci arrivavamo dal device con la profondità).

Nella nuova versione del device e del suo SDK abbiamo a disposizione un vero e proprio stream che ci fornisce tale informazione.

In particolare, il reader (che vedremo più avanti) ci fornisce un frame nel quale abbiamo ogni byte per punto il cui valore indice:

  • se -1 la non presenza di player;
  • un valore da 0 a 5 indicante l’indice del player.

La risoluzione del frame restituito dal device è, ovviamente, quella del frame di profondità che abbiamo visto nel precedente post e, cioè, 512x424 pixel.

La modalità con cui utilizzare lo stream body index è del tutto analoga a quella vista per l’infrarosso e per la profondità.

Apriamo la connessione al Kinect e ricaviamo il reader:

Sensor = KinectSensor.Default
If Sensor IsNot Nothing Then
    Sensor.Open()

    BodyIndexReader = Sensor.BodyIndexFrameSource.OpenReader()
End If

Per ricevere la notifica della presenza dei frame di body index da elaborare è necessario sottoscriversi all’evento BodyIndexFrameArrived del reader:

If BodyIndexReader IsNot Nothing Then
    AddHandler BodyIndexReader.FrameArrived, AddressOf BodyIndexFrameArrivedHandler
End If

In questo modo, ogni volta che l’SDK avrà a disposizione un frame, ce lo notificherà sollevando l’evento FrameArrived che gestire mo con il gestore:

Private Sub BodyIndexFrameArrivedHandler(sender As Object, e As BodyIndexFrameArrivedEventArgs)
    Dim frameReference = e.FrameReference
    Dim frame As BodyIndexFrame = Nothing
    Try
        frame = frameReference.AcquireFrame()
        If frame IsNot Nothing Then
            BodyIndexFrameDescription = frame.FrameDescription

            frame.CopyFrameDataToArray(BodyIndexData)

            BodyIndexData.CopyBodyIndexDataToPixelsArray(BodyIndexPixels)

            BodyIndexBitMap.WritePixels(New Int32Rect(0, 0, BodyIndexFrameDescription.Width, BodyIndexFrameDescription.Height),
                                Me.BodyIndexPixels, BodyIndexFrameDescription.Width * BytesPerPixel, 0)

        End If
    Catch ex As Exception

    Finally
        If frame IsNot Nothing Then
            frame.Dispose()
        End If
    End Try
End Sub

Recuperiamo il frame tramite il metodo AcquireFrame() della classe BodyIndexFrameReference ottenuta tramite l’argomento dell’evento. Il frame ci permette di avere a disposizione tutte le informazioni relative al frame stesso (proprietà FrameDescription) e di poter copiare i valori (array di byte) all’interno di un nostro arrai grazie al metodo CopyFrameDataToArray.

Una volta ottenuti i byte dell’immagine, ognuno dei quali ci dice se è presente un player e di quale player eventualmente si tratta, possiamo convertirli in un immagine.

Per fare questo implementiamo un semplice extension method che agisce sull’array e restituisce un array di terne RGB associando un colore neutro all’indice –1 (nel nostro caso il grigio chiaro) e un colore ad ogni player index compreso tra 0 e 5:

Public Module BodyIndexExtensions

    Private PlayerColors As List(Of Color) = New List(Of Color) From
            {Colors.Red, Colors.Yellow, Colors.Blue, Colors.Green, Colors.Pink, Colors.White}

    Private NeutralColor As Color = Colors.LightGray

    <Extension>
    Public Sub CopyBodyIndexDataToPixelsArray(bodyIndexData As Byte(), pixelsArray As Byte())
        Dim colorPixelIndex = 0
        For i = 0 To bodyIndexData.Length - 1
            Dim playerIndex = bodyIndexData(i)
            Dim color As Color = NeutralColor
            If playerIndex >= 0 And playerIndex <= 5 Then
                color = PlayerColors(playerIndex)
            End If
            pixelsArray(colorPixelIndex) = color.R
            colorPixelIndex += 1
            pixelsArray(colorPixelIndex) = color.G
            colorPixelIndex += 1
            pixelsArray(colorPixelIndex) = color.B
            colorPixelIndex += 2
        Next
    End Sub
End Module

Per capire l’organizzazione delle classi possiamo fare riferimento al seguente diagramma:

image

Possiamo utilizzare, quindi, lo stream del body index se abbiamo la sola necessità di capire la presenza di qualche player nellàinquadratura e di capire quanti.

Nel prossimo post cominceremo a dare un’occhiata alle funzionalità di skeletal tracking offerte dalla nuova SDK.

Disclaimer: “This is preliminary software and/or hardware and APIs are preliminary and subject to change.”

Technorati Tags: ,,

Commenti

Post popolari in questo blog

MVP Reconnect …… ovvero quando entri nella “famigghia” resti sempre nella “famigghia”!!!

Ma di che “famigghia” stiamo parlando!!!!

Fermi tutti, non si tratta di robe strane o sette segrete o affari malavitosi….stiamo parlando della grande famiglia dei Microsoft MVP.

Per chi non sapesse cosa sono i Microsoft MVP, vi consiglio di fare un giro sul sito ufficiale del programma (link), ma, volendolo spiegare in pochisime parole, si tratta di un riconoscimento che Microsoft da a persone che si distinguono per il loro impegno, aiutando gli altri ad ottenere il massimo grazie alle tecnologie Microsoft. Si tratta di persone, non dipendenti Microsoft, che mettono la loro passione, il loro tempo, la loro buona volontà per la divulgazione e la condivisione della conoscenza. Non necessariamente (come qualcuno erroneamente sostiene, evidentemente non conoscendo le basi del programma) si tratta di professionisti nel termine letterale del termine ma si tratta comunque di un gruppo di persone che sacrifica un pò del suo tempo (e, a volte, vi assicuro neanche pò!!!) per la sua passione.

Pe…

Template di progetto per sviluppare applicazioni WPF con Intel® RealSense™

E’ disponibile, nella gallery di Visual Studio, la prima versione del mio template di progetto per applicazioni WPF scritte in C# che permette di realizzare applicazioni con l’SDK di Intel® RealSense™.Il template si può scaricare direttamente all’interno Visual Studio utilizzando il tool “Extensions and Updates”oppure all’indirizzo https://visualstudiogallery.msdn.microsoft.com/1c36ecfd-8c00-4aee-b20c-a1726ab6424dIl template esegue le seguenti operazioni per voi:Aggiunge la reference all’assembly libpxcclr.cs.dll (nelle due distinte versioni per x86 e x64);Aggiunge lo script di post build per copiare la libreria libpxccpp2c.dll dalla cartella dell’SDK alla cartella bin del vostro progetto.Una volta creato il progetto dovete rimuovere la configurazione di compilazione AnyCPU (che non ha più senso) dalla vostra solution e sarete pronti per sviluppare con Intel® RealSense™.Ovviamente dovete installare l’SDK che potete scaricare all’indirizzo https://software.intel.com/en-us/intel-realsen…

Nuova versione del Band SDK

E’ di ieri l’annuncio del rilascio della nuova versione dell’SDK per il Microsoft Band.
Si tratta della versione 1.3.10417 (la precedente e, prima della serie, era la 1.3.10219 preview).
Maggiori informazioni, download dell’SDK per le tre piattaforme Windows Phone, iOS e Android all’indirizzo http://developer.microsoftband.com/.
Allo stesso indirizzo potrete trovare anche la documentazione.
Nei mesi scorsi mi sono gia’ occupato della precedente versione e questi sono i post che ne parlano:
Microsoft Band SDK Preview - First LookMicrosoft Band SDK Preview - ”Hello Band”Microsoft Band SDK Preview - Accesso ai sensoriMicrosoft Band SDK Preview - TileMicrosoft Band SDK Preview - NotificheMicrosoft Band SDK Preview - Personalizzazione
Gli argomenti trattati e il codice proposto dovrebbe, ad una prima lettura delle nuove funzionalita’ inserite, essere ancora valido e funzionante ma nei prossimi giorni prendero’ in esame tutti gli argomenti dei precedenti post e vedremo cosa cambia e cosa e’ …