Passa ai contenuti principali

Kinect V2: body index stream

In questo post vedremo come sia possibile capire se, in un determinato punto ripreso dal device Kinect, è presente o meno un essere umano (player).

Nella versione 1.x dell’SDK del Kinect (per il device Kinect V1) l’indice del player presente in un determinato punto x,y dello spazio di fronte al device stesso era fornito dallo stream di profondità (lo potevamo ricavare da una parte dei bytes che ci arrivavamo dal device con la profondità).

Nella nuova versione del device e del suo SDK abbiamo a disposizione un vero e proprio stream che ci fornisce tale informazione.

In particolare, il reader (che vedremo più avanti) ci fornisce un frame nel quale abbiamo ogni byte per punto il cui valore indice:

  • se -1 la non presenza di player;
  • un valore da 0 a 5 indicante l’indice del player.

La risoluzione del frame restituito dal device è, ovviamente, quella del frame di profondità che abbiamo visto nel precedente post e, cioè, 512x424 pixel.

La modalità con cui utilizzare lo stream body index è del tutto analoga a quella vista per l’infrarosso e per la profondità.

Apriamo la connessione al Kinect e ricaviamo il reader:

Sensor = KinectSensor.Default
If Sensor IsNot Nothing Then
    Sensor.Open()

    BodyIndexReader = Sensor.BodyIndexFrameSource.OpenReader()
End If

Per ricevere la notifica della presenza dei frame di body index da elaborare è necessario sottoscriversi all’evento BodyIndexFrameArrived del reader:

If BodyIndexReader IsNot Nothing Then
    AddHandler BodyIndexReader.FrameArrived, AddressOf BodyIndexFrameArrivedHandler
End If

In questo modo, ogni volta che l’SDK avrà a disposizione un frame, ce lo notificherà sollevando l’evento FrameArrived che gestire mo con il gestore:

Private Sub BodyIndexFrameArrivedHandler(sender As Object, e As BodyIndexFrameArrivedEventArgs)
    Dim frameReference = e.FrameReference
    Dim frame As BodyIndexFrame = Nothing
    Try
        frame = frameReference.AcquireFrame()
        If frame IsNot Nothing Then
            BodyIndexFrameDescription = frame.FrameDescription

            frame.CopyFrameDataToArray(BodyIndexData)

            BodyIndexData.CopyBodyIndexDataToPixelsArray(BodyIndexPixels)

            BodyIndexBitMap.WritePixels(New Int32Rect(0, 0, BodyIndexFrameDescription.Width, BodyIndexFrameDescription.Height),
                                Me.BodyIndexPixels, BodyIndexFrameDescription.Width * BytesPerPixel, 0)

        End If
    Catch ex As Exception

    Finally
        If frame IsNot Nothing Then
            frame.Dispose()
        End If
    End Try
End Sub

Recuperiamo il frame tramite il metodo AcquireFrame() della classe BodyIndexFrameReference ottenuta tramite l’argomento dell’evento. Il frame ci permette di avere a disposizione tutte le informazioni relative al frame stesso (proprietà FrameDescription) e di poter copiare i valori (array di byte) all’interno di un nostro arrai grazie al metodo CopyFrameDataToArray.

Una volta ottenuti i byte dell’immagine, ognuno dei quali ci dice se è presente un player e di quale player eventualmente si tratta, possiamo convertirli in un immagine.

Per fare questo implementiamo un semplice extension method che agisce sull’array e restituisce un array di terne RGB associando un colore neutro all’indice –1 (nel nostro caso il grigio chiaro) e un colore ad ogni player index compreso tra 0 e 5:

Public Module BodyIndexExtensions

    Private PlayerColors As List(Of Color) = New List(Of Color) From
            {Colors.Red, Colors.Yellow, Colors.Blue, Colors.Green, Colors.Pink, Colors.White}

    Private NeutralColor As Color = Colors.LightGray

    <Extension>
    Public Sub CopyBodyIndexDataToPixelsArray(bodyIndexData As Byte(), pixelsArray As Byte())
        Dim colorPixelIndex = 0
        For i = 0 To bodyIndexData.Length - 1
            Dim playerIndex = bodyIndexData(i)
            Dim color As Color = NeutralColor
            If playerIndex >= 0 And playerIndex <= 5 Then
                color = PlayerColors(playerIndex)
            End If
            pixelsArray(colorPixelIndex) = color.R
            colorPixelIndex += 1
            pixelsArray(colorPixelIndex) = color.G
            colorPixelIndex += 1
            pixelsArray(colorPixelIndex) = color.B
            colorPixelIndex += 2
        Next
    End Sub
End Module

Per capire l’organizzazione delle classi possiamo fare riferimento al seguente diagramma:

image

Possiamo utilizzare, quindi, lo stream del body index se abbiamo la sola necessità di capire la presenza di qualche player nellàinquadratura e di capire quanti.

Nel prossimo post cominceremo a dare un’occhiata alle funzionalità di skeletal tracking offerte dalla nuova SDK.

Disclaimer: “This is preliminary software and/or hardware and APIs are preliminary and subject to change.”

Technorati Tags: ,,

Commenti

Post popolari in questo blog

VB.NET: Convertire un file DOC in RTF e PDF con office interop

In questo post vorrei proporvi del codice per poter convertire un file .doc in un file .rtf oppure .pdf utilizzando le API di interoperabilità di Office.Creeremo una classe, DocConverter, che esporrà le due funzionalità sopra citate.Cominciamo con il prevedere un attributo privato della classe che rappresenterà l’applicazione Word che utilizzeremo per la conversione. Creeremo l’istanza dell’attributo privato all’interno del costruttore della classe:PublicSubNew()
IfNot CreateWordApp() Then
ThrowNew ApplicationException("Assembly di interoperabilità con Office non trovato!")
EndIf
EndSub
Private _wordApp As Word.ApplicationClass
ProtectedFunction CreateWordApp() AsBoolean
Dim retval = True
Try
_wordApp = New Word.ApplicationClass()
_wordApp.Visible = False
Catch ex As System.Exception
_wordApp = Nothing
retval = False
EndTry
Return retval
EndFunction

La conversione del file doc sarà effettuata aprendo il file stesso ed eseguendo un’operazione di SaveAs:

Pr…

Cambiare la lingua di Visual Studio 2008

Oggi ho avuto qualche problema installando Windows Mobile 6 Professional SDK Refresh e Windows Mobile 6 Standard SDK Refresh.Scaricati i file di installazione e installati, ho provato a creare un progetto di tipo Windows Mobile 6.0 e mi sono beccato questo errore:Dopo qualche smanettamento abbiamo scoperto (e ringrazio il mitico Matteo per l’aiuto) che il mio Visual Studio 2008, pur essendo in Inglese (prova ne era il fatto che gli hotfix e la SP installata erano nella lingua di Albione) aveva come lingua impostata quella del sistema operativo (italiano).Ovviamente, non avrebbe mai potuto trovare la cartella 1040 (italiano) visto che l’installazione dell’SDK aveva supposto che la lingua del Visual Studio fosse Inglese (1033).La soluzione del problema è duplice:1) Duplicate la cartella 1033 presente nel percorso evidenziato dall’errore e la rinominate 10402) cambiate la lingua di Visual Studio.Per questa ultima eventualità basta andare nel menù Strumenti/Opzioni:e cambiare il linguaggi…

Tascam DR-05 registratore digitale per tutti

Diverso tempo fa ho acquistato il registratore digitale Tascam DR-05 e, ora, dopo diversi mesi di utilizzo, posso dire la mia a proposito.

Si tratta di un ottimo registratore digitale con microfono stereo che permette di ottenere registrazioni di ottima qualitaà anche in ambienti non perfetti dal punto di vista acustico.

Interessante la possibilità di utilizzare un cavalletto di piccole dimensioni come HAMA Mini treppiede o Mini Cavalletto Universale per tenere il microfono sollevato dal tavolo in fase di registrazione grazie allàattacco universale per macchina fotografica che il microfono ha nella parte inferiore.

Da segnalare anche il menu’ ben fatto e la possibilita’ di utilizzare una scheda SD esterna per memorizzare i file audio. Anche a livello di consumo batterie non e’ niente male. Consiglio l’uso delle alcaline non ricaricabili.

Il mio utilizzo e’ stato prettamente di registrazione di podcast vocali (no musica) ma le recensioni confermano che se la cava egregiamente con la mu…