Passa ai contenuti principali

Kinect V2: questione di profondità

In questo post prenderemo in esame lo stream di profondità fornito da Kinect V2.

Le API che utilizzeremo sono del tutto simili a quelle viste per la sorgente infrarossi nel precedente post.

La classe KinectSensor (già vista nei precedenti post della serie) espone la proprietà DepthFrameSource che ci consente di accedere al reader per lo stream di profondità (come già visto per lo stream dell’immagine a colori e del’infrarosso).

image

Possiamo, dunque, una volta ottenuta l’istanza della classe KinectSensor, ottenere il reader grazie al metodo OpenReader:

Sensor = KinectSensor.Default
If Sensor IsNot Nothing Then
    Sensor.Open()

    Dim depthFrameDescription = Sensor.DepthFrameSource.FrameDescription
    DepthData = New UShort(CInt(depthFrameDescription.LengthInPixels - 1)) {}
    DepthPixels = New Byte(depthFrameDescription.Width * depthFrameDescription.Height * BytesPerPixel - 1) {}
    DepthBitMap = New WriteableBitmap(depthFrameDescription.Width, depthFrameDescription.Height,
                                         96.0, 96.0, PixelFormats.Bgr32, Nothing)
    DepthReader = Sensor.DepthFrameSource.OpenReader()
End If

La variabile DepthReader contiene l’istanza della classe DepthFrameReader attraverso la quale possiamo gestire i frame di profondità provenienti dal device.

Come già visto in precedenza, abbiamo la necessità di gestire l’evento FrameArrived:

If DepthReader IsNot Nothing Then
    AddHandler DepthReader.FrameArrived, AddressOf DepthFrameArrivedHandler
End If

L’evento FrameArrived viene sollevato nel momento in cui è disponibile un frame, in questo caso di tipo profondità, da poter elaborare:

Private Sub DepthFrameArrivedHandler(sender As Object, e As DepthFrameArrivedEventArgs)
    '
    '
    '
End Sub

L’argomento dell’evento, di tipo DepthFrameArrivedEventArgs, espone la proprietà FrameReference, di tipo DepthFramereference, che ci consente di ottenere il frame effettivo:

image

Il metodo AcquireFrame, della classe DepthFrameReference, consente di ottenere l’istanza della classe DepthFrame contenente gli effettivi dati del frame:

image

Osserviamo che il frame ci fornisce direttamente le distanze di lavoro del Kinect: DepthMaxReliableDistance e DepthMinReliableDistance contengono rispettivamente la distanza massima e minima di operatività del device.
Possiamo ottenere i dati di profondità dell’immagine ripresa dal Kinect utilizzando uno dei due metodi CopyFrameDataXXX:

  • CopyFrameDataToArray : copia i dati di profondità in un’array di unsigned short (intero a 16 bit senza segno). La lunghezza dell’array è data dalla proprietà LengthInPixels esposta dalla classe FrameDescription esposta dall’omonima proprietà del frame;
  • CopyFrameDataToBuffer : esegue la copia dei dati di profondità in una locazione di memoria.

Ogni elemento dell’array contiene la distanza del corrispondente punto di coordinate X,Y posto immediatamente di fronte al device. Dati, infatti, X e Y le due coordinate del punto di cui recuperare la distanza (in millimetri), e data la larghezza dell’immagine di profondità (contenuta nella proprietà Width della classe FrameDescription) otteniamo l’indice dell’elemento dell’array con la seguente funzione:

Dim currentWidth = Me.DepthFrameDescription.Width
Dim arrayIndex = y * currentWidth + x

Possiamo sfruttare l’evento FrameArrived per renderizzare l’imagine di profondità in modo che sia comprensibile agli occhi umani.

Private Sub DepthFrameArrivedHandler(sender As Object, e As DepthFrameArrivedEventArgs)
    Dim frameReference = e.FrameReference
    Dim frame As DepthFrame = Nothing
    Try
        frame = frameReference.AcquireFrame()
        If frame IsNot Nothing Then
            DepthFrameDescription = frame.FrameDescription

            frame.CopyFrameDataToArray(DepthData)

            DepthMinReliableDistance = frame.DepthMinReliableDistance
            DepthMaxReliableDistance = frame.DepthMaxReliableDistance

            DepthData.CopyDepthDataToPixelsArray(DepthPixels, DepthMaxReliableDistance, DepthMinReliableDistance)

            DepthBitMap.WritePixels(New Int32Rect(0, 0, DepthFrameDescription.Width, DepthFrameDescription.Height),
                                Me.DepthPixels, DepthFrameDescription.Width * BytesPerPixel, 0)

        End If
    Catch ex As Exception

    Finally
        If frame IsNot Nothing Then
            frame.Dispose()
        End If
    End Try
End Sub

Il metodo di estensione CopyDepthDataToPIxelsArray permette di convertire la distanza pixel per pixel in un colore da visualizzare.

<Extension>
Public Sub CopyDepthDataToPixelsArray(depthData As UShort(), pixelsArray As Byte(),
                                      maxDepth As UShort, minDepth As UShort)
    Dim colorPixelIndex = 0
    For i = 0 To depthData.Length - 1
        Dim depth = depthData(i)
        Dim intensity As Byte = CByte(If(depth >= minDepth And depth <= maxDepth, depth, 0) * 255 / maxDepth)
        pixelsArray(colorPixelIndex) = intensity
        colorPixelIndex += 1
        pixelsArray(colorPixelIndex) = intensity
        colorPixelIndex += 1
        pixelsArray(colorPixelIndex) = intensity
        colorPixelIndex += 2
    Next
End Sub

Osserviamo che, a differenza di quanto accade nella versione 1 del Kinect e del suo SDK, i dati di profondità non contengono informazioni riguardo l’eventuale player presente davanti al device.

Vedremo in un post specifico che queste informazioni sono contenute nello stream BodyIndex (BodyIndexFrameSource).

 

Technorati Tags: ,,

Commenti

Post popolari in questo blog

MVP Reconnect …… ovvero quando entri nella “famigghia” resti sempre nella “famigghia”!!!

Ma di che “famigghia” stiamo parlando!!!!

Fermi tutti, non si tratta di robe strane o sette segrete o affari malavitosi….stiamo parlando della grande famiglia dei Microsoft MVP.

Per chi non sapesse cosa sono i Microsoft MVP, vi consiglio di fare un giro sul sito ufficiale del programma (link), ma, volendolo spiegare in pochisime parole, si tratta di un riconoscimento che Microsoft da a persone che si distinguono per il loro impegno, aiutando gli altri ad ottenere il massimo grazie alle tecnologie Microsoft. Si tratta di persone, non dipendenti Microsoft, che mettono la loro passione, il loro tempo, la loro buona volontà per la divulgazione e la condivisione della conoscenza. Non necessariamente (come qualcuno erroneamente sostiene, evidentemente non conoscendo le basi del programma) si tratta di professionisti nel termine letterale del termine ma si tratta comunque di un gruppo di persone che sacrifica un pò del suo tempo (e, a volte, vi assicuro neanche pò!!!) per la sua passione.

Pe…

Nuova versione del Band SDK

E’ di ieri l’annuncio del rilascio della nuova versione dell’SDK per il Microsoft Band.
Si tratta della versione 1.3.10417 (la precedente e, prima della serie, era la 1.3.10219 preview).
Maggiori informazioni, download dell’SDK per le tre piattaforme Windows Phone, iOS e Android all’indirizzo http://developer.microsoftband.com/.
Allo stesso indirizzo potrete trovare anche la documentazione.
Nei mesi scorsi mi sono gia’ occupato della precedente versione e questi sono i post che ne parlano:
Microsoft Band SDK Preview - First LookMicrosoft Band SDK Preview - ”Hello Band”Microsoft Band SDK Preview - Accesso ai sensoriMicrosoft Band SDK Preview - TileMicrosoft Band SDK Preview - NotificheMicrosoft Band SDK Preview - Personalizzazione
Gli argomenti trattati e il codice proposto dovrebbe, ad una prima lettura delle nuove funzionalita’ inserite, essere ancora valido e funzionante ma nei prossimi giorni prendero’ in esame tutti gli argomenti dei precedenti post e vedremo cosa cambia e cosa e’ …

Template di progetto per sviluppare applicazioni WPF con Intel® RealSense™

E’ disponibile, nella gallery di Visual Studio, la prima versione del mio template di progetto per applicazioni WPF scritte in C# che permette di realizzare applicazioni con l’SDK di Intel® RealSense™.Il template si può scaricare direttamente all’interno Visual Studio utilizzando il tool “Extensions and Updates”oppure all’indirizzo https://visualstudiogallery.msdn.microsoft.com/1c36ecfd-8c00-4aee-b20c-a1726ab6424dIl template esegue le seguenti operazioni per voi:Aggiunge la reference all’assembly libpxcclr.cs.dll (nelle due distinte versioni per x86 e x64);Aggiunge lo script di post build per copiare la libreria libpxccpp2c.dll dalla cartella dell’SDK alla cartella bin del vostro progetto.Una volta creato il progetto dovete rimuovere la configurazione di compilazione AnyCPU (che non ha più senso) dalla vostra solution e sarete pronti per sviluppare con Intel® RealSense™.Ovviamente dovete installare l’SDK che potete scaricare all’indirizzo https://software.intel.com/en-us/intel-realsen…