lunedì 17 febbraio 2014

Kinect V2: vista ad infrarossi

In questo post vedremo come gestire lo stream infrarossi che il Kinect V2 espone.

Il Kinect V2 ci mette a disposizione ben due sorgenti Infrarosse (a livello hardware si tratta di una sola sorgente ma abbiamo a disposizione due “rubinetti” differenti con diverse caratteristiche):

  • InfraredFrameSource : lo stream è composto da singoli frame infrarossi;
  • LongExposureInfraredFrameSource : ogni frame di infrarosso è, in realtà, la composizione di 3 frame infrarossi a diverse frequenze. Consente di avere un rapporto segnale-rumore migliore ma un maggiore sfocamento (motion blur).

image

Utilizzare la sorgente infrarossa o quella infrarossa a lunga esposizione è esattamente la stessa cosa cambiando unicamente la proprietà dell’istanza di KinectSensor da cui recuperare la sorgente.

Prendiamo in esame una sola sorgente e cerchiamo di capire come fare in modo di ottenere i frame infrarossi dal device e trasformarli in immagini.

Quello che ci serve è una variabile che contenga l’istanza del device che stiamo utilizzando (classe KinectSensor), una che contenga i dati grezzi provenienti dalla sorgente infrarossa (array di UShort), una che contenga la conversione in pixels di questi ultimi (array di Byte) e una che contenga il reader (di tipo InfraredFrameReader) che ci servira’ per leggere effettivamente i dati dalla sorgente infrarossa

Private Property Sensor As KinectSensor

Private Property InfraredReader As InfraredFrameReader
Private Property InfraredData As UShort()
Private Property InfraredPixels As Byte()

La classe InfraredFramereader (e la controparte per l’infrarosso a lunga esposizione LongExposureInfraredFrameReader) è molto simile a quella vista nel post relativo allo stream color:

image

Il reader per lo stream ad infrarossi (di tipo InfraredFrameReader) può essere aperto con il metodo OpenReader() della classe InfraredFrameSource (che possiamo ricavare dalla proprietà InfraredFrameSource della classe KinectSensor). Il reader ci mette a disposizione un evento, FrameArrived, che possiamo sfruttare per essere avvisati quando un nuovo frame infrarosso è disponibile.

Nel seguente pezzo di codice recuperiamo il Kinect di default, quindi inizializziamo le variabili di cui abbiamo parlato poco fa, e, infice, apriamo il reader per l’infrarosso:

Sensor = KinectSensor.Default
If Sensor IsNot Nothing Then
    Sensor.Open()

    Dim iFrameDescription = Sensor.InfraredFrameSource.FrameDescription
    InfraredData = New UShort(CInt(iFrameDescription.LengthInPixels - 1)) {}
    InfraredPixels = New Byte(iFrameDescription.Width * iFrameDescription.Height * BytesPerPixel - 1) {}
    InfraredBitMap = New WriteableBitmap(iFrameDescription.Width, iFrameDescription.Height,
                                         96.0, 96.0, PixelFormats.Bgr32, Nothing)
    InfraredReader = Sensor.InfraredFrameSource.OpenReader()
End If

Quello che rimane da fare è gestire l’evento FrameArrived:

If InfraredReader IsNot Nothing Then
    AddHandler InfraredReader.FrameArrived, AddressOf InfraredFrameArrivedHandler
End If

L’SDK del Kinect solleva l’evento quando un frame è disponibile e ci viene fornita la possibilità di gestire lo stesso attraverso l’argomento dell’evento stesso.

L’argomento dell’evento ci fornisce un reference al frame (di tipo InfraredFrameReference) che ci consente di recuperare effettivamente il frame (di tipo InfraredFrame) utilizzando il metodo AcquireFrame():

Private Sub InfraredFrameArrivedHandler(sender As Object, e As InfraredFrameArrivedEventArgs)
    Dim frameReference = e.FrameReference
    Dim frame As InfraredFrame = Nothing
    Try
        frame = frameReference.AcquireFrame()
        If frame IsNot Nothing Then
            InfraredFrameDescription = frame.FrameDescription

            frame.CopyFrameDataToArray(InfraredData)
            InfraredData.CopyInfrareddataToPixelsArray(InfraredPixels)

            InfraredBitMap.WritePixels(New Int32Rect(0, 0, InfraredFrameDescription.Width, InfraredFrameDescription.Height),
                                Me.InfraredPixels, InfraredFrameDescription.Width * BytesPerPixel, 0)

        End If
    Catch ex As Exception

    Finally
        If frame IsNot Nothing Then
            frame.Dispose()
        End If
    End Try
End Sub

L’algoritmo che utilizziamo nel precedente gestore è il seguente:

  1. Utilizziamo AquireFrame() per recuperare l’istanza di InfraredFrame;
  2. Se questa istanza non è Nothing, possiamo:
    • recuperare il FrameDescription che ci consente di avere informazioni riguardanti altezza, larghezza, angolo di campo, etc., etc. dell’immagine infrarossa recuperata dal Kinect;
    • copiare il contenuto raw (un array di UShort) proveniente dal device utilizzando il metodo CopyFrameDataToArray() all’interno della nostra variabile InfraredData;
    • creare l’array di Byte contenente i pixels ottenuti dal contenuto raw tramite il seguente metodo di estensione:
<Extension>
Public Sub CopyInfraredDataToPixelsArray(infraredData As UShort(), pixelsArray As Byte())
    Dim colorPixelIndex = 0
    For i = 0 To infraredData.Length - 1
        Dim ir = infraredData(i)
        Dim intensity = CByte(ir >> 8)
        pixelsArray(colorPixelIndex) = intensity
        colorPixelIndex += 1
        pixelsArray(colorPixelIndex) = intensity
        colorPixelIndex += 1
        pixelsArray(colorPixelIndex) = intensity
        colorPixelIndex += 2
    Next
End Sub
    • scrivere i pixels all’interno dell’immagine che possiamo visualizzare.

Come possiamo vedere, quindi, l’utilizzo della sorgente ad infrarossi è molto simile a quello visto per la sorgente video a colori nel precedente post.

Nel prossimo post daremo un’occhiata allo stream di profondità.

Disclaimer: “This is preliminary software and/or hardware and APIs are preliminary and subject to change.”

lunedì 3 febbraio 2014

Kinect V2: gestire lo stream color

In questo post cominceremo a vedere come sia possibile interagire con il device per recuperare lo stream video proveniente dalla camera fullHD del Kinect.

Il nuovo meccanismo esposto dall’SDK per accedere agli stream (sia per il video che per gli altri come quello di profondità o dell’infrarosso) si basa sul concetto di sorgente (source) e di reader della sorgente.

La classe KinectSensor espone una serie di proprietà che consentono di accedere alle sorgenti (nel caso dello stream video, la proprietà si chiama ColorFrameSource) e ognuna di queste da la possibilità di aprire un reader per leggere effettivamente lo stream.

L’utilizzo del reader fa si che più applicazioni siano in grado di utilizzare il Kinect contemporaneamente.

Il seguente diagramma mostra la struttura delle classi:

image

La classe ColorFrameSource espone la proprietà FrameDescription che ci fornisce informazioni relative al frame che possiamo ottenere tramite questo stream.

image

In particolare possiamo trovare il campo di visuale della diagonale, quello verticale, quello orizzontale, l’altezza e la larghezza dell’immagine, il numero di bytes per pixel e la lunghezza dell’immagine in pixel.

La classe ColorFrameSource espone, inoltre, l’evento FrameCaptured che viene sollevato ogni volta che un frame viene catturato dal device. L’argomento di tale evento fornisce informazioni relative al tipo di frame catturato:

image

Come possiamo vedere, l’argomento non ci fornisce alcuna informazione relativamente all’immagine catturata e, infatti, non è utilizzando questo evento che possiamo recuperare l’immagine.

Per avere l’effettiva immagine catturata dal Kinect, infatti, dobbiamo utilizzare un ColorFrameReader, che possiamo recuperare dall’istanza attiva del ColorFrameSource tramite il metodo OpenReader().

Sensor = KinectSensor.Default
If Sensor IsNot Nothing Then
    Sensor.Open()

    Dim frameDescription = Sensor.ColorFrameSource.FrameDescription
    ColorData = New Byte(frameDescription.Width * frameDescription.Height * BytesPerPixel - 1) {}

    BitMap = New WriteableBitmap(frameDescription.Width, frameDescription.Height,
                                 96.0, 96.0, PixelFormats.Bgr32, Nothing)

    ColorReader = Sensor.ColorFrameSource.OpenReader()
End If

dove

Private Property Sensor As KinectSensor

Private Property ColorReader As ColorFrameReader

Private Property ColorData As Byte()

Private BytesPerPixel As Integer = CInt(PixelFormats.Bgr32.BitsPerPixel / 8)

Il reader, a sua volta, espone l’evento FrameArrived nel cui argomento troviamo gli strumenti per ottenere l’immagine desiderata:

image

If ColorReader IsNot Nothing Then
    AddHandler ColorReader.FrameArrived, AddressOf FrameArrivedHandler
End If

Il metodo AcquireFrame() permette di recuperare il ColorFrame che contiene, effettivamente, l’immagine:

 image

La classe ColorFrame espone:

  • le informazioni (in sola lettura) relative alle impostazioni della camera (classe ColorCameraSettings) in termini di tempo di esposizione, intervallo di tempo tra un frame ed il successivo (che dovrebbe essere espresso in decimi di microsecondo), etc., etc.;
  • le informazioni specifiche del frame (classe FrameDescription), le stesse già viste in precedenza per la classe ColorFrameSource;
  • il tipo di formato raw dell’immagine.

La classe ColorFrame ci mette a disposizione, inoltre 4 metodi per il recupero dei bytes costituenti l’immagine:

  • CopyConvertedFrameDataToArray(), CopyConvertedFrameDataToBuffer() : permettono di copiare i byte di immagine contenuti nel frame all’interno, rispettivamente, di un array o in una porzione di memoria (indicata da un puntatore IntPtr) in un formato passato per argomento;
  • CopyRawFrameDataToArray(), CopyRawFrameDataToBuffer() : permettono di copiare i byte di immagine in formato raw contenuti nel frame all’interno, rispettivamente, di un array o in una porzione di memoria (indicata da un puntatore IntPtr).

Possiamo utilizzare uno di questi metodi per ottenere, ad esempio una WritableBitmap da visualizzare in un controllo Image XAML.

Un esempio di gestione dell’evento FrameArrived del ColorFramereader può essere il seguente:

Private Sub FrameArrivedHandler(sender As Object, e As ColorFrameArrivedEventArgs)
    Dim frameReference = e.FrameReference
    Dim colorFrame As ColorFrame = Nothing
    Try
        colorFrame = frameReference.AcquireFrame()
        If colorFrame IsNot Nothing Then
            FrameDescription = colorFrame.FrameDescription
            If (FrameDescription.Width = CInt(BitMap.Width) And FrameDescription.Height = CInt(BitMap.Height)) Then

                If colorFrame.RawColorImageFormat = ColorImageFormat.Bgra Then
                    colorFrame.CopyRawFrameDataToArray(Me.ColorData)
                Else
                    colorFrame.CopyConvertedFrameDataToArray(Me.ColorData, ColorImageFormat.Bgra)
                End If

                BitMap.WritePixels(New Int32Rect(0, 0, FrameDescription.Width, FrameDescription.Height),
                                    Me.ColorData,
                                    FrameDescription.Width * BytesPerPixel,
                                    0)

            End If
        End If
    Catch ex As Exception

    Finally
        If colorFrame IsNot Nothing Then
            colorFrame.Dispose()
        End If
    End Try
End Sub

In questo modo siamo in grado di gestire i singoli frame provenienti dal device trattandoli come una sequenza di immagini.

Arrivederci al prossimo post!!!

Disclaimer: “This is preliminary software and/or hardware and APIs are preliminary and subject to change.”