In questo post cominceremo a vedere come sia possibile interagire con il device per recuperare lo stream video proveniente dalla camera fullHD del Kinect.
Il nuovo meccanismo esposto dall’SDK per accedere agli stream (sia per il video che per gli altri come quello di profondità o dell’infrarosso) si basa sul concetto di sorgente (source) e di reader della sorgente.
La classe KinectSensor espone una serie di proprietà che consentono di accedere alle sorgenti (nel caso dello stream video, la proprietà si chiama ColorFrameSource) e ognuna di queste da la possibilità di aprire un reader per leggere effettivamente lo stream.
L’utilizzo del reader fa si che più applicazioni siano in grado di utilizzare il Kinect contemporaneamente.
Il seguente diagramma mostra la struttura delle classi:
La classe ColorFrameSource espone la proprietà FrameDescription che ci fornisce informazioni relative al frame che possiamo ottenere tramite questo stream.
In particolare possiamo trovare il campo di visuale della diagonale, quello verticale, quello orizzontale, l’altezza e la larghezza dell’immagine, il numero di bytes per pixel e la lunghezza dell’immagine in pixel.
La classe ColorFrameSource espone, inoltre, l’evento FrameCaptured che viene sollevato ogni volta che un frame viene catturato dal device. L’argomento di tale evento fornisce informazioni relative al tipo di frame catturato:
Come possiamo vedere, l’argomento non ci fornisce alcuna informazione relativamente all’immagine catturata e, infatti, non è utilizzando questo evento che possiamo recuperare l’immagine.
Per avere l’effettiva immagine catturata dal Kinect, infatti, dobbiamo utilizzare un ColorFrameReader, che possiamo recuperare dall’istanza attiva del ColorFrameSource tramite il metodo OpenReader().
If Sensor IsNot Nothing Then
Sensor.Open()
Dim frameDescription = Sensor.ColorFrameSource.FrameDescription
ColorData = New Byte(frameDescription.Width * frameDescription.Height * BytesPerPixel - 1) {}
BitMap = New WriteableBitmap(frameDescription.Width, frameDescription.Height,
96.0, 96.0, PixelFormats.Bgr32, Nothing)
ColorReader = Sensor.ColorFrameSource.OpenReader()
End If
dove
Private Property ColorReader As ColorFrameReader
Private Property ColorData As Byte()
Private BytesPerPixel As Integer = CInt(PixelFormats.Bgr32.BitsPerPixel / 8)
Il reader, a sua volta, espone l’evento FrameArrived nel cui argomento troviamo gli strumenti per ottenere l’immagine desiderata:
AddHandler ColorReader.FrameArrived, AddressOf FrameArrivedHandler
End If
Il metodo AcquireFrame() permette di recuperare il ColorFrame che contiene, effettivamente, l’immagine:
La classe ColorFrame espone:
- le informazioni (in sola lettura) relative alle impostazioni della camera (classe ColorCameraSettings) in termini di tempo di esposizione, intervallo di tempo tra un frame ed il successivo (che dovrebbe essere espresso in decimi di microsecondo), etc., etc.;
- le informazioni specifiche del frame (classe FrameDescription), le stesse già viste in precedenza per la classe ColorFrameSource;
- il tipo di formato raw dell’immagine.
La classe ColorFrame ci mette a disposizione, inoltre 4 metodi per il recupero dei bytes costituenti l’immagine:
- CopyConvertedFrameDataToArray(), CopyConvertedFrameDataToBuffer() : permettono di copiare i byte di immagine contenuti nel frame all’interno, rispettivamente, di un array o in una porzione di memoria (indicata da un puntatore IntPtr) in un formato passato per argomento;
- CopyRawFrameDataToArray(), CopyRawFrameDataToBuffer() : permettono di copiare i byte di immagine in formato raw contenuti nel frame all’interno, rispettivamente, di un array o in una porzione di memoria (indicata da un puntatore IntPtr).
Possiamo utilizzare uno di questi metodi per ottenere, ad esempio una WritableBitmap da visualizzare in un controllo Image XAML.
Un esempio di gestione dell’evento FrameArrived del ColorFramereader può essere il seguente:
Dim frameReference = e.FrameReference
Dim colorFrame As ColorFrame = Nothing
Try
colorFrame = frameReference.AcquireFrame()
If colorFrame IsNot Nothing Then
FrameDescription = colorFrame.FrameDescription
If (FrameDescription.Width = CInt(BitMap.Width) And FrameDescription.Height = CInt(BitMap.Height)) Then
If colorFrame.RawColorImageFormat = ColorImageFormat.Bgra Then
colorFrame.CopyRawFrameDataToArray(Me.ColorData)
Else
colorFrame.CopyConvertedFrameDataToArray(Me.ColorData, ColorImageFormat.Bgra)
End If
BitMap.WritePixels(New Int32Rect(0, 0, FrameDescription.Width, FrameDescription.Height),
Me.ColorData,
FrameDescription.Width * BytesPerPixel,
0)
End If
End If
Catch ex As Exception
Finally
If colorFrame IsNot Nothing Then
colorFrame.Dispose()
End If
End Try
End Sub
In questo modo siamo in grado di gestire i singoli frame provenienti dal device trattandoli come una sequenza di immagini.
Arrivederci al prossimo post!!!
Disclaimer: “This is preliminary software and/or hardware and APIs are preliminary and subject to change.”
Commenti