lunedì 26 maggio 2014

Kinect V2: supporto per le Windows Store App

Alla fine di Aprile è stata rilasciata una nuova versione dell’SDK per Kinect V2 e questa porta con se alcune novità interessanti tra le quali spicca il supporto per le Windows Store Apps.

Questo significa che, nel momento in cui il device sarà commercializzato (presumibilmente in estate), potremo cominciare a pubblicare applicazioni WinRT per Windows 8.1 che supportino il Kinect.

In questo post vedremo come utilizzare le API esposte dall’SDK in un contesto Windows Store App.

Per prima cosa, ovviamente, creiamo il nostro progetto Windows Store App:

image

Una volta che il progetto e i file relativi sono stati creati da Visual Studio, abbiamo la necessità di referenziare la dll contenente le classi per la gestione del Kinect.

Questa, a differenza della versione per applicazioni desktop “classiche”, si chiama WindowsPreview.Kinect (invece che Microsoft.Kinect):

image

Rispetto alla versione desktop “classica”, nella versione WinRT possiamo riscontrare due macro differenze:

  • la classe KinectSensor mette a disposizione il metodo statico GetDefault() per recuperare l’istanza di default del device anzichè la proprietà Default;
  • la classe KinectSensor non implementa l’interfaccia IDisposable. Non è necessario, quindi, eseguire il dispose dell’istanza del device alla chiusura per rilasciare correttamente l’istanza..

A parte questo, tutto il resto continua a funzionare allo stesso modo visto nei precedenti post della serie Kinect V2 senza alcuna modifica.

Se abbiamo intenzione di gestire l’interazione con il device utilizzando gli eventi, dobbiamo prestare attenzione a rilasciare in breve tempo i frame recuperati.
Gli eventi, infatti, vengono richiamati nel thread principale dell’applicazione e, questo, facilita l’aggiornamento dell’interfaccia non dovendo eseguire uno switch di contesto tramite il dispatcher. Dobbiamo essere, però, rapidi nella gestione dei dati provenienti dal device stesso per lasciare libero il prima possibile il thread.

Nel seguente esempio di codice gestiamo l’evento MultiSourceFrameArrived per visualizzare nell’interfaccia il frame proveniente dalla sorgente colore:

  1. Private Async Sub FrameArrivedHandler(sender As Object, e As MultiSourceFrameArrivedEventArgs)
  2.     Dim colorFrameProcessed As Boolean = False
  3.     Using frame = e.FrameReference.AcquireFrame()
  4.         If frame IsNot Nothing Then
  5.             Using colorFrame = frame.ColorFrameReference.AcquireFrame()
  6.                 If colorFrame IsNot Nothing Then
  7.                     CameraSettings = colorFrame.ColorCameraSettings
  8.                     ColorFrameDescription = colorFrame.FrameDescription
  9.                     If ColorFrameDescription.Width = CInt(Bitmap.PixelWidth) _
  10.                         And ColorFrameDescription.Height = CInt(Bitmap.PixelHeight) Then
  11.  
  12.                         If colorFrame.RawColorImageFormat = ColorImageFormat.Bgra Then
  13.                             colorFrame.CopyRawFrameDataToArray(Me.ColorPixels)
  14.                         Else
  15.                             colorFrame.CopyConvertedFrameDataToArray(Me.ColorPixels, ColorImageFormat.Bgra)
  16.                         End If
  17.                         colorFrameProcessed = True
  18.                     End If
  19.                 End If
  20.             End Using
  21.         End If
  22.     End Using
  23.  
  24.     If colorFrameProcessed Then
  25.         Await DrawImage(ColorPixels)
  26.     End If
  27. End Sub

Osserviamo che il recupero dei dati colore viene eseguito il piu’ velocemente possibile e, solo dopo aver rilasciato il frame, viene creata l’immagine da proporre a video utilizzando un metodo asincrono.

  1. Private Async Function DrawImage(pixels As Byte()) As Task
  2.     ColorPixelStream.Seek(0, SeekOrigin.Begin)
  3.     Await ColorPixelStream.WriteAsync(pixels, 0, pixels.Length)
  4.     Bitmap.Invalidate()
  5. End Function

Il fatto che la dll contenente le classi utilizzabili per gestire il Kinect si chiami WindowsPreview fa presagire che qualcosa potrebbe cambiare prima del rilascio definitivo (che dovrebbe avvenire con la messa in commercio del sensore) ma, d’altro canto la possibilità di usare il Kinect per applicazioni NUI immersive in Windows 8.1 solletica la fantasia e apre nuovi scenari che, allo stato attuale, altri device dello stesso tipo non permettono.