Passa ai contenuti principali

Kinect V2: supporto per le Windows Store App

Alla fine di Aprile è stata rilasciata una nuova versione dell’SDK per Kinect V2 e questa porta con se alcune novità interessanti tra le quali spicca il supporto per le Windows Store Apps.

Questo significa che, nel momento in cui il device sarà commercializzato (presumibilmente in estate), potremo cominciare a pubblicare applicazioni WinRT per Windows 8.1 che supportino il Kinect.

In questo post vedremo come utilizzare le API esposte dall’SDK in un contesto Windows Store App.

Per prima cosa, ovviamente, creiamo il nostro progetto Windows Store App:

image

Una volta che il progetto e i file relativi sono stati creati da Visual Studio, abbiamo la necessità di referenziare la dll contenente le classi per la gestione del Kinect.

Questa, a differenza della versione per applicazioni desktop “classiche”, si chiama WindowsPreview.Kinect (invece che Microsoft.Kinect):

image

Rispetto alla versione desktop “classica”, nella versione WinRT possiamo riscontrare due macro differenze:

  • la classe KinectSensor mette a disposizione il metodo statico GetDefault() per recuperare l’istanza di default del device anzichè la proprietà Default;
  • la classe KinectSensor non implementa l’interfaccia IDisposable. Non è necessario, quindi, eseguire il dispose dell’istanza del device alla chiusura per rilasciare correttamente l’istanza..

A parte questo, tutto il resto continua a funzionare allo stesso modo visto nei precedenti post della serie Kinect V2 senza alcuna modifica.

Se abbiamo intenzione di gestire l’interazione con il device utilizzando gli eventi, dobbiamo prestare attenzione a rilasciare in breve tempo i frame recuperati.
Gli eventi, infatti, vengono richiamati nel thread principale dell’applicazione e, questo, facilita l’aggiornamento dell’interfaccia non dovendo eseguire uno switch di contesto tramite il dispatcher. Dobbiamo essere, però, rapidi nella gestione dei dati provenienti dal device stesso per lasciare libero il prima possibile il thread.

Nel seguente esempio di codice gestiamo l’evento MultiSourceFrameArrived per visualizzare nell’interfaccia il frame proveniente dalla sorgente colore:

  1. Private Async Sub FrameArrivedHandler(sender As Object, e As MultiSourceFrameArrivedEventArgs)
  2.     Dim colorFrameProcessed As Boolean = False
  3.     Using frame = e.FrameReference.AcquireFrame()
  4.         If frame IsNot Nothing Then
  5.             Using colorFrame = frame.ColorFrameReference.AcquireFrame()
  6.                 If colorFrame IsNot Nothing Then
  7.                     CameraSettings = colorFrame.ColorCameraSettings
  8.                     ColorFrameDescription = colorFrame.FrameDescription
  9.                     If ColorFrameDescription.Width = CInt(Bitmap.PixelWidth) _
  10.                         And ColorFrameDescription.Height = CInt(Bitmap.PixelHeight) Then
  11.  
  12.                         If colorFrame.RawColorImageFormat = ColorImageFormat.Bgra Then
  13.                             colorFrame.CopyRawFrameDataToArray(Me.ColorPixels)
  14.                         Else
  15.                             colorFrame.CopyConvertedFrameDataToArray(Me.ColorPixels, ColorImageFormat.Bgra)
  16.                         End If
  17.                         colorFrameProcessed = True
  18.                     End If
  19.                 End If
  20.             End Using
  21.         End If
  22.     End Using
  23.  
  24.     If colorFrameProcessed Then
  25.         Await DrawImage(ColorPixels)
  26.     End If
  27. End Sub

Osserviamo che il recupero dei dati colore viene eseguito il piu’ velocemente possibile e, solo dopo aver rilasciato il frame, viene creata l’immagine da proporre a video utilizzando un metodo asincrono.

  1. Private Async Function DrawImage(pixels As Byte()) As Task
  2.     ColorPixelStream.Seek(0, SeekOrigin.Begin)
  3.     Await ColorPixelStream.WriteAsync(pixels, 0, pixels.Length)
  4.     Bitmap.Invalidate()
  5. End Function

Il fatto che la dll contenente le classi utilizzabili per gestire il Kinect si chiami WindowsPreview fa presagire che qualcosa potrebbe cambiare prima del rilascio definitivo (che dovrebbe avvenire con la messa in commercio del sensore) ma, d’altro canto la possibilità di usare il Kinect per applicazioni NUI immersive in Windows 8.1 solletica la fantasia e apre nuovi scenari che, allo stato attuale, altri device dello stesso tipo non permettono.

 

Commenti

Alessandro Morvillo ha detto…
Il supporto alle Windows Store App è compatibile solo con il Kinect 2? Non è possibile utilizzare il vecchio sensore?

Post popolari in questo blog

VB for Dummies: La serializzazione – parte 2

Questo post è la continuazione del precedente post sulla serializzazione. In particolare vedremo la serializzazione SOAP e quella JSON.   Serializzazione SOAP La serializzazione SOAP è demandata alla classe SOAPFormatter contenuta nel namespace System.Runtime.Serialization.Formatters.Soap contenuto nella libreria omonima. Il formatter SOAP risale alle primissime versioni del framework e, purtroppo, da un certo punto in poi, pur non essendo stato dichiarato obsoleto, non è stato portato avanti nello sviluppo e non supporta alcuni tipi di dati usatissimi nel mondo .NET quali i generici e i nullable. Per questo motivo, non possiamo serializzare in formato SOAP (utilizzando il SOAPFormatter) la nostra Fattura (vedi post precedente) poichè questa ha una proprietà di tipo List(Of DettagliFattura) (generico).   Serializzazione JSON Il formato di serializzazione JSON (maggiori info qui ) è un formato testuale molto in voga nelle applicazioni AJAX. Si trata di un mod...

Recensione: Windows Runtime via C#

Può sembrare strano che un VB-ista legga un libro su C#, ma come diceva Sun Tzu: “ Se conosci il tuo nemico, conosci te stesso ”. A parte gli scherzi, il libro vale la pena di essere letto a prescindere dal linguaggio .NET con cui si lavora. Oltre  290 pagine dedicate agli aspetti fondamentali dello sviluppo con Windows Runtime per le Windows Store App. I prerequisiti per poter leggere il libro sono la conoscenza di C# e di Visual Studio e gli autori non danno per scontato quasi nulla partendo dai concetti di base quali il type system e i suoi principi (argomento che di solito è saltato a piedi pari da chi si avvicina al mondo WinRT dal framework completo e che, se non compreso, può dare problemi nello sviluppo quotidiano). Tra i concetti che possiamo definire “core”, troviamo anche i capitoli dedicati all’app packaging e al process model, entrambi ben strutturati e chiari. Già solo questi tre capitoli iniziali giustificherebbero, in un certo qual modo, l’acquisto del libro, ...

Alla scoperta del Kinect : questione di profondità

Nei due precedenti post ( link e link ) abbiamo fatto conoscenza con “l’aggeggio” kinect e visto come sia possibile, in maniera molto semplice, gestire lo stream video proveniente dalla camera. In questo post diamo un’occhiata alla capacità che ha il Kinect di fornire frame in cui l’immagine non è la rappresentazione fedele della realtà che ci circonda ma la rappresentazione bidimensionale della distanza degli oggetti dai sensori di profondità. L’aggeggio, infatti, dispone di un sensore di profondità che è in grado di fornirci la distanza dei punti inquadrati da se stesso e, in più, è in grado di dirci a quale “player” fa riferimento ogni singolo pixel. Ma andiamo con ordine. Per abilitare la ricezione del depth stream è necessario: Istanziare la classe Runtime; Agganciare il gestore dell’evento DepthFrameReady; Inizializzare l’istanza della Runtime scegliendo una delle opzioni che abilitano il sensore di profondità; Aprire lo stream dei dati relativi alla pro...