Passa ai contenuti principali

Kinect V2: MultiFrameSource

Nei precedenti post abbiamo dato un’occhiata alle varie sorgenti messe a disposizione dalla nuova versione del Kinect.

Abbiamo visto come sia possibile recuperare il reader opportuno e sfruttare tale reader per ottenere i singoli frame desiderati.

Nella stragrande maggioranza delle applicazioni, però, abbiamo la necessità di elaborare più sorgenti contemporaneamente (basti pensare, ad esempio ad una applicazione che rileva il body del giorcatore e contemporaneamente mostra l’immagine proveniente dalla cam).

In questo caso, l’SDK ci viene in aiuto mettendoci a disposizione una sorgente particolare della MultiFrameSource.

L’utilizzo di questo tipo particolare di sorgente si differenzia rispetto all’utilizzo delle altre sorgenti “singole”. Le sorgenti singole sono esposte direttamente, tramite delle proprietà, dalla classe KinectSensor. Una volta ottenuta la reference alla sorgente, possimao utilizzare il metodo OpenReader per avere a disposizione il reader che, effettivamente, ci permette di consumare i dati.

Nel caso della MultiFrameSource, questa non è direttamente accessibile tramite la classe KinectSensor, ma quest’ultima ci fornisce un metodo (il metodo OpenMultiSourceFrameReader() ) per aprire il reader opportuno.

Sensor = KinectSensor.Default
If Sensor IsNot Nothing Then
    Sensor.Open()
    MultiReader = Sensor.OpenMultiSourceFrameReader(FrameSourceTypes.Color Or
                                                    FrameSourceTypes.BodyIndex Or
                                                    FrameSourceTypes.Body)
End If

Nel precedente pezzo di codice osserviamo che il metodo OPenMultiSourceFrameReader accetta come argomento l’elenco delle sorgenti a cui siamo effettivamente interessati (enumerazione FrameSourceTypes):

image

Una volta ottenuto il reader, il procedimento con cui elaboriamo i frame provenienti dal device è analogo a quello delle altre sorgenti.

Il reader espone il metodo MultiSourceFrameArrived che possiamo gestire e che viene richiamato ogni volta che il frame è disponibile per l’eleborazione:

If MultiReader IsNot Nothing Then
    AddHandler MultiReader.MultiSourceFrameArrived, AddressOf MultiSourceFrameArrivedHandler
End If

L’argomento fornito dal metodo (di tipo MultiSourceFrameArrivedEventArgs) espone, in maniera analoga a quanto fanno i corrispettivi argomenti forniti dagli altri metodi di gestione dei frame, una proprietà, di tipo MultiSourceFrameReference.
Ancora una volta, come per gli altri source reference, abbiamo a disposizione il metodo AcquireFrame() per recuperare, effettivamente il frame.

image

L’istanza di MultiSourceFrame espone le reference ai singoli frame il cui utilizzo è già stato trattato nei precedenti post.

Nel seguente pezzo di codice, ad esempio, andiamo a gestire l’immagine proveniente dal device, i body e il body index:

Private Sub MultiSourceFrameArrivedHandler(sender As Object, e As MultiSourceFrameArrivedEventArgs)
    Dim frameReference = e.FrameReference
    Dim frame As MultiSourceFrame = Nothing
    Try
        frame = frameReference.AcquireFrame()
        If frame IsNot Nothing Then
            Using dc = DrawingGroup.Open()
                DrawColorImage(frame, dc)

                DrawBody(frame, dc)

                DrawPlayerIndex(frame, dc)
            End Using
        End If
    Catch ex As Exception

    Finally
        If frame IsNot Nothing Then frame.Dispose()
    End Try
End Sub

Il codice per la gestione dell’immagine è, come possiamo vedere, del tutto simile a quello visto nel precedente post.

Private Sub DrawColorImage(ByVal frame As MultiSourceFrame, dc As DrawingContext)
    If frame Is Nothing Then Return
    Using colorFrame = frame.ColorFrameReference.AcquireFrame()
        If colorFrame IsNot Nothing Then
            If colorFrame.RawColorImageFormat = ColorImageFormat.Bgra Then
                colorFrame.CopyRawFrameDataToArray(Me.ColorData)
            Else
                colorFrame.CopyConvertedFrameDataToArray(Me.ColorData, ColorImageFormat.Bgra)
            End If

            Dim bitmap = New WriteableBitmap(colorFrame.FrameDescription.Width, colorFrame.FrameDescription.Height,
                                             96.0, 96.0, PixelFormats.Bgr32, Nothing)
            bitmap.WritePixels(New Int32Rect(0, 0, colorFrame.FrameDescription.Width, colorFrame.FrameDescription.Height),
                               Me.ColorData,
                               colorFrame.FrameDescription.Width * BytesPerPixel,
                               0)

            dc.DrawImage(bitmap, New System.Windows.Rect(0, 0, colorFrame.FrameDescription.Width, colorFrame.FrameDescription.Height))
        End If
    End Using
End Sub

Le reference ai frame che non abbiamo selezionato in fase di apertura del reader non sono valorizzati.

 

Technorati Tags: ,,,

Commenti

Post popolari in questo blog

VB.NET: Convertire un file DOC in RTF e PDF con office interop

In questo post vorrei proporvi del codice per poter convertire un file .doc in un file .rtf oppure .pdf utilizzando le API di interoperabilità di Office.Creeremo una classe, DocConverter, che esporrà le due funzionalità sopra citate.Cominciamo con il prevedere un attributo privato della classe che rappresenterà l’applicazione Word che utilizzeremo per la conversione. Creeremo l’istanza dell’attributo privato all’interno del costruttore della classe:PublicSubNew()
IfNot CreateWordApp() Then
ThrowNew ApplicationException("Assembly di interoperabilità con Office non trovato!")
EndIf
EndSub
Private _wordApp As Word.ApplicationClass
ProtectedFunction CreateWordApp() AsBoolean
Dim retval = True
Try
_wordApp = New Word.ApplicationClass()
_wordApp.Visible = False
Catch ex As System.Exception
_wordApp = Nothing
retval = False
EndTry
Return retval
EndFunction

La conversione del file doc sarà effettuata aprendo il file stesso ed eseguendo un’operazione di SaveAs:

Pr…

Cambiare la lingua di Visual Studio 2008

Oggi ho avuto qualche problema installando Windows Mobile 6 Professional SDK Refresh e Windows Mobile 6 Standard SDK Refresh.Scaricati i file di installazione e installati, ho provato a creare un progetto di tipo Windows Mobile 6.0 e mi sono beccato questo errore:Dopo qualche smanettamento abbiamo scoperto (e ringrazio il mitico Matteo per l’aiuto) che il mio Visual Studio 2008, pur essendo in Inglese (prova ne era il fatto che gli hotfix e la SP installata erano nella lingua di Albione) aveva come lingua impostata quella del sistema operativo (italiano).Ovviamente, non avrebbe mai potuto trovare la cartella 1040 (italiano) visto che l’installazione dell’SDK aveva supposto che la lingua del Visual Studio fosse Inglese (1033).La soluzione del problema è duplice:1) Duplicate la cartella 1033 presente nel percorso evidenziato dall’errore e la rinominate 10402) cambiate la lingua di Visual Studio.Per questa ultima eventualità basta andare nel menù Strumenti/Opzioni:e cambiare il linguaggi…

Tascam DR-05 registratore digitale per tutti

Diverso tempo fa ho acquistato il registratore digitale Tascam DR-05 e, ora, dopo diversi mesi di utilizzo, posso dire la mia a proposito.

Si tratta di un ottimo registratore digitale con microfono stereo che permette di ottenere registrazioni di ottima qualitaà anche in ambienti non perfetti dal punto di vista acustico.

Interessante la possibilità di utilizzare un cavalletto di piccole dimensioni come HAMA Mini treppiede o Mini Cavalletto Universale per tenere il microfono sollevato dal tavolo in fase di registrazione grazie allàattacco universale per macchina fotografica che il microfono ha nella parte inferiore.

Da segnalare anche il menu’ ben fatto e la possibilita’ di utilizzare una scheda SD esterna per memorizzare i file audio. Anche a livello di consumo batterie non e’ niente male. Consiglio l’uso delle alcaline non ricaricabili.

Il mio utilizzo e’ stato prettamente di registrazione di podcast vocali (no musica) ma le recensioni confermano che se la cava egregiamente con la mu…