Passa ai contenuti principali

Kinect V2: gestire lo stream color

In questo post cominceremo a vedere come sia possibile interagire con il device per recuperare lo stream video proveniente dalla camera fullHD del Kinect.

Il nuovo meccanismo esposto dall’SDK per accedere agli stream (sia per il video che per gli altri come quello di profondità o dell’infrarosso) si basa sul concetto di sorgente (source) e di reader della sorgente.

La classe KinectSensor espone una serie di proprietà che consentono di accedere alle sorgenti (nel caso dello stream video, la proprietà si chiama ColorFrameSource) e ognuna di queste da la possibilità di aprire un reader per leggere effettivamente lo stream.

L’utilizzo del reader fa si che più applicazioni siano in grado di utilizzare il Kinect contemporaneamente.

Il seguente diagramma mostra la struttura delle classi:

image

La classe ColorFrameSource espone la proprietà FrameDescription che ci fornisce informazioni relative al frame che possiamo ottenere tramite questo stream.

image

In particolare possiamo trovare il campo di visuale della diagonale, quello verticale, quello orizzontale, l’altezza e la larghezza dell’immagine, il numero di bytes per pixel e la lunghezza dell’immagine in pixel.

La classe ColorFrameSource espone, inoltre, l’evento FrameCaptured che viene sollevato ogni volta che un frame viene catturato dal device. L’argomento di tale evento fornisce informazioni relative al tipo di frame catturato:

image

Come possiamo vedere, l’argomento non ci fornisce alcuna informazione relativamente all’immagine catturata e, infatti, non è utilizzando questo evento che possiamo recuperare l’immagine.

Per avere l’effettiva immagine catturata dal Kinect, infatti, dobbiamo utilizzare un ColorFrameReader, che possiamo recuperare dall’istanza attiva del ColorFrameSource tramite il metodo OpenReader().

Sensor = KinectSensor.Default
If Sensor IsNot Nothing Then
    Sensor.Open()

    Dim frameDescription = Sensor.ColorFrameSource.FrameDescription
    ColorData = New Byte(frameDescription.Width * frameDescription.Height * BytesPerPixel - 1) {}

    BitMap = New WriteableBitmap(frameDescription.Width, frameDescription.Height,
                                 96.0, 96.0, PixelFormats.Bgr32, Nothing)

    ColorReader = Sensor.ColorFrameSource.OpenReader()
End If

dove

Private Property Sensor As KinectSensor

Private Property ColorReader As ColorFrameReader

Private Property ColorData As Byte()

Private BytesPerPixel As Integer = CInt(PixelFormats.Bgr32.BitsPerPixel / 8)

Il reader, a sua volta, espone l’evento FrameArrived nel cui argomento troviamo gli strumenti per ottenere l’immagine desiderata:

image

If ColorReader IsNot Nothing Then
    AddHandler ColorReader.FrameArrived, AddressOf FrameArrivedHandler
End If

Il metodo AcquireFrame() permette di recuperare il ColorFrame che contiene, effettivamente, l’immagine:

 image

La classe ColorFrame espone:

  • le informazioni (in sola lettura) relative alle impostazioni della camera (classe ColorCameraSettings) in termini di tempo di esposizione, intervallo di tempo tra un frame ed il successivo (che dovrebbe essere espresso in decimi di microsecondo), etc., etc.;
  • le informazioni specifiche del frame (classe FrameDescription), le stesse già viste in precedenza per la classe ColorFrameSource;
  • il tipo di formato raw dell’immagine.

La classe ColorFrame ci mette a disposizione, inoltre 4 metodi per il recupero dei bytes costituenti l’immagine:

  • CopyConvertedFrameDataToArray(), CopyConvertedFrameDataToBuffer() : permettono di copiare i byte di immagine contenuti nel frame all’interno, rispettivamente, di un array o in una porzione di memoria (indicata da un puntatore IntPtr) in un formato passato per argomento;
  • CopyRawFrameDataToArray(), CopyRawFrameDataToBuffer() : permettono di copiare i byte di immagine in formato raw contenuti nel frame all’interno, rispettivamente, di un array o in una porzione di memoria (indicata da un puntatore IntPtr).

Possiamo utilizzare uno di questi metodi per ottenere, ad esempio una WritableBitmap da visualizzare in un controllo Image XAML.

Un esempio di gestione dell’evento FrameArrived del ColorFramereader può essere il seguente:

Private Sub FrameArrivedHandler(sender As Object, e As ColorFrameArrivedEventArgs)
    Dim frameReference = e.FrameReference
    Dim colorFrame As ColorFrame = Nothing
    Try
        colorFrame = frameReference.AcquireFrame()
        If colorFrame IsNot Nothing Then
            FrameDescription = colorFrame.FrameDescription
            If (FrameDescription.Width = CInt(BitMap.Width) And FrameDescription.Height = CInt(BitMap.Height)) Then

                If colorFrame.RawColorImageFormat = ColorImageFormat.Bgra Then
                    colorFrame.CopyRawFrameDataToArray(Me.ColorData)
                Else
                    colorFrame.CopyConvertedFrameDataToArray(Me.ColorData, ColorImageFormat.Bgra)
                End If

                BitMap.WritePixels(New Int32Rect(0, 0, FrameDescription.Width, FrameDescription.Height),
                                    Me.ColorData,
                                    FrameDescription.Width * BytesPerPixel,
                                    0)

            End If
        End If
    Catch ex As Exception

    Finally
        If colorFrame IsNot Nothing Then
            colorFrame.Dispose()
        End If
    End Try
End Sub

In questo modo siamo in grado di gestire i singoli frame provenienti dal device trattandoli come una sequenza di immagini.

Arrivederci al prossimo post!!!

Disclaimer: “This is preliminary software and/or hardware and APIs are preliminary and subject to change.”

Commenti

Post popolari in questo blog

VB.NET: Convertire un file DOC in RTF e PDF con office interop

In questo post vorrei proporvi del codice per poter convertire un file .doc in un file .rtf oppure .pdf utilizzando le API di interoperabilità di Office.Creeremo una classe, DocConverter, che esporrà le due funzionalità sopra citate.Cominciamo con il prevedere un attributo privato della classe che rappresenterà l’applicazione Word che utilizzeremo per la conversione. Creeremo l’istanza dell’attributo privato all’interno del costruttore della classe:PublicSubNew()
IfNot CreateWordApp() Then
ThrowNew ApplicationException("Assembly di interoperabilità con Office non trovato!")
EndIf
EndSub
Private _wordApp As Word.ApplicationClass
ProtectedFunction CreateWordApp() AsBoolean
Dim retval = True
Try
_wordApp = New Word.ApplicationClass()
_wordApp.Visible = False
Catch ex As System.Exception
_wordApp = Nothing
retval = False
EndTry
Return retval
EndFunction

La conversione del file doc sarà effettuata aprendo il file stesso ed eseguendo un’operazione di SaveAs:

Pr…

Tascam DR-05 registratore digitale per tutti

Diverso tempo fa ho acquistato il registratore digitale Tascam DR-05 e, ora, dopo diversi mesi di utilizzo, posso dire la mia a proposito.

Si tratta di un ottimo registratore digitale con microfono stereo che permette di ottenere registrazioni di ottima qualitaà anche in ambienti non perfetti dal punto di vista acustico.

Interessante la possibilità di utilizzare un cavalletto di piccole dimensioni come HAMA Mini treppiede o Mini Cavalletto Universale per tenere il microfono sollevato dal tavolo in fase di registrazione grazie allàattacco universale per macchina fotografica che il microfono ha nella parte inferiore.

Da segnalare anche il menu’ ben fatto e la possibilita’ di utilizzare una scheda SD esterna per memorizzare i file audio. Anche a livello di consumo batterie non e’ niente male. Consiglio l’uso delle alcaline non ricaricabili.

Il mio utilizzo e’ stato prettamente di registrazione di podcast vocali (no musica) ma le recensioni confermano che se la cava egregiamente con la mu…

Cambiare la lingua di Visual Studio 2008

Oggi ho avuto qualche problema installando Windows Mobile 6 Professional SDK Refresh e Windows Mobile 6 Standard SDK Refresh.Scaricati i file di installazione e installati, ho provato a creare un progetto di tipo Windows Mobile 6.0 e mi sono beccato questo errore:Dopo qualche smanettamento abbiamo scoperto (e ringrazio il mitico Matteo per l’aiuto) che il mio Visual Studio 2008, pur essendo in Inglese (prova ne era il fatto che gli hotfix e la SP installata erano nella lingua di Albione) aveva come lingua impostata quella del sistema operativo (italiano).Ovviamente, non avrebbe mai potuto trovare la cartella 1040 (italiano) visto che l’installazione dell’SDK aveva supposto che la lingua del Visual Studio fosse Inglese (1033).La soluzione del problema è duplice:1) Duplicate la cartella 1033 presente nel percorso evidenziato dall’errore e la rinominate 10402) cambiate la lingua di Visual Studio.Per questa ultima eventualità basta andare nel menù Strumenti/Opzioni:e cambiare il linguaggi…