Passa ai contenuti principali

Kinect V2: vista ad infrarossi

In questo post vedremo come gestire lo stream infrarossi che il Kinect V2 espone.

Il Kinect V2 ci mette a disposizione ben due sorgenti Infrarosse (a livello hardware si tratta di una sola sorgente ma abbiamo a disposizione due “rubinetti” differenti con diverse caratteristiche):

  • InfraredFrameSource : lo stream è composto da singoli frame infrarossi;
  • LongExposureInfraredFrameSource : ogni frame di infrarosso è, in realtà, la composizione di 3 frame infrarossi a diverse frequenze. Consente di avere un rapporto segnale-rumore migliore ma un maggiore sfocamento (motion blur).

image

Utilizzare la sorgente infrarossa o quella infrarossa a lunga esposizione è esattamente la stessa cosa cambiando unicamente la proprietà dell’istanza di KinectSensor da cui recuperare la sorgente.

Prendiamo in esame una sola sorgente e cerchiamo di capire come fare in modo di ottenere i frame infrarossi dal device e trasformarli in immagini.

Quello che ci serve è una variabile che contenga l’istanza del device che stiamo utilizzando (classe KinectSensor), una che contenga i dati grezzi provenienti dalla sorgente infrarossa (array di UShort), una che contenga la conversione in pixels di questi ultimi (array di Byte) e una che contenga il reader (di tipo InfraredFrameReader) che ci servira’ per leggere effettivamente i dati dalla sorgente infrarossa

Private Property Sensor As KinectSensor

Private Property InfraredReader As InfraredFrameReader
Private Property InfraredData As UShort()
Private Property InfraredPixels As Byte()

La classe InfraredFramereader (e la controparte per l’infrarosso a lunga esposizione LongExposureInfraredFrameReader) è molto simile a quella vista nel post relativo allo stream color:

image

Il reader per lo stream ad infrarossi (di tipo InfraredFrameReader) può essere aperto con il metodo OpenReader() della classe InfraredFrameSource (che possiamo ricavare dalla proprietà InfraredFrameSource della classe KinectSensor). Il reader ci mette a disposizione un evento, FrameArrived, che possiamo sfruttare per essere avvisati quando un nuovo frame infrarosso è disponibile.

Nel seguente pezzo di codice recuperiamo il Kinect di default, quindi inizializziamo le variabili di cui abbiamo parlato poco fa, e, infice, apriamo il reader per l’infrarosso:

Sensor = KinectSensor.Default
If Sensor IsNot Nothing Then
    Sensor.Open()

    Dim iFrameDescription = Sensor.InfraredFrameSource.FrameDescription
    InfraredData = New UShort(CInt(iFrameDescription.LengthInPixels - 1)) {}
    InfraredPixels = New Byte(iFrameDescription.Width * iFrameDescription.Height * BytesPerPixel - 1) {}
    InfraredBitMap = New WriteableBitmap(iFrameDescription.Width, iFrameDescription.Height,
                                         96.0, 96.0, PixelFormats.Bgr32, Nothing)
    InfraredReader = Sensor.InfraredFrameSource.OpenReader()
End If

Quello che rimane da fare è gestire l’evento FrameArrived:

If InfraredReader IsNot Nothing Then
    AddHandler InfraredReader.FrameArrived, AddressOf InfraredFrameArrivedHandler
End If

L’SDK del Kinect solleva l’evento quando un frame è disponibile e ci viene fornita la possibilità di gestire lo stesso attraverso l’argomento dell’evento stesso.

L’argomento dell’evento ci fornisce un reference al frame (di tipo InfraredFrameReference) che ci consente di recuperare effettivamente il frame (di tipo InfraredFrame) utilizzando il metodo AcquireFrame():

Private Sub InfraredFrameArrivedHandler(sender As Object, e As InfraredFrameArrivedEventArgs)
    Dim frameReference = e.FrameReference
    Dim frame As InfraredFrame = Nothing
    Try
        frame = frameReference.AcquireFrame()
        If frame IsNot Nothing Then
            InfraredFrameDescription = frame.FrameDescription

            frame.CopyFrameDataToArray(InfraredData)
            InfraredData.CopyInfrareddataToPixelsArray(InfraredPixels)

            InfraredBitMap.WritePixels(New Int32Rect(0, 0, InfraredFrameDescription.Width, InfraredFrameDescription.Height),
                                Me.InfraredPixels, InfraredFrameDescription.Width * BytesPerPixel, 0)

        End If
    Catch ex As Exception

    Finally
        If frame IsNot Nothing Then
            frame.Dispose()
        End If
    End Try
End Sub

L’algoritmo che utilizziamo nel precedente gestore è il seguente:

  1. Utilizziamo AquireFrame() per recuperare l’istanza di InfraredFrame;
  2. Se questa istanza non è Nothing, possiamo:
    • recuperare il FrameDescription che ci consente di avere informazioni riguardanti altezza, larghezza, angolo di campo, etc., etc. dell’immagine infrarossa recuperata dal Kinect;
    • copiare il contenuto raw (un array di UShort) proveniente dal device utilizzando il metodo CopyFrameDataToArray() all’interno della nostra variabile InfraredData;
    • creare l’array di Byte contenente i pixels ottenuti dal contenuto raw tramite il seguente metodo di estensione:
<Extension>
Public Sub CopyInfraredDataToPixelsArray(infraredData As UShort(), pixelsArray As Byte())
    Dim colorPixelIndex = 0
    For i = 0 To infraredData.Length - 1
        Dim ir = infraredData(i)
        Dim intensity = CByte(ir >> 8)
        pixelsArray(colorPixelIndex) = intensity
        colorPixelIndex += 1
        pixelsArray(colorPixelIndex) = intensity
        colorPixelIndex += 1
        pixelsArray(colorPixelIndex) = intensity
        colorPixelIndex += 2
    Next
End Sub
    • scrivere i pixels all’interno dell’immagine che possiamo visualizzare.

Come possiamo vedere, quindi, l’utilizzo della sorgente ad infrarossi è molto simile a quello visto per la sorgente video a colori nel precedente post.

Nel prossimo post daremo un’occhiata allo stream di profondità.

Disclaimer: “This is preliminary software and/or hardware and APIs are preliminary and subject to change.”

Commenti

Post popolari in questo blog

VB.NET: Convertire un file DOC in RTF e PDF con office interop

In questo post vorrei proporvi del codice per poter convertire un file .doc in un file .rtf oppure .pdf utilizzando le API di interoperabilità di Office.Creeremo una classe, DocConverter, che esporrà le due funzionalità sopra citate.Cominciamo con il prevedere un attributo privato della classe che rappresenterà l’applicazione Word che utilizzeremo per la conversione. Creeremo l’istanza dell’attributo privato all’interno del costruttore della classe:PublicSubNew()
IfNot CreateWordApp() Then
ThrowNew ApplicationException("Assembly di interoperabilità con Office non trovato!")
EndIf
EndSub
Private _wordApp As Word.ApplicationClass
ProtectedFunction CreateWordApp() AsBoolean
Dim retval = True
Try
_wordApp = New Word.ApplicationClass()
_wordApp.Visible = False
Catch ex As System.Exception
_wordApp = Nothing
retval = False
EndTry
Return retval
EndFunction

La conversione del file doc sarà effettuata aprendo il file stesso ed eseguendo un’operazione di SaveAs:

Pr…

Tascam DR-05 registratore digitale per tutti

Diverso tempo fa ho acquistato il registratore digitale Tascam DR-05 e, ora, dopo diversi mesi di utilizzo, posso dire la mia a proposito.

Si tratta di un ottimo registratore digitale con microfono stereo che permette di ottenere registrazioni di ottima qualitaà anche in ambienti non perfetti dal punto di vista acustico.

Interessante la possibilità di utilizzare un cavalletto di piccole dimensioni come HAMA Mini treppiede o Mini Cavalletto Universale per tenere il microfono sollevato dal tavolo in fase di registrazione grazie allàattacco universale per macchina fotografica che il microfono ha nella parte inferiore.

Da segnalare anche il menu’ ben fatto e la possibilita’ di utilizzare una scheda SD esterna per memorizzare i file audio. Anche a livello di consumo batterie non e’ niente male. Consiglio l’uso delle alcaline non ricaricabili.

Il mio utilizzo e’ stato prettamente di registrazione di podcast vocali (no musica) ma le recensioni confermano che se la cava egregiamente con la mu…

Cambiare la lingua di Visual Studio 2008

Oggi ho avuto qualche problema installando Windows Mobile 6 Professional SDK Refresh e Windows Mobile 6 Standard SDK Refresh.Scaricati i file di installazione e installati, ho provato a creare un progetto di tipo Windows Mobile 6.0 e mi sono beccato questo errore:Dopo qualche smanettamento abbiamo scoperto (e ringrazio il mitico Matteo per l’aiuto) che il mio Visual Studio 2008, pur essendo in Inglese (prova ne era il fatto che gli hotfix e la SP installata erano nella lingua di Albione) aveva come lingua impostata quella del sistema operativo (italiano).Ovviamente, non avrebbe mai potuto trovare la cartella 1040 (italiano) visto che l’installazione dell’SDK aveva supposto che la lingua del Visual Studio fosse Inglese (1033).La soluzione del problema è duplice:1) Duplicate la cartella 1033 presente nel percorso evidenziato dall’errore e la rinominate 10402) cambiate la lingua di Visual Studio.Per questa ultima eventualità basta andare nel menù Strumenti/Opzioni:e cambiare il linguaggi…