Passa ai contenuti principali

Kinect V2: questione di profondità

In questo post prenderemo in esame lo stream di profondità fornito da Kinect V2.

Le API che utilizzeremo sono del tutto simili a quelle viste per la sorgente infrarossi nel precedente post.

La classe KinectSensor (già vista nei precedenti post della serie) espone la proprietà DepthFrameSource che ci consente di accedere al reader per lo stream di profondità (come già visto per lo stream dell’immagine a colori e del’infrarosso).

image

Possiamo, dunque, una volta ottenuta l’istanza della classe KinectSensor, ottenere il reader grazie al metodo OpenReader:

Sensor = KinectSensor.Default
If Sensor IsNot Nothing Then
    Sensor.Open()

    Dim depthFrameDescription = Sensor.DepthFrameSource.FrameDescription
    DepthData = New UShort(CInt(depthFrameDescription.LengthInPixels - 1)) {}
    DepthPixels = New Byte(depthFrameDescription.Width * depthFrameDescription.Height * BytesPerPixel - 1) {}
    DepthBitMap = New WriteableBitmap(depthFrameDescription.Width, depthFrameDescription.Height,
                                         96.0, 96.0, PixelFormats.Bgr32, Nothing)
    DepthReader = Sensor.DepthFrameSource.OpenReader()
End If

La variabile DepthReader contiene l’istanza della classe DepthFrameReader attraverso la quale possiamo gestire i frame di profondità provenienti dal device.

Come già visto in precedenza, abbiamo la necessità di gestire l’evento FrameArrived:

If DepthReader IsNot Nothing Then
    AddHandler DepthReader.FrameArrived, AddressOf DepthFrameArrivedHandler
End If

L’evento FrameArrived viene sollevato nel momento in cui è disponibile un frame, in questo caso di tipo profondità, da poter elaborare:

Private Sub DepthFrameArrivedHandler(sender As Object, e As DepthFrameArrivedEventArgs)
    '
    '
    '
End Sub

L’argomento dell’evento, di tipo DepthFrameArrivedEventArgs, espone la proprietà FrameReference, di tipo DepthFramereference, che ci consente di ottenere il frame effettivo:

image

Il metodo AcquireFrame, della classe DepthFrameReference, consente di ottenere l’istanza della classe DepthFrame contenente gli effettivi dati del frame:

image

Osserviamo che il frame ci fornisce direttamente le distanze di lavoro del Kinect: DepthMaxReliableDistance e DepthMinReliableDistance contengono rispettivamente la distanza massima e minima di operatività del device.
Possiamo ottenere i dati di profondità dell’immagine ripresa dal Kinect utilizzando uno dei due metodi CopyFrameDataXXX:

  • CopyFrameDataToArray : copia i dati di profondità in un’array di unsigned short (intero a 16 bit senza segno). La lunghezza dell’array è data dalla proprietà LengthInPixels esposta dalla classe FrameDescription esposta dall’omonima proprietà del frame;
  • CopyFrameDataToBuffer : esegue la copia dei dati di profondità in una locazione di memoria.

Ogni elemento dell’array contiene la distanza del corrispondente punto di coordinate X,Y posto immediatamente di fronte al device. Dati, infatti, X e Y le due coordinate del punto di cui recuperare la distanza (in millimetri), e data la larghezza dell’immagine di profondità (contenuta nella proprietà Width della classe FrameDescription) otteniamo l’indice dell’elemento dell’array con la seguente funzione:

Dim currentWidth = Me.DepthFrameDescription.Width
Dim arrayIndex = y * currentWidth + x

Possiamo sfruttare l’evento FrameArrived per renderizzare l’imagine di profondità in modo che sia comprensibile agli occhi umani.

Private Sub DepthFrameArrivedHandler(sender As Object, e As DepthFrameArrivedEventArgs)
    Dim frameReference = e.FrameReference
    Dim frame As DepthFrame = Nothing
    Try
        frame = frameReference.AcquireFrame()
        If frame IsNot Nothing Then
            DepthFrameDescription = frame.FrameDescription

            frame.CopyFrameDataToArray(DepthData)

            DepthMinReliableDistance = frame.DepthMinReliableDistance
            DepthMaxReliableDistance = frame.DepthMaxReliableDistance

            DepthData.CopyDepthDataToPixelsArray(DepthPixels, DepthMaxReliableDistance, DepthMinReliableDistance)

            DepthBitMap.WritePixels(New Int32Rect(0, 0, DepthFrameDescription.Width, DepthFrameDescription.Height),
                                Me.DepthPixels, DepthFrameDescription.Width * BytesPerPixel, 0)

        End If
    Catch ex As Exception

    Finally
        If frame IsNot Nothing Then
            frame.Dispose()
        End If
    End Try
End Sub

Il metodo di estensione CopyDepthDataToPIxelsArray permette di convertire la distanza pixel per pixel in un colore da visualizzare.

<Extension>
Public Sub CopyDepthDataToPixelsArray(depthData As UShort(), pixelsArray As Byte(),
                                      maxDepth As UShort, minDepth As UShort)
    Dim colorPixelIndex = 0
    For i = 0 To depthData.Length - 1
        Dim depth = depthData(i)
        Dim intensity As Byte = CByte(If(depth >= minDepth And depth <= maxDepth, depth, 0) * 255 / maxDepth)
        pixelsArray(colorPixelIndex) = intensity
        colorPixelIndex += 1
        pixelsArray(colorPixelIndex) = intensity
        colorPixelIndex += 1
        pixelsArray(colorPixelIndex) = intensity
        colorPixelIndex += 2
    Next
End Sub

Osserviamo che, a differenza di quanto accade nella versione 1 del Kinect e del suo SDK, i dati di profondità non contengono informazioni riguardo l’eventuale player presente davanti al device.

Vedremo in un post specifico che queste informazioni sono contenute nello stream BodyIndex (BodyIndexFrameSource).

 

Technorati Tags: ,,

Commenti

Post popolari in questo blog

VB.NET: Convertire un file DOC in RTF e PDF con office interop

In questo post vorrei proporvi del codice per poter convertire un file .doc in un file .rtf oppure .pdf utilizzando le API di interoperabilità di Office.Creeremo una classe, DocConverter, che esporrà le due funzionalità sopra citate.Cominciamo con il prevedere un attributo privato della classe che rappresenterà l’applicazione Word che utilizzeremo per la conversione. Creeremo l’istanza dell’attributo privato all’interno del costruttore della classe:PublicSubNew()
IfNot CreateWordApp() Then
ThrowNew ApplicationException("Assembly di interoperabilità con Office non trovato!")
EndIf
EndSub
Private _wordApp As Word.ApplicationClass
ProtectedFunction CreateWordApp() AsBoolean
Dim retval = True
Try
_wordApp = New Word.ApplicationClass()
_wordApp.Visible = False
Catch ex As System.Exception
_wordApp = Nothing
retval = False
EndTry
Return retval
EndFunction

La conversione del file doc sarà effettuata aprendo il file stesso ed eseguendo un’operazione di SaveAs:

Pr…

Tascam DR-05 registratore digitale per tutti

Diverso tempo fa ho acquistato il registratore digitale Tascam DR-05 e, ora, dopo diversi mesi di utilizzo, posso dire la mia a proposito.

Si tratta di un ottimo registratore digitale con microfono stereo che permette di ottenere registrazioni di ottima qualitaà anche in ambienti non perfetti dal punto di vista acustico.

Interessante la possibilità di utilizzare un cavalletto di piccole dimensioni come HAMA Mini treppiede o Mini Cavalletto Universale per tenere il microfono sollevato dal tavolo in fase di registrazione grazie allàattacco universale per macchina fotografica che il microfono ha nella parte inferiore.

Da segnalare anche il menu’ ben fatto e la possibilita’ di utilizzare una scheda SD esterna per memorizzare i file audio. Anche a livello di consumo batterie non e’ niente male. Consiglio l’uso delle alcaline non ricaricabili.

Il mio utilizzo e’ stato prettamente di registrazione di podcast vocali (no musica) ma le recensioni confermano che se la cava egregiamente con la mu…

Cambiare la lingua di Visual Studio 2008

Oggi ho avuto qualche problema installando Windows Mobile 6 Professional SDK Refresh e Windows Mobile 6 Standard SDK Refresh.Scaricati i file di installazione e installati, ho provato a creare un progetto di tipo Windows Mobile 6.0 e mi sono beccato questo errore:Dopo qualche smanettamento abbiamo scoperto (e ringrazio il mitico Matteo per l’aiuto) che il mio Visual Studio 2008, pur essendo in Inglese (prova ne era il fatto che gli hotfix e la SP installata erano nella lingua di Albione) aveva come lingua impostata quella del sistema operativo (italiano).Ovviamente, non avrebbe mai potuto trovare la cartella 1040 (italiano) visto che l’installazione dell’SDK aveva supposto che la lingua del Visual Studio fosse Inglese (1033).La soluzione del problema è duplice:1) Duplicate la cartella 1033 presente nel percorso evidenziato dall’errore e la rinominate 10402) cambiate la lingua di Visual Studio.Per questa ultima eventualità basta andare nel menù Strumenti/Opzioni:e cambiare il linguaggi…