Passa ai contenuti principali

Alla scoperta del Kinect: calcoliamo l’FPS degli stream video.

Abbiamo visto nel precedente post della serie come poter utilizzare il nostro Kinect per catturare gli stream Video e Depth e visualizzarli.

Il questo post vogliamo vedere due possibili modi per calcolare l’effettivo FPS di tali stream, ovvero quanti frame nell’unità di tempo ci arrivano.

Questa funzione non esiste out-of-the-box tra le funzionalità esposte dall’SDK, ma è molto semplice calcolare tale numero basandoci sulle istanze della classe ImageFrame che ci arrivano nei gestori degli eventi DepthFrameReady e VideoFrameReady.

Per chi avesse perso il precedente post, la classe Runtime (fulcro dell’SDK di Kinect) solleva uno dei precedenti eventi ogni volta che è disponibile una immagine video o depth.

Possiamo gestire il flusso delle immagini tramite dei gestori di evento:

  1. Private Sub DepthFrameHandler(sender As Object, e As ImageFrameReadyEventArgs)
  2.     .
  3.     .
  4.     .
  5. End Sub
  6.  
  7. Private Sub VideoFrameHandler(sender As Object, e As ImageFrameReadyEventArgs)
  8.     .
  9.     .
  10.     .
  11. End Sub

L’argomento degli eventi ci fornisce un’istanza della classe ImageFrame che contiene informazioni molto importanti che ci possono permettere di calcolare il Frame rate del filmato.

La classe ImageFrameReadyEventArgs ha la seguente struttura:

image

Nel codice di seguito useremo l’attributo Timestamp della classe ImageFrame per il calcolo dell’Fps.

Cominciamo definendo l’interfaccia che deve implementare quello che noi definiremo “Calcolatore di FPS”:

  1. Imports Microsoft.Research.Kinect.Nui
  2. Imports System.Diagnostics.Contracts
  3.  
  4. <ContractClass(GetType(ContractIFpsCalculator))>
  5. Public Interface IFpsCalculator
  6.  
  7.     ReadOnly Property CurrentFps As Integer
  8.  
  9.     Sub SetCurrentImageFrame(image As ImageFrame)
  10.  
  11. End Interface
  12.  
  13. <ContractClassFor(GetType(IFpsCalculator))>
  14. Public Class ContractIFpsCalculator
  15.     Implements IFpsCalculator
  16.  
  17.  
  18.     Public ReadOnly Property CurrentFps() As Integer Implements IFpsCalculator.CurrentFps
  19.         Get
  20.             Throw New NotImplementedException()
  21.         End Get
  22.     End Property
  23.  
  24.     Public Sub SetCurrentImageFrame(ByVal image As ImageFrame) Implements IFpsCalculator.SetCurrentImageFrame
  25.         Contract.Requires(Of ArgumentNullException)(image IsNot Nothing, "Image must be not null")
  26.         Throw New NotImplementedException()
  27.     End Sub
  28. End Class

L’interfaccia IFpsCalculator espone una proprietà CurrentFps che restituisce, istante per istante, l’FPS dello streaming e un metodo SetCurrentImageFrame che utilizziamo per comunicare al calcolatore quale è l’ImageFrame che stiamo elaborando.

Su questa interfaccia ho definito dei contratti in modo da garantirmi che il metodo SetCurrentImageFrame non possa essere mai chiamato (pena la sollevazione di un eccezione ArgumentNullException) con un parametro Nothing.

La prima implementazione di FpsCalculator si basa sul calcolo “istantaneo” del frame rate: di fatto, dato l’intervallo di tempo (in millisecondi) tra le ultime due immagini, viene calcolato il frame rate con la seguente formula:

clip_image002[4]

dove:

  • FPSn è il framerate (calcolato) tra l’n-esimo e l’(n-1)-esimo frame;
  • tsn è il timestamp (in millisecondi) dell’n-esimo frame;
  • tsn-1 è il timestamp dell’(n-1)-esimo frame.

Evidentemente il framerate calcolato è un numero decimale che, per convenienza, approssimeremo ad un intero.

La classe che implementa questo algoritmo è la seguente:

  1. Public Class FpsCalculator
  2.     Implements IFpsCalculator
  3.  
  4.     Private _LastTimestampVideo As Long? = Nothing
  5.     Private _SecondLastTimestampVideo As Long? = Nothing
  6.  
  7.     Public ReadOnly Property Fps As Integer Implements IFpsCalculator.CurrentFps
  8.         Get
  9.             Return CalculateFps()
  10.         End Get
  11.     End Property
  12.  
  13.     Private Function CalculateFps() As Integer
  14.         Dim fps As Integer = 0
  15.         If _LastTimestampVideo.HasValue And _SecondLastTimestampVideo.HasValue Then
  16.             Dim deltaMillisec = _LastTimestampVideo.Value - _SecondLastTimestampVideo.Value
  17.             fps = CInt(Math.Floor(1000.0 / CDbl(deltaMillisec)))
  18.         End If
  19.         Return fps
  20.     End Function
  21.  
  22.     Public Sub SetCurrentImageFrame(ByVal image As ImageFrame) Implements IFpsCalculator.SetCurrentImageFrame
  23.         Me._SecondLastTimestampVideo = Me._LastTimestampVideo
  24.         Me._LastTimestampVideo = image.Timestamp
  25.     End Sub
  26. End Class

Per il calcolo effettivo tramite la precedente formula, memorizziamo gli ultimi due timestamp e, solo quando li abbiamo tutti e due, procediamo al calcolo (CalculateFps()).

Un altro modo per poter calcolare il framerate è quello di conteggiare quanti frame vengono elaborati nell’unità di tempo.

Per fare questo è sufficiente memorizzare il timestamp iniziale e, ad ogni frame elabrorato (metodo Set CurrentImageFrame()) verificare che il timestamp di tale frame non si discosti per più di un secondo da quello di partenza. Se lo scostamento è minore di un secondo viene incrementato il contatore di frame nell’unità di tempo mentre se lo scostamento è maggiore di un secondo (1000 millisecondi) viene valorizzata la proprietà CurrentFps con il valore del contatore.

La classe che implementa questo algoritmo è la seguente:

  1. Imports Microsoft.Research.Kinect.Nui
  2.  
  3. Public Class FpsCalculator2
  4.     Implements IFpsCalculator
  5.  
  6.     Private _StartTimeStamp As Long? = Nothing
  7.     Private _FrameCount As Integer = 0
  8.  
  9.     Private _CurrentFps As Integer = 0
  10.     Public ReadOnly Property CurrentFps As Integer Implements IFpsCalculator.CurrentFps
  11.         Get
  12.             Return _CurrentFps
  13.         End Get
  14.     End Property
  15.  
  16.     Public Sub SetCurrentImageFrame(ByVal image As ImageFrame) Implements IFpsCalculator.SetCurrentImageFrame
  17.         If _StartTimeStamp.HasValue Then
  18.             If image.Timestamp - _StartTimeStamp.Value > 1000 Then
  19.                 _CurrentFps = _FrameCount
  20.                 _StartTimeStamp = image.Timestamp
  21.                 _FrameCount = 0
  22.             Else
  23.                 _FrameCount += 1
  24.             End If
  25.         Else
  26.             _StartTimeStamp = image.Timestamp
  27.         End If
  28.     End Sub
  29. End Class

Il primo algoritmo aggiorna l’FPS ad ogni frame e genera, quindi una variazione costante dello stesso. Il secondo, invece, fornisce un valore nuovo di FPS ogni secondo dando luogo ad una rilevazione più stabile.

La classe ImageFrame mette a disposizione, come possiamo vedere dalla precedente immagine, la proprietà FrameNumber che contiene il numero di frame corrispondente all’immagine. Nella refresh dell’SDk appena uscita (scaricabile da qui) questo numero rappresenta realmente il numero del frame dello stream. Per questo, in teoria, possiamo utilizzare questo numero per calcolare l’FPS. In questo caso memorizziamo il numero del frame da cui partiamo, ragioniamo sui timestamp in maniera analoga a quanto fatto nell’FtpCalculator2 e facciamo la differenza tra il numero di frame:

  1. Imports Microsoft.Research.Kinect.Nui
  2.  
  3. Public Class FpsCalculator3
  4.     Implements IFpsCalculator
  5.  
  6.     Private _StartTimeStamp As Long? = Nothing
  7.     Private _FrameNumberStart As Integer = 0
  8.  
  9.     Private _CurrentFps As Integer = 0
  10.     Public ReadOnly Property CurrentFps As Integer Implements IFpsCalculator.CurrentFps
  11.         Get
  12.             Return _CurrentFps
  13.         End Get
  14.     End Property
  15.  
  16.  
  17.     Public Sub SetCurrentImageFrame(ByVal image As ImageFrame) Implements IFpsCalculator.SetCurrentImageFrame
  18.         If _StartTimeStamp.HasValue Then
  19.             If image.Timestamp - _StartTimeStamp.Value > 1000 Then
  20.                 _CurrentFps = image.FrameNumber - _FrameNumberStart
  21.                 _StartTimeStamp = image.Timestamp
  22.                 _FrameNumberStart = image.FrameNumber
  23.             End If
  24.         Else
  25.             _StartTimeStamp = image.Timestamp
  26.             _FrameNumberStart = image.FrameNumber
  27.         End If
  28.     End Sub
  29. End Class

 

Commenti

Post popolari in questo blog

MVP Reconnect …… ovvero quando entri nella “famigghia” resti sempre nella “famigghia”!!!

Ma di che “famigghia” stiamo parlando!!!!

Fermi tutti, non si tratta di robe strane o sette segrete o affari malavitosi….stiamo parlando della grande famiglia dei Microsoft MVP.

Per chi non sapesse cosa sono i Microsoft MVP, vi consiglio di fare un giro sul sito ufficiale del programma (link), ma, volendolo spiegare in pochisime parole, si tratta di un riconoscimento che Microsoft da a persone che si distinguono per il loro impegno, aiutando gli altri ad ottenere il massimo grazie alle tecnologie Microsoft. Si tratta di persone, non dipendenti Microsoft, che mettono la loro passione, il loro tempo, la loro buona volontà per la divulgazione e la condivisione della conoscenza. Non necessariamente (come qualcuno erroneamente sostiene, evidentemente non conoscendo le basi del programma) si tratta di professionisti nel termine letterale del termine ma si tratta comunque di un gruppo di persone che sacrifica un pò del suo tempo (e, a volte, vi assicuro neanche pò!!!) per la sua passione.

Pe…

Nuova versione del Band SDK

E’ di ieri l’annuncio del rilascio della nuova versione dell’SDK per il Microsoft Band.
Si tratta della versione 1.3.10417 (la precedente e, prima della serie, era la 1.3.10219 preview).
Maggiori informazioni, download dell’SDK per le tre piattaforme Windows Phone, iOS e Android all’indirizzo http://developer.microsoftband.com/.
Allo stesso indirizzo potrete trovare anche la documentazione.
Nei mesi scorsi mi sono gia’ occupato della precedente versione e questi sono i post che ne parlano:
Microsoft Band SDK Preview - First LookMicrosoft Band SDK Preview - ”Hello Band”Microsoft Band SDK Preview - Accesso ai sensoriMicrosoft Band SDK Preview - TileMicrosoft Band SDK Preview - NotificheMicrosoft Band SDK Preview - Personalizzazione
Gli argomenti trattati e il codice proposto dovrebbe, ad una prima lettura delle nuove funzionalita’ inserite, essere ancora valido e funzionante ma nei prossimi giorni prendero’ in esame tutti gli argomenti dei precedenti post e vedremo cosa cambia e cosa e’ …

Template di progetto per sviluppare applicazioni WPF con Intel® RealSense™

E’ disponibile, nella gallery di Visual Studio, la prima versione del mio template di progetto per applicazioni WPF scritte in C# che permette di realizzare applicazioni con l’SDK di Intel® RealSense™.Il template si può scaricare direttamente all’interno Visual Studio utilizzando il tool “Extensions and Updates”oppure all’indirizzo https://visualstudiogallery.msdn.microsoft.com/1c36ecfd-8c00-4aee-b20c-a1726ab6424dIl template esegue le seguenti operazioni per voi:Aggiunge la reference all’assembly libpxcclr.cs.dll (nelle due distinte versioni per x86 e x64);Aggiunge lo script di post build per copiare la libreria libpxccpp2c.dll dalla cartella dell’SDK alla cartella bin del vostro progetto.Una volta creato il progetto dovete rimuovere la configurazione di compilazione AnyCPU (che non ha più senso) dalla vostra solution e sarete pronti per sviluppare con Intel® RealSense™.Ovviamente dovete installare l’SDK che potete scaricare all’indirizzo https://software.intel.com/en-us/intel-realsen…