giovedì 4 agosto 2011

Alla scoperta del Kinect: calcoliamo l’FPS degli stream video.

Abbiamo visto nel precedente post della serie come poter utilizzare il nostro Kinect per catturare gli stream Video e Depth e visualizzarli.

Il questo post vogliamo vedere due possibili modi per calcolare l’effettivo FPS di tali stream, ovvero quanti frame nell’unità di tempo ci arrivano.

Questa funzione non esiste out-of-the-box tra le funzionalità esposte dall’SDK, ma è molto semplice calcolare tale numero basandoci sulle istanze della classe ImageFrame che ci arrivano nei gestori degli eventi DepthFrameReady e VideoFrameReady.

Per chi avesse perso il precedente post, la classe Runtime (fulcro dell’SDK di Kinect) solleva uno dei precedenti eventi ogni volta che è disponibile una immagine video o depth.

Possiamo gestire il flusso delle immagini tramite dei gestori di evento:

  1. Private Sub DepthFrameHandler(sender As Object, e As ImageFrameReadyEventArgs)
  2.     .
  3.     .
  4.     .
  5. End Sub
  6.  
  7. Private Sub VideoFrameHandler(sender As Object, e As ImageFrameReadyEventArgs)
  8.     .
  9.     .
  10.     .
  11. End Sub

L’argomento degli eventi ci fornisce un’istanza della classe ImageFrame che contiene informazioni molto importanti che ci possono permettere di calcolare il Frame rate del filmato.

La classe ImageFrameReadyEventArgs ha la seguente struttura:

image

Nel codice di seguito useremo l’attributo Timestamp della classe ImageFrame per il calcolo dell’Fps.

Cominciamo definendo l’interfaccia che deve implementare quello che noi definiremo “Calcolatore di FPS”:

  1. Imports Microsoft.Research.Kinect.Nui
  2. Imports System.Diagnostics.Contracts
  3.  
  4. <ContractClass(GetType(ContractIFpsCalculator))>
  5. Public Interface IFpsCalculator
  6.  
  7.     ReadOnly Property CurrentFps As Integer
  8.  
  9.     Sub SetCurrentImageFrame(image As ImageFrame)
  10.  
  11. End Interface
  12.  
  13. <ContractClassFor(GetType(IFpsCalculator))>
  14. Public Class ContractIFpsCalculator
  15.     Implements IFpsCalculator
  16.  
  17.  
  18.     Public ReadOnly Property CurrentFps() As Integer Implements IFpsCalculator.CurrentFps
  19.         Get
  20.             Throw New NotImplementedException()
  21.         End Get
  22.     End Property
  23.  
  24.     Public Sub SetCurrentImageFrame(ByVal image As ImageFrame) Implements IFpsCalculator.SetCurrentImageFrame
  25.         Contract.Requires(Of ArgumentNullException)(image IsNot Nothing, "Image must be not null")
  26.         Throw New NotImplementedException()
  27.     End Sub
  28. End Class

L’interfaccia IFpsCalculator espone una proprietà CurrentFps che restituisce, istante per istante, l’FPS dello streaming e un metodo SetCurrentImageFrame che utilizziamo per comunicare al calcolatore quale è l’ImageFrame che stiamo elaborando.

Su questa interfaccia ho definito dei contratti in modo da garantirmi che il metodo SetCurrentImageFrame non possa essere mai chiamato (pena la sollevazione di un eccezione ArgumentNullException) con un parametro Nothing.

La prima implementazione di FpsCalculator si basa sul calcolo “istantaneo” del frame rate: di fatto, dato l’intervallo di tempo (in millisecondi) tra le ultime due immagini, viene calcolato il frame rate con la seguente formula:

clip_image002[4]

dove:

  • FPSn è il framerate (calcolato) tra l’n-esimo e l’(n-1)-esimo frame;
  • tsn è il timestamp (in millisecondi) dell’n-esimo frame;
  • tsn-1 è il timestamp dell’(n-1)-esimo frame.

Evidentemente il framerate calcolato è un numero decimale che, per convenienza, approssimeremo ad un intero.

La classe che implementa questo algoritmo è la seguente:

  1. Public Class FpsCalculator
  2.     Implements IFpsCalculator
  3.  
  4.     Private _LastTimestampVideo As Long? = Nothing
  5.     Private _SecondLastTimestampVideo As Long? = Nothing
  6.  
  7.     Public ReadOnly Property Fps As Integer Implements IFpsCalculator.CurrentFps
  8.         Get
  9.             Return CalculateFps()
  10.         End Get
  11.     End Property
  12.  
  13.     Private Function CalculateFps() As Integer
  14.         Dim fps As Integer = 0
  15.         If _LastTimestampVideo.HasValue And _SecondLastTimestampVideo.HasValue Then
  16.             Dim deltaMillisec = _LastTimestampVideo.Value - _SecondLastTimestampVideo.Value
  17.             fps = CInt(Math.Floor(1000.0 / CDbl(deltaMillisec)))
  18.         End If
  19.         Return fps
  20.     End Function
  21.  
  22.     Public Sub SetCurrentImageFrame(ByVal image As ImageFrame) Implements IFpsCalculator.SetCurrentImageFrame
  23.         Me._SecondLastTimestampVideo = Me._LastTimestampVideo
  24.         Me._LastTimestampVideo = image.Timestamp
  25.     End Sub
  26. End Class

Per il calcolo effettivo tramite la precedente formula, memorizziamo gli ultimi due timestamp e, solo quando li abbiamo tutti e due, procediamo al calcolo (CalculateFps()).

Un altro modo per poter calcolare il framerate è quello di conteggiare quanti frame vengono elaborati nell’unità di tempo.

Per fare questo è sufficiente memorizzare il timestamp iniziale e, ad ogni frame elabrorato (metodo Set CurrentImageFrame()) verificare che il timestamp di tale frame non si discosti per più di un secondo da quello di partenza. Se lo scostamento è minore di un secondo viene incrementato il contatore di frame nell’unità di tempo mentre se lo scostamento è maggiore di un secondo (1000 millisecondi) viene valorizzata la proprietà CurrentFps con il valore del contatore.

La classe che implementa questo algoritmo è la seguente:

  1. Imports Microsoft.Research.Kinect.Nui
  2.  
  3. Public Class FpsCalculator2
  4.     Implements IFpsCalculator
  5.  
  6.     Private _StartTimeStamp As Long? = Nothing
  7.     Private _FrameCount As Integer = 0
  8.  
  9.     Private _CurrentFps As Integer = 0
  10.     Public ReadOnly Property CurrentFps As Integer Implements IFpsCalculator.CurrentFps
  11.         Get
  12.             Return _CurrentFps
  13.         End Get
  14.     End Property
  15.  
  16.     Public Sub SetCurrentImageFrame(ByVal image As ImageFrame) Implements IFpsCalculator.SetCurrentImageFrame
  17.         If _StartTimeStamp.HasValue Then
  18.             If image.Timestamp - _StartTimeStamp.Value > 1000 Then
  19.                 _CurrentFps = _FrameCount
  20.                 _StartTimeStamp = image.Timestamp
  21.                 _FrameCount = 0
  22.             Else
  23.                 _FrameCount += 1
  24.             End If
  25.         Else
  26.             _StartTimeStamp = image.Timestamp
  27.         End If
  28.     End Sub
  29. End Class

Il primo algoritmo aggiorna l’FPS ad ogni frame e genera, quindi una variazione costante dello stesso. Il secondo, invece, fornisce un valore nuovo di FPS ogni secondo dando luogo ad una rilevazione più stabile.

La classe ImageFrame mette a disposizione, come possiamo vedere dalla precedente immagine, la proprietà FrameNumber che contiene il numero di frame corrispondente all’immagine. Nella refresh dell’SDk appena uscita (scaricabile da qui) questo numero rappresenta realmente il numero del frame dello stream. Per questo, in teoria, possiamo utilizzare questo numero per calcolare l’FPS. In questo caso memorizziamo il numero del frame da cui partiamo, ragioniamo sui timestamp in maniera analoga a quanto fatto nell’FtpCalculator2 e facciamo la differenza tra il numero di frame:

  1. Imports Microsoft.Research.Kinect.Nui
  2.  
  3. Public Class FpsCalculator3
  4.     Implements IFpsCalculator
  5.  
  6.     Private _StartTimeStamp As Long? = Nothing
  7.     Private _FrameNumberStart As Integer = 0
  8.  
  9.     Private _CurrentFps As Integer = 0
  10.     Public ReadOnly Property CurrentFps As Integer Implements IFpsCalculator.CurrentFps
  11.         Get
  12.             Return _CurrentFps
  13.         End Get
  14.     End Property
  15.  
  16.  
  17.     Public Sub SetCurrentImageFrame(ByVal image As ImageFrame) Implements IFpsCalculator.SetCurrentImageFrame
  18.         If _StartTimeStamp.HasValue Then
  19.             If image.Timestamp - _StartTimeStamp.Value > 1000 Then
  20.                 _CurrentFps = image.FrameNumber - _FrameNumberStart
  21.                 _StartTimeStamp = image.Timestamp
  22.                 _FrameNumberStart = image.FrameNumber
  23.             End If
  24.         Else
  25.             _StartTimeStamp = image.Timestamp
  26.             _FrameNumberStart = image.FrameNumber
  27.         End If
  28.     End Sub
  29. End Class

 

Nessun commento: