Alla scoperta del Kinect: calcoliamo l’FPS degli stream video.

Abbiamo visto nel precedente post della serie come poter utilizzare il nostro Kinect per catturare gli stream Video e Depth e visualizzarli.

Il questo post vogliamo vedere due possibili modi per calcolare l’effettivo FPS di tali stream, ovvero quanti frame nell’unità di tempo ci arrivano.

Questa funzione non esiste out-of-the-box tra le funzionalità esposte dall’SDK, ma è molto semplice calcolare tale numero basandoci sulle istanze della classe ImageFrame che ci arrivano nei gestori degli eventi DepthFrameReady e VideoFrameReady.

Per chi avesse perso il precedente post, la classe Runtime (fulcro dell’SDK di Kinect) solleva uno dei precedenti eventi ogni volta che è disponibile una immagine video o depth.

Possiamo gestire il flusso delle immagini tramite dei gestori di evento:

1. Private Sub DepthFrameHandler(sender As Object, e As ImageFrameReadyEventArgs)
2.     .
3.     .
4.     .
5. End Sub
6.  
7. Private Sub VideoFrameHandler(sender As Object, e As ImageFrameReadyEventArgs)
8.     .
9.     .
10.     .
11. End Sub

L’argomento degli eventi ci fornisce un’istanza della classe ImageFrame che contiene informazioni molto importanti che ci possono permettere di calcolare il Frame rate del filmato.

La classe ImageFrameReadyEventArgs ha la seguente struttura:

Nel codice di seguito useremo l’attributo Timestamp della classe ImageFrame per il calcolo dell’Fps.

Cominciamo definendo l’interfaccia che deve implementare quello che noi definiremo “Calcolatore di FPS”:

1. Imports Microsoft.Research.Kinect.Nui
2. Imports System.Diagnostics.Contracts
3.  
4. <ContractClass(GetType(ContractIFpsCalculator))>
5. Public Interface IFpsCalculator
6.  
7.     ReadOnly Property CurrentFps As Integer
8.  
9.     Sub SetCurrentImageFrame(image As ImageFrame)
10.  
11. End Interface
12.  
13. <ContractClassFor(GetType(IFpsCalculator))>
14. Public Class ContractIFpsCalculator
15.     Implements IFpsCalculator
16.  
17.  
18.     Public ReadOnly Property CurrentFps() As Integer Implements IFpsCalculator.CurrentFps
19.         Get
20.             Throw New NotImplementedException()
21.         End Get
22.     End Property
23.  
24.     Public Sub SetCurrentImageFrame(ByVal image As ImageFrame) Implements IFpsCalculator.SetCurrentImageFrame
25.         Contract.Requires(Of ArgumentNullException)(image IsNot Nothing, "Image must be not null")
26.         Throw New NotImplementedException()
27.     End Sub
28. End Class

L’interfaccia IFpsCalculator espone una proprietà CurrentFps che restituisce, istante per istante, l’FPS dello streaming e un metodo SetCurrentImageFrame che utilizziamo per comunicare al calcolatore quale è l’ImageFrame che stiamo elaborando.

Su questa interfaccia ho definito dei contratti in modo da garantirmi che il metodo SetCurrentImageFrame non possa essere mai chiamato (pena la sollevazione di un eccezione ArgumentNullException) con un parametro Nothing.

La prima implementazione di FpsCalculator si basa sul calcolo “istantaneo” del frame rate: di fatto, dato l’intervallo di tempo (in millisecondi) tra le ultime due immagini, viene calcolato il frame rate con la seguente formula:

dove:

• FPS_n è il framerate (calcolato) tra l’n-esimo e l’(n-1)-esimo frame;
• ts_n è il timestamp (in millisecondi) dell’n-esimo frame;
• ts_n-1 è il timestamp dell’(n-1)-esimo frame.

Evidentemente il framerate calcolato è un numero decimale che, per convenienza, approssimeremo ad un intero.

La classe che implementa questo algoritmo è la seguente:

1. Public Class FpsCalculator
2.     Implements IFpsCalculator
3.  
4.     Private _LastTimestampVideo As Long? = Nothing
5.     Private _SecondLastTimestampVideo As Long? = Nothing
6.  
7.     Public ReadOnly Property Fps As Integer Implements IFpsCalculator.CurrentFps
8.         Get
9.             Return CalculateFps()
10.         End Get
11.     End Property
12.  
13.     Private Function CalculateFps() As Integer
14.         Dim fps As Integer = 0
15.         If _LastTimestampVideo.HasValue And _SecondLastTimestampVideo.HasValue Then
16.             Dim deltaMillisec = _LastTimestampVideo.Value - _SecondLastTimestampVideo.Value
17.             fps = CInt(Math.Floor(1000.0 / CDbl(deltaMillisec)))
18.         End If
19.         Return fps
20.     End Function
21.  
22.     Public Sub SetCurrentImageFrame(ByVal image As ImageFrame) Implements IFpsCalculator.SetCurrentImageFrame
23.         Me._SecondLastTimestampVideo = Me._LastTimestampVideo
24.         Me._LastTimestampVideo = image.Timestamp
25.     End Sub
26. End Class

Per il calcolo effettivo tramite la precedente formula, memorizziamo gli ultimi due timestamp e, solo quando li abbiamo tutti e due, procediamo al calcolo (CalculateFps()).

Un altro modo per poter calcolare il framerate è quello di conteggiare quanti frame vengono elaborati nell’unità di tempo.

Per fare questo è sufficiente memorizzare il timestamp iniziale e, ad ogni frame elabrorato (metodo Set CurrentImageFrame()) verificare che il timestamp di tale frame non si discosti per più di un secondo da quello di partenza. Se lo scostamento è minore di un secondo viene incrementato il contatore di frame nell’unità di tempo mentre se lo scostamento è maggiore di un secondo (1000 millisecondi) viene valorizzata la proprietà CurrentFps con il valore del contatore.

La classe che implementa questo algoritmo è la seguente:

1. Imports Microsoft.Research.Kinect.Nui
2.  
3. Public Class FpsCalculator2
4.     Implements IFpsCalculator
5.  
6.     Private _StartTimeStamp As Long? = Nothing
7.     Private _FrameCount As Integer = 0
8.  
9.     Private _CurrentFps As Integer = 0
10.     Public ReadOnly Property CurrentFps As Integer Implements IFpsCalculator.CurrentFps
11.         Get
12.             Return _CurrentFps
13.         End Get
14.     End Property
15.  
16.     Public Sub SetCurrentImageFrame(ByVal image As ImageFrame) Implements IFpsCalculator.SetCurrentImageFrame
17.         If _StartTimeStamp.HasValue Then
18.             If image.Timestamp - _StartTimeStamp.Value > 1000 Then
19.                 _CurrentFps = _FrameCount
20.                 _StartTimeStamp = image.Timestamp
21.                 _FrameCount = 0
22.             Else
23.                 _FrameCount += 1
24.             End If
25.         Else
26.             _StartTimeStamp = image.Timestamp
27.         End If
28.     End Sub
29. End Class

Il primo algoritmo aggiorna l’FPS ad ogni frame e genera, quindi una variazione costante dello stesso. Il secondo, invece, fornisce un valore nuovo di FPS ogni secondo dando luogo ad una rilevazione più stabile.

La classe ImageFrame mette a disposizione, come possiamo vedere dalla precedente immagine, la proprietà FrameNumber che contiene il numero di frame corrispondente all’immagine. Nella refresh dell’SDk appena uscita (scaricabile da qui) questo numero rappresenta realmente il numero del frame dello stream. Per questo, in teoria, possiamo utilizzare questo numero per calcolare l’FPS. In questo caso memorizziamo il numero del frame da cui partiamo, ragioniamo sui timestamp in maniera analoga a quanto fatto nell’FtpCalculator2 e facciamo la differenza tra il numero di frame:

1. Imports Microsoft.Research.Kinect.Nui
2.  
3. Public Class FpsCalculator3
4.     Implements IFpsCalculator
5.  
6.     Private _StartTimeStamp As Long? = Nothing
7.     Private _FrameNumberStart As Integer = 0
8.  
9.     Private _CurrentFps As Integer = 0
10.     Public ReadOnly Property CurrentFps As Integer Implements IFpsCalculator.CurrentFps
11.         Get
12.             Return _CurrentFps
13.         End Get
14.     End Property
15.  
16.  
17.     Public Sub SetCurrentImageFrame(ByVal image As ImageFrame) Implements IFpsCalculator.SetCurrentImageFrame
18.         If _StartTimeStamp.HasValue Then
19.             If image.Timestamp - _StartTimeStamp.Value > 1000 Then
20.                 _CurrentFps = image.FrameNumber - _FrameNumberStart
21.                 _StartTimeStamp = image.Timestamp
22.                 _FrameNumberStart = image.FrameNumber
23.             End If
24.         Else
25.             _StartTimeStamp = image.Timestamp
26.             _FrameNumberStart = image.FrameNumber
27.         End If
28.     End Sub
29. End Class

 

Tag di Technorati: fps,kinect sdk,kinect,vb.net,video stream,depth stream,imageframe