Benchmark-Theorie

2

Perzentil-Frameraten sollten besser auf Basis einer zeitlichen Skala ermittelt werden

Ein sehr interessanter Artikel seitens Yosoygames widmet sich der Frage der korrekten Erstellung von Perzentil-Frameraten. Jene basieren bekannterweise auf der Idee, nicht den absoluten Minimum-Wert anzugeben, welcher erfahrungsgemäß über irgendwelche Engine-Schluckaufs zustandekommt und daher kein vernünftiger allgemeingültiger Maßstab ist, was im Bereich der niedrigsten Frameraten passiert. Daher wird üblicherweise jener Wert genommen, welcher in einer größenmäßigen Auflistung der Frametimes an 1% von unten her oder 99% von oben her steht, andere verwendete Varianten sind 0,1% / 99,9% oder auch 5% / 95%. Die Aussage von Yosoygames ist nunmehr, dass jene 0,1%, 1% oder 5% von den Benchmark-Tools oftmals an der falschen Stelle genommen werden: Man entnimmt jene aus einer Anzahl-basierten Auflistung der Frames – in deren Beispiel jenes Frame, welche bei 5% von unten auf einer mengenmäßigen Skala liegt.

Zielsetzung mathematisches Modell
durchschnittliche Framerate insgesamter Performance-Eindruck Anzahl aller aufgelaufenen Frame / benötigte Zeit
(gewöhnliche) Minimum-Framerate Aussage über die minimalste Spielbarkeit Frametime des absolut niedrigsten Frames
Perzentil-Framerate Aussage über die tatsächliche minimale Spielbarkeit Frametime des an x% (von unten her) liegenden Frames
Inhalt abgleichen