Benchmarks mit gleicher Treiberversion?

Wir hatten es in unserem letzten Artikel [1] schon anklingen lassen, daß derzeit offenbar wieder die Unsitte eingerissen ist, bei Grafikkarten-Tests mit wild durcheinandergewürfelten Treiberversionen zu testen. Sicherlich sind ein Catalyst 9.1 von Mitte Januar und die Beta des Catalyst 9.4 von Anfang April nicht so enorm voneinander abweichend, aber wenn es um eine genaue Betrachtung geht, dann zählen auch die paar Prozentpunkte, welche zwischen diesen Treiberversionen liegen. Und spätestens, wenn die eigenen Tests einen Performance-Unterschied von bis zu 20 Prozent zwischen Radeon HD 4870 und 4890 ergeben, wo es laut Theorie (und Benchmarks auf gleichen Treibern) nur maximal 10 bis 11 Prozent geben darf, läuft etwas gewaltig falsch.

Rein technisch ist es noch nicht einmal richtig, wenn man die neuen Karten auf dem Launchtreiber gegen die "alten" Karten auf dem jeweils aktuellen Treiber stellt. Normalerweise muß man wegen einer Treiberversion Unterschied zwar kein Faß aufmachen, gerade der Unterschied zwischen "letzter offizieller Treiber" und "Launch-Beta-Treiber" hat allerdings Gewicht, weil letzterer potentiell brandneue Optimierungen mitbringt, die eventuell auch den älteren Karten etwas bringen. Wenn man sich also sicher sein will, daß die eigenen Testergebnisse die Wahrheit korrekt wiedergeben, dann bleibt gar nichts anderes übrig, als alles mit demselben Treiber zu testen.

Daß dies derzeit nicht überall der Fall ist, wissen wir – und wollen wir nachfolgend anhand des Radeon HD 4890 / GeForce GTX 275 Launchs besser quantifizieren. Dazu haben wir uns alle seinerzeitigen Launch-Artikel [1] dahingehend angesehen, welche Treiberversionen dort jeweils benutzt worden sind. Anzumerken wäre vorab, daß bis zum Launchzeitpunkt die Treiber ATI Catalyst 9.3 und nVidia 182.08 WHQL bzw. 182.46 Beta aktuell waren und mit dem Launch seitens ATI und nVidia entsprechend neue Treiberversionen den verschiedenen Hardware-Rekationen zur Verfügung gestellt wurden, nachfolgend als "Launchtreiber" bezeichnet.

Wie man sieht, sind die Ergebnisse insgesamt ganz vernünftig, weil doch viele Webseiten durchgehend auf Launchtreibern oder aber wenigstens auf hochaktuellen Treibern getestet haben. Allerdings gibt es auch Ausnahmen – interessanterweise zumeist bei denjenigen Webseiten, welche eher umfangreiche Benchmark-Ergebnisse mit einer Vielzahl an Vergleichsmöglichkeiten zu älterer Hardware bieten. Hier ist natürlich klar, daß dies einen enormen Arbeitsaufwand bedeuten würde, dies alles auf die jeweils neuen Treiberversionen umzusetzen – vor allem, weil keiner garantieren kann, ob diese neuen Treiberversionen nicht möglicherweise am nächsten Tag schon wieder unaktuell sind.

Trotzdem hilft es niemanden, wenn in einer Balkenauflistung verschiedene Grafikkarten mit deutlich auseinanderliegenden Treiberversionen zusammenstehen, das Fehlerpotential ist hier einfach zu hoch – gerade auch, weil viel weniger Blicke in das Testsetup gehen und daher die unterschiedlichen Treiberversionen in vielen Fällen vom Leser noch nicht einmal bemerkt werden. Wir für unseren Teil werden jedenfalls zukünftig ganz verstärkt auf diesen Punkt Obacht geben (müssen), gerade wenn es um die Beurteilung von eher geringeren Unterschieden geht.