Benchmarks mit gleicher Treiberversion?

Wir hatten es in unserem letzten Artikel schon anklingen lassen, daß derzeit offenbar wieder die Unsitte eingerissen ist, bei Grafikkarten-Tests mit wild durcheinandergewürfelten Treiberversionen zu testen. Sicherlich sind ein Catalyst 9.1 von Mitte Januar und die Beta des Catalyst 9.4 von Anfang April nicht so enorm voneinander abweichend, aber wenn es um eine genaue Betrachtung geht, dann zählen auch die paar Prozentpunkte, welche zwischen diesen Treiberversionen liegen. Und spätestens, wenn die eigenen Tests einen Performance-Unterschied von bis zu 20 Prozent zwischen Radeon HD 4870 und 4890 ergeben, wo es laut Theorie (und Benchmarks auf gleichen Treibern) nur maximal 10 bis 11 Prozent geben darf, läuft etwas gewaltig falsch.

Rein technisch ist es noch nicht einmal richtig, wenn man die neuen Karten auf dem Launchtreiber gegen die "alten" Karten auf dem jeweils aktuellen Treiber stellt. Normalerweise muß man wegen einer Treiberversion Unterschied zwar kein Faß aufmachen, gerade der Unterschied zwischen "letzter offizieller Treiber" und "Launch-Beta-Treiber" hat allerdings Gewicht, weil letzterer potentiell brandneue Optimierungen mitbringt, die eventuell auch den älteren Karten etwas bringen. Wenn man sich also sicher sein will, daß die eigenen Testergebnisse die Wahrheit korrekt wiedergeben, dann bleibt gar nichts anderes übrig, als alles mit demselben Treiber zu testen.

Daß dies derzeit nicht überall der Fall ist, wissen wir – und wollen wir nachfolgend anhand des Radeon HD 4890 / GeForce GTX 275 Launchs besser quantifizieren. Dazu haben wir uns alle seinerzeitigen Launch-Artikel dahingehend angesehen, welche Treiberversionen dort jeweils benutzt worden sind. Anzumerken wäre vorab, daß bis zum Launchzeitpunkt die Treiber ATI Catalyst 9.3 und nVidia 182.08 WHQL bzw. 182.46 Beta aktuell waren und mit dem Launch seitens ATI und nVidia entsprechend neue Treiberversionen den verschiedenen Hardware-Rekationen zur Verfügung gestellt wurden, nachfolgend als "Launchtreiber" bezeichnet.

Webseite perfekt aktuell benutzte Treiber
ComputerBase HD4890: ATI-Launchtreiber, HD4870/1GB: Catalyst 9.3, andere ATI-Karten: Catalyst 8.11, GTX275: nVidia-Launchtreiber (185.63), GTX260/216: 182.46, GTX285 & GTX295: 181.22, andere nVidia-Karten: 180.48
Hardwareluxx ATI-Karten: durchgehend ATI-Launchtreiber, nVidia-Karten: durchgehend nVidia-Launchtreiber (185.63)
GameStar ATI-Karten: durchgehend ATI-Launchtreiber, nVidia-Karten: durchgehend 182.08
Hartware HD4890: ATI-Launchtreiber, andere ATI-Karten: Catalyst 9.3, nVidia-Karten: durchgehend 181.20
HT4U HD4890: Launchtreiber, andere ATI-Karten: Catalyst 9.1 & 9.2, nVidia-Karten: 186.06
PC Games Hardware ATI-Karten: durchgehend ATI-Launchtreiber, nVidia-Karten: durchgehend nVidia-Launchtreiber (185.63)
Tom's Hardware HD4890: ATI-Launchtreiber, andere ATI-Karten: Catalyst 9.3, GTX275: nVidia-Launchtreiber (185.63), andere nVidia-Karten: 181.20
AMDZone ATI-Karten: durchgehend ATI-Launchtreiber, nVidia-Karten: durchgehend 182.08
AnandTech HD4890: ATI-Launchtreiber, andere ATI-Karten: Catalyst 8.12 Hotfix, nVidia-Karten: durchgehend nVidia-Launchtreiber (185.65)
Bjorn3D ATI-Karten: durchgehend ATI-Launchtreiber, durchgehend nVidia-Launchtreiber (185.63)
Club Overclocker ATI-Karten: durchgehend ATI-Launchtreiber
DriverHeaven ATI-Karten: durchgehend ATI-Launchtreiber, nVidia-Karten: durchgehend nVidia-Launchtreiber (185.63)
Elite Bastards HD4890: ATI-Launchtreiber, andere ATI-Karten: Catalyst 9.3
Expreview HD4890: ATI-Launchtreiber, andere ATI-Karten: Catalyst 9.3, nVidia-Karten: durchgehend 182.46
ExtremeTech ATI-Karten: durchgehend ATI-Launchtreiber, durchgehend nVidia-Launchtreiber (185.63)
FiringSquad HD4890: ATI-Launchtreiber, andere ATI-Karten: Catalyst 9.3, 8800GTX: 182.08, andere nVidia-Karten: nVidia-Launchtreiber (185.63)
Guru3D ATI-Karten: durchgehend ATI-Launchtreiber, durchgehend nVidia-Launchtreiber (185.63)
HardOCP ATI-Karten: durchgehend ATI-Launchtreiber, durchgehend nVidia-Launchtreiber (185.63)
Hardware Canucks HD4890: ATI-Launchtreiber, andere ATI-Karten: Catalyst 9.3, GTX275: nVidia-Launchtreiber (185.63), andere nVidia-Karten: 182.08
Hardware.fr ATI-Karten: durchgehend ATI-Launchtreiber, nVidia-Karten: durchgehend nVidia-Launchtreiber (185.63)
HardwareZone HD4890: ATI-Launchtreiber, HD4870/1GB: Catalyst 8.12, HD4870/512MB: Catalyst 9.1, GTX275: nVidia-Launchtreiber (185.63), andere nVidia-Karten: 181.20
Hexus HD4890: ATI-Launchtreiber, andere ATI-Karten: Catalyst 9.3, GTX275: nVidia-Launchtreiber (185.63), andere nVidia-Karten: 182.06
Hot Hardware ATI-Karten: durchgehend ATI-Launchtreiber, durchgehend nVidia-Launchtreiber (185.63)
Legit Reviews ATI-Karten: durchgehend ATI-Launchtreiber, durchgehend nVidia-Launchtreiber (185.65)
Neoseeker HD4890: ATI-Launchtreiber, andere ATI-Karten: Catalyst 9.3, nVidia-Karten: durchgehend 182.46
Ninjalane ATI-Karten: durchgehend Catalyst 9.3, nVidia-Karten: durchgehend nVidia-Launchtreiber (185.63)
Overclocker Club keine Angaben
PC Perspective ATI-Karten: durchgehend ATI-Launchtreiber, nVidia-Karten: 181.71 & 182.08
SimHQ keine Angaben
techPowerUp HD4890: ATI-Launchtreiber, andere ATI-Karten: Catalyst 9.1, GTX275: nVidia-Launchtreiber (185.63), GTS250: 182.06, andere nVidia-Karten: 181.20
Techware Labs keine Angaben
Trusted Reviews HD4890: ATI-Launchtreiber, andere ATI-Karten: Catalyst 9.2, nVidia-Karten: durchgehend 182.08
TweakTown HD4890: ATI-Launchtreiber, andere ATI-Karten: Catalyst 9.2, nVidia-Karten: durchgehend 182.06
X-bit Labs ATI-Karten: durchgehend ATI-Launchtreiber, nVidia-Karten: durchgehend 182.08

Wie man sieht, sind die Ergebnisse insgesamt ganz vernünftig, weil doch viele Webseiten durchgehend auf Launchtreibern oder aber wenigstens auf hochaktuellen Treibern getestet haben. Allerdings gibt es auch Ausnahmen – interessanterweise zumeist bei denjenigen Webseiten, welche eher umfangreiche Benchmark-Ergebnisse mit einer Vielzahl an Vergleichsmöglichkeiten zu älterer Hardware bieten. Hier ist natürlich klar, daß dies einen enormen Arbeitsaufwand bedeuten würde, dies alles auf die jeweils neuen Treiberversionen umzusetzen – vor allem, weil keiner garantieren kann, ob diese neuen Treiberversionen nicht möglicherweise am nächsten Tag schon wieder unaktuell sind.

Trotzdem hilft es niemanden, wenn in einer Balkenauflistung verschiedene Grafikkarten mit deutlich auseinanderliegenden Treiberversionen zusammenstehen, das Fehlerpotential ist hier einfach zu hoch – gerade auch, weil viel weniger Blicke in das Testsetup gehen und daher die unterschiedlichen Treiberversionen in vielen Fällen vom Leser noch nicht einmal bemerkt werden. Wir für unseren Teil werden jedenfalls zukünftig ganz verstärkt auf diesen Punkt Obacht geben (müssen), gerade wenn es um die Beurteilung von eher geringeren Unterschieden geht.