Testaufbau

Samstag, 9. April 2011
 / von Leonidas & Mr. Lolman
 

Gemäß des gewählten Ansatzes haben wir zuerst von den 21 Benchmark-Spielen reguläre Benchmarks in den zwei Auflösungen 1920x1200 und 2560x1600 aufgenommen (die Auflösung von 1680x1050 haben wir uns angesichts des klaren HighEnd-Anspruchs der beiden getesteten Grafikkarten geschenkt), um uns danach mittels "freier Benchmarks" an die jeweilige Spielbarkeitsgrenze heranzutasten. Dabei galt als "Standardtest" jeweils 4x Multisampling Anti-Aliasing bzw. für die Supersampling-Tests dann 2x Supersampling Anti-Aliasing. Alle Schritte darüber hinaus sind nachfolgend aufgeschlüsselt:

Multisampling (MSAA) Supersampling (SSAA)
Standard-Test 4x MSAA 2x SSAA
freie Tests AMD 4x MSAA + 4x CS
8x MSAA
8x MSAA + 8x CS
2x SSAA + 2x CS
4x SSAA
4x SSAA + 4x CS
8x SSAA
freie Tests nVidia 4x MSAA + 4x CS
4x MSAA + 12x CS
8x MSAA
8x MSAA + 8x CS
8x MSAA + 24x CS
2x SSAA + 2x MSAA
2x SSAA + 2x MSAA + 4x CS
2x SSAA + 2x MSAA + 12x CS
4x SSAA
4x SSAA + 4x CS
4x SSAA + 8x CS
4x SSAA + 2x MSAA
4x SSAA + 2x MSAA + 8x CS
4x SSAA + 2x MSAA + 24x CS
8x SSAA

Je nachdem, wo es sich anbot, wurde in den "freien Tests" auch anderes getestet: So Super/Multisampling-Mischmodi mit Coverage Sampling Anti-Aliasing, wo es möglich war – oder auch mal nur 2x Anti-Aliasing, wenn die erzielten Frameraten nicht mehr hergaben. Dabei wurden bei den "freien Tests" (bei weitem) nicht alle vorgenannten Benchmark-Settings getestet und notiert, sondern jeweils nur diese Settings, welches noch spielbare Frameraten ergab. In aller Regel gibt es somit pro Benchmark-Spiel vier Werte pro Grafikkarte und Auflösung: Zwei Werte in den Standard-Settings 4x MSAA und 2xSSAA und zwei Werte, welche die jeweils maximal mit spielbaren Frameraten erreichbare Bildqualität unter Multisampling sowie Supersampling Anti-Aliasing widerspiegeln.

Bezüglich AMDs Enhanced Quality Anti-Aliasing (EQAA) und nVidias Coverage Sampling Anti-Aliasing (CSAA) wurde dabei mit dem gearbeitet, was die beiden Grafikchip-Entwickler maximal anbieten – egal, ob das vergleichbar ist oder nicht. Schließlich wurden EQAA und CSAA nur dort eingesetzt, wo es um die maximale Bildqualität unter noch spielbaren Frameraten ging. Leider ist die Benennung der einzelnen EQAA- und CSAA-Modi zwischen AMD und nVidia nicht vergleichbar, so daß wir nachfolgend in den Benchmarks immer exakt angeben werden, wieviele normale und wieviele Coverage-Samples der jeweilige Modus benutzt.

AMD-Name nVidia-Name
2x MSAA 2x 2x
2x MSAA + 2 Coverage-Samples 2xEQ -
4x MSAA 4x 4x
4x MSAA + 4 Coverage-Samples 4xEQ 8x
4x MSAA + 12 Coverage-Samples - 16x
8x MSAA 8x 8xQ
8x MSAA + 8 Coverage-Samples 8xEQ 16xQ
8x MSAA + 24 Coverage-Samples - 32x

Noch etwas komplizierter wurde es dann bei den Supersampling-Tests: Hier gilt erst einmal, daß nicht jedes Spiel mit Supersampling zurechtkommt, manche Spiele aber auch generell zu niedrige Frameraten für einen solchen Test abwerfen. Da zudem der Weg zu Supersampling Anti-Aliasing bei AMD und nVidia derzeit doch ziemlich verschieden ist (bei AMD vorzugsweise unter DirectX 9 über den AMD-Treiber, ansonsten Downsampling über das SSAA Tool, bei nVidia vorzugsweise über den NVIDIA Inspector, notfalls dann auch wieder Downsampling über das SSAA Tool), konnten hier nicht in jedem Spiel Supersampling-Benchmarks aufgenommen werden und oftmals unterscheiden sich die beiden Grafikkarten zur Verfügung stehenden Anti-Aliasing-Modi doch gewaltig (in aller Regel hat hier nVidia viel mehr Auswahl). So perfekt vergleichbar wie unter Multisampling Anti-Aliasing sind die Benchmarks unter Supersampling Anti-Aliasing also mitnichten – sie sind oftmals auch ein Wettstreit bezüglich der jeweils vorhandenen Supersampling-Möglichkeiten beider Grafikchip-Entwickler.

Supersampling-Modus Technik
2x SGSSAA 2x sparse grid Supersampling Anti-Aliasing (per Treiber oder NVIDIA Inspector)
1,5x1,5 SSAA 1,5x1,5 Downsampling (ordered grid) Supersampling Anti-Aliasing (per SSAA Tool)
2x2 SSAA 2x2 Downsampling (ordered grid) Supersampling Anti-Aliasing (per SSAA Tool)
4x SGSSAA 4x sparse grid Supersampling Anti-Aliasing (per Treiber oder NVIDIA Inspector)
4x4 SSAA 4x4 Downsampling (ordered grid) Supersampling Anti-Aliasing (per SSAA Tool)
8x SGSSAA 8x sparse grid Supersampling Anti-Aliasing (per Treiber oder NVIDIA Inspector)

Alle Benchmarks wurden ansonsten unter der maximal möglichen Bildqualität der jeweiligen Benchmark-Spiele aufgenommen, Ausnahmen hiervon wurden auf den einzelnen Benchmark-Seiten notiert. Bezüglich der Filterqualität haben wir in diesem Test AMD "HighQuality" gegen nVidia "HighQuality" verglichen – denn selbst wenn dies nicht wirklich gleich ist, entspricht es total dem klaren HighEnd-Anspruch der beiden getesteten Grafikkarten. Die benutzten Treiberversionen sind aufgrund Dauer und Aufwand dieses Tests leider etwas alt, allerdings ergab ein kleiner Nachtest mit einem aktuellen AMD-Treiber, daß selbst unter einem in den Releasenotes mit (angeblich) hohen Performancezuwächsen notiertem Spiel (AvP) sich faktisch gar nichts bewegte. Zudem betreffen die zwischenzeitlichen Veränderungen an AMDs Filterqualität diesen Test nicht, da sich an der hier benutzten "HighQuality"-Filterqualität über die letzten AMD-Treiber nichts geändert hat.

AMD nVidia
Bildqualität im Spiel üblicherweise maximale Bildqualität (Ausnahmen sind erläutert)
Filterqualität AMD "HighQuality" nVidia "HighQuality"
anisotroper Filter durchgehend im Spiel auf Level 16 aktiviert
Multisampling Anti-Aliasing durchgehend im Spiel aktiviert
EQAA/CSAA per Treiber aktiviert
Supersampling Anti-Aliasing unter DirectX 9 per Treiber, alternativ Downsampling per SSAA Tool per NVIDIA Inspector, alternativ Downsampling per SSAA Tool
Transparenz Anti-Aliasing für diesen Test nicht benutzt (off)
Treiber-Version AMD Catalyst 10.12a (ein Stichprobentest mit 11.2 Beta brachte die gleiche Performance) nVidia 266.58 WHQL

Als wichtiger Punkt wäre zu beachten, daß die Messungen dieses Artikels fast durchgehend auf Basis von Fraps erstellt wurden. Es wurden also nicht übliche Timedemos angesetzt, auf welche die Grafikkarten-Entwickler ihre Treiber unter Umständen speziell optimieren können, sondern mehrheitlich reale Spielszenen, womit das entsprechende Spiel dementsprechend bei jedem einzelnen Benchmark-Durchlauf für 70 bis 80 Sekunden angespielt wurden. Die meisten Benchmarks wurden dabei mehrfach durchgeführt, um zu einem halbwegs reproduzierbaren und damit sicheren Ergebnis zu kommen. Da Fraps-Messungen jedoch per Prinzip nicht wirklich genau sein können, geben wir nachfolgend die Benchmark-Ergebnisse nur gerundet auf ein fps an – um nicht durch Kommawerte eine Genauigkeit vorzutäuschen, die so eigentlich nicht existiert.

Wir haben dabei in jedem Spiel versucht, entsprechend anspruchsvolle Benchmark-Szenen zu finden, ohne aber auf nur singulär vorkommende WorstCase-Szenarien zu bestehen. Ziel der Messungen war es, eine niedrige Durchschnitts-Performance wiederzugeben – nicht den absoluten Tiefstpunkt, aber auch nicht ein nur allgemeiner Durchschnitt. Wie die einzelnen Testszenen zu bewerten sind und was sich daraus für Aussagen zur Spielbarkeit der einzelnen Testspiele ergeben, wird dann noch auf den nachfolgenden Benchmark-Seiten zu jedem Spiel einzeln ausgeführt werden.

Als Testsystem kam wieder der übertaktete Core 2 Quad des letzten Grafikkarten-Reviews zum Einsatz, welcher aufgrund Sandy Bridge inzwischen angestaubt aussehen mag, durch seine gesunde Übertaktung aber immer noch gut mithalten kann (ohne natürlich Spitzenleistungen zu erbringen). Die kompletten von uns benutzten PC-Komponenten für diesen Test lauten dabei wie folgend:

  • Intel Core 2 Quad Q9450 @ 3.6 GHz (450x8, FSB1800)
  • Asus P5K-E (Intel P35)
  • 4 GB DDR2 @ 450 MHz (DDR2/900), 5-5-5-15-1T
  • Sapphire Radeon HD 6970 2048 MB (freundlicherweise gestellt von Sapphire)
  • Palit GeForce GTX 570 Sonic 1280 MB (freundlicherweise gestellt von Caseking)
  • Windows 7 64-Bit
  • ATI Catalyst 10.12a
  • nVidia Forceware 266.58 WHQL

Als Testsoftware haben wir gegenüber unserem letzten Grafikkarten-Review wiederum etwas aufgestockt und nunmehr ganze 21 Benchmark-Spiele ausgewählt. Hinzugekommen sind einige neuere Titel wie Call of Duty: Black Ops und das 2010er Medal of Honor, wodurch sich im gesamtem Benchmark-Feld – wenngleich ungewollt – durchaus eine gewisse Shooterlastigkeit ergibt:

  • Age of Conan
  • Aliens vs. Predator
  • Anno 1404
  • Arcania: Gothic 4
  • Armed Assault 2
  • Avatar
  • Battlefield: Bad Company 2
  • BioShock 2
  • Call of Duty: Modern Warfare 2
  • Call of Duty: Black Ops
  • Colin McRae: DiRT 2
  • Crysis
  • F1 2010
  • GTA IV
  • Just Cause 2
  • Lost Planet 2
  • Mafia II
  • Mass Effect 2
  • Medal of Honor
  • Metro 2033
  • Stalker: Call of Pripyat