Intel irritiert mit "schöngefärbten" Benchmarks zum Core i9-9900K

Vermeidbares Ungemach hat sich Intel mit der Entscheidung an Land gezogen, vorab ein Testinstitut mit "unabhängigen" Benchmarks zu den neuen Intel-Prozessoren [1] zu beauftragen. Bislang hatte man Presse & Hardwaretester üblicherweise nur ein paar ausgewählte Haus-eigene Benchmarks an die Hand gegeben, welche als beispielhafte Performance-Demonstration gedacht und auch derart verstanden wurden. Nun aber kommt im Fall des Coffee-Lake-Refreshs von Principled Technologies (PDF [2]) ein komplettes Benchmark-Set mit Spiele-Benchmarks zu mehreren aktuellen AMD- und Intel-Prozessoren und einem ansehnlichen Testfeld von immerhin 19 Spieletiteln. Was auf den ersten Blick nach einer höheren Qualität dieser "Hersteller-eigenen" Benchmarks aussieht, entpuppte sich bei genauerer Betrachtung jedoch als ziemliches Eigentor, da hierbei doch einige handwerkliche Fehler begangen wurden – welche "zufällig" allesamt zugunsten von Intel bzw. speziell des Core i9-9900K gehen:

Die Punkte (2) und (3) sollten natürlich nicht für beachtbar große Differenzen sorgen können – was dagegen auf die Punkte (1) und (4) absolut zutrifft. Der Punkt (1) ergibt sich nur indirekt aus den Ausführungen von Principled Technologies, konnte allerdings inzwischen mittels von Hardware Unboxed [3] nachgestellter Benchmarks nachgewiesen werden: Der Ryzen 7 2700X läuft in diesen Principled-Technologies-Benchmarks tatsächlich nur als Vierkerner (mit SMT) – und damit natürlich keineswegs im standardmäßigen wie auch bestmöglichen Setting. Gut möglich, das sich die Hardwaretester von Principled Technologies hierbei schlicht vom Begriff "Game Mode" in die Irre führen lassen haben, dies also keinen vorsätzlich gegen AMD gemachten Fehler darstellt. Immerhin ist der "Game Mode" für die mitgetesteteten Threadripper-Prozessoren 2950X und 2990X durchaus von Vorteil – nur eben für den Ryzen 7 2700X keineswegs. Andererseits würde es einem erfahrenene Hardwaretester durchaus auffallen, wenn ein Threadripper-Prozessor im Gaming-Einsatz durchgehend (und erheblich) schneller ist als das Ryzen-Topmodell – dann sollte man eher den Fehler suchen, als jene Benchmarks zu veröffentlichen.

Der Punkt (4) ist hingegen derzeit nur ein Verdachtsfall: Wie gesagt hat Principled Technologies zu allen anderen für Intel-Prozessoren benutzten Platinen die Deaktivierung des "Multicore Enhancement" Features vermeldet (löst einen AllCore-Turbo aus), nur nicht beim für den Core i9-9900K benutzten MSI Z390-A Pro Mainboard. Laut dessen Handbuch existiert bei diesem keine derart genannte Option, dafür aber das gleichartige Feature "Enhanced Turbo", welche im default-Zustand auf "Auto" steht. Welches Verhalten diese default-Einstellung dann jedoch auslöst, ist nicht klar bzw. kann sich schließlich auch von MSI-Board zu MSI-Board unterscheiden. Der Verdacht, das ein solches AllCore-Turbo-Feature speziell beim Core i9-9900K damit jedoch aktiv war, besteht allerdings durchaus – und wäre besser seitens Principled Technologies auszuräumen. Im Fall des Falles würde der Core i9-9900K dann werksübertaktet mit dauerhaft 5.0 GHz auf allen CPU-Kernen laufen, was gegenüber den üblichen Turbo-Taktraten dieses Prozessors [1] einen Taktratengewinn von +6,4% bei Belastung von 5 oder mehr CPU-Kernen sowie +4,2% bei Belastung von 3-4 CPU-Kernen bedeutet.

Vor allem aber ergäbe dies natürlich einen unfairen Vergleich gegenüber den anderen getesteten Intel-Prozessoren, wo selbiges Feature durchgehend bewußt deaktiviert wurde. Ob jener AllCore-Turbo wirklich aktiv war, läßt sich an den vorhandenen Benchmarks jedoch leider kaum ablesen, da hierbei nur auf durchschnittliche Frameraten (und nicht die 1% niedrigsten Werte) gesetzt wurde, womit in allen Meßresultaten immer auch ein gutes Stück Grafikkarten-Limitierung enthalten sein wird. Die von Principled Technologies dabei ermittelte Performance-Differenz von +6,1% zwischen Core i7-8700K und Core i9-9900K könnte somit sowohl vom reinen Taktraten-Unterschied dieser Prozessoren (~9% im Turbo-Modus) als aber auch vom regulären Taktraten-Unterschied zuzüglich des AllCore-Turbo (~15% im Turbo-Modus) stammen. Gegengetestet bzw. geprüft werden kann dieser Punkt derzeit natürlich nur seitens Intel oder Principled Technologies.

Der Vergleich zum Ryzen 7 2700X geht dann mit einem (angeblichen) Vorsprung des Core i9-9900K von gleich +27,0% jedoch vollkommen daneben – der AMD-Prozessor wird hierbei wie gesagt durch die Limitierung auf nur vier CPU-Kerne maßgeblich ausgebremst. In drei seitens Hardware Unboxed [3] hierzu beispielhaft angestellten benchmarks konnte der Ryzen 7 2700X auf den vollen acht CPU-Kernen (und unter denselben Speichersettings) gleich einmal um +16,1% hinzulegen – was die Sache deutlich freundlich aussehen läßt. Natürlich ist keinesfalls zu erwarten, das der Ryzen 7 2700X an das Performance-Niveau dieser Intel-Prozessoren im Spiele-Einsatz herankommt – aber so groß wie mit den Benchmarks von Principled Technologies dargestellt sind die Differenzen nun auch wieder nicht. Gerade wenn man einfach nur durchschnittliche Frameraten als Bemessungsgröße heranzuzieht, sollte bei vielen Benchmarks ein ausgewogenenes Bild mit allerhöchstens leichter Intel-Tendenz herauskommen, nur einzelne Benchmarks dann gewisse Differenzen von üblicherweise wenigen Prozentpunkten aufzeigen. Echte Performance-Differenzen können sich sowieso erst unter Benutzung von Minimum-Frameraten (auf Basis der 1% niedrigsten Werte) zeigen – und weisen selbst dann nur eine gemittelte Differenz von gut 10% zwischen Core i7-8700K und Ryzen 7 2700X [4] aus.

Insofern hat sich Intel mit diesen von Intel in Auftrag gegebenen und von Principled Technologies durchgeführten Benchmarks doch maßgeblich vergaloppiert: Weder ist die Meßmethodik besonders zielführend, um zu (wirklich) sinnhaften Resultaten zu kommen, noch wurden AMD- und Intel-Prozessoren wirklich fair miteinander verglichen. Einer unabhängigen Test-Webseite, welche mit derartigen Fehlern zu einem Hardwaretest antritt, würde man sprichwörtlich das Fell über die Ohren ziehen. Leider scheint man bei Intel zudem immer noch auf einem sehr hohen Roß zu sitzen und weist in einer ersten Stellungnahme (im YouTube-Video von Gaming Nexus [5]) die Benchmark-Bedingungen und -Resultate von Principled Technologies als "konsistent" mit Daten aus Intel-Laboren aus. Ob dies bedeutet, das Intel in seinen Laboren die AMD-Prozessoren auch bei der Kern-Anzahl beschneidet, Differenzen bei Kühlern und Speicherlatenzen zuläßt und (potentiell) Overclocking-Features allein bei Intel-Prozessoren aktiviert, darf Intel dem versammelten Fachpublikum gern noch einmal genauer erklären. Intel-intern dürfte hingegen auszuwerten sein, wie man auf die goldige Idee kommen konnte, Benchmarks zu einem doch sowieso führenden Produkt derart zu entwerten, das niemand mehr auf die Intel-Performance schaut und alle nur noch über "schöngefärbte" Benchmarks reden.

Nachtrag vom 14. Oktober 2018

Von Principled Technologies (PDF) [6] liegen nunmehr korrigierte Benchmark-Werte zum Core i9-9900K vor, mittels welchem man die festgestellten Fehler & Schwächen des originalen Tests weitgehend abgestellt hat. So wurde diverse kleinere Fehler in der Dokumentation gefixt, jener Dokumentation nun auch eine Übersicht der anliegenden Speichertimings beigefügt – womit sich sagen läßt, das jene grob gleich zwischen AMD- und Intel-Systemen sind. Nicht geändert wurde der benutzte Kühler beim Ryzen 7 2700X – wobei wir mal einfach davon ausgehen, das AMDs eigentlich hochgelobter Standardkühler "Wraith Prism" zumindest ohne Übertaktung seinen Dienst ähnlich erledigt wie es der ansonsten benutzte Noctua-Kühler tun wird. Vor allem aber wurden für alle AMD-Prozessoren nunmehr durchgehend zusätzliche Testergebnisse im (default-mäßigen) "Creator Mode" angegeben – hiermit ergibt sich dann auch ein direkter Vergleich zum "Game Mode" auf Ryzen- und Threadripper-Prozessorer unter immerhin 19 Spiele-Tests:

Und selbst wenn hierbei nur durchschnittliche Frameraten unter der FullHD-Auflösung betrachtet wurden, kommen erhebliche Differenzen heraus: Der Ryzen 7 2700X gewinnt in seinem "Creator Mode" gegenüber dem "Game Mode" immerhin +8,5% hin, diese Performance fehlte in der ursprünglichen Ausarbeitung seitens Principled Technologies. Die beiden Threadripper-Prozessoren sehen hingegen im "Game Mode" tatsächlich viel besser aus, für jene lohnt es sich in jedem Fall, in diesem Modus zu testen. Somit sieht die Gesamübersicht dann schon wieder wesentlich freundlicher und gleichlautend mit früheren Benchmarks aus – die grob -10% Performance-Differenz zwischen Ryzen 7 2700X und Core i7-8700K kam exakt auch schon bei der letzten allgemeinen Betrachtung der Spieleperformance von AMD vs. Intel [4] heraus. Das der Core i9-9900K dann noch einmal +4,6% auf den Core i7-8700K oben drauf legen soll, wird dann (unabhängig) am 19. Oktober zu überprüfen sein, wenn die neuen CPU-Modelle offiziell an den Start gehen [1]. Offen bleibt bezüglich dieser Benchmarks von Principled Technologies nur noch die Frage, inwiefern nicht zufällig doch der AllCore-Turbo beim Core i9-9900K aktiv war – dies geht auch aus dem aktualisierten Testprotokoll noch nicht eindeutig hervor.

Nachtrag vom 17. Oktober 2018

Bezüglich der Core i9-9900K Benchmarks seitens Principled Technologies wäre noch nachzutragen, was uns die Firma zum Thema des potentiellen Allcore-Turbos nur beim Core i9-9900K nachträglich noch mitgeteilt hat: Danach lief das benutzte MSI Z390-A Pro Mainboard in der Tat mit dem default-Setting bei der BIOS-Option "Enhanced Turbo", welche wie gesagt die Allcore-Funktionalität regelt. Laut den internen Messungen von Principled Technologies ergibt das "Auto"-Setting dieser BIOS-Option die gleiche Performance wie "Disabled" – womit anzunehmerweise "Auto" also "Disabled" bedeutet und damit das korrekte Setting darstellt, wenn man unübertaktete Benchmarks anstrebt. Zur gänzlichen Sicherheit hätte man natürlich noch einmal mit "Enabled" nachmessen sollen – aber höchstwahrscheinlich ist dies alles schon korrekt. Das MSI-Mainboard setzt damit im Gegensatz zu früheren Mainboards im Standardbetrieb nicht auf einen Allcore-Turbo – wie dies gegenüber den Mainboard-Hersteller auch so gefordert worden war, nachdem das Thema der ab Werk auto-übertaktenden Mainboards [7] zuletzt nach dem initialen Coffee-Lake-Launch im letzten Herbst hochkochte. Die kürzlich genannte [8] zweite Benchmark-Fassung von Principled Technologies dürfte somit das korrekte Performance-Bild zum Core i9-9900K wiedergeben – was sich dann zum Launch am 19. Oktober [1] unabhängig nachprüfen lassen wird.