Intel sieht Core i7-9700K & i9-9900K noch vor Ryzen 9 3900X

Dienstag, 27. August 2019
 / von Leonidas
 

Intel hat zwar (noch) keinen Hardware-Konter zu AMDs Zen-2-Prozessoren aufzubieten, impft derzeit aber erneut die Fach-Presse (und wahrscheinlich genauso auch die großen OEM-Abnehmer) mit seiner Initiative zu RealWorld-Benchmarks im CPU-Bereich, wie zuletzt in diesem Mai passiert. So berichten PCGamesN von entsprechenden Gesprächen auf der Gamescom, andere Presse-Magazine dürften dies vielleicht nicht so offen kommunizieren, sondern entweder als "internen" Vorgang oder aber als "nicht bedeutsam" abtun. Von XFastest (maschinelle Übersetzung ins Deutsche) kommt dann ein größerer Eindruck dazu, welche Geschütze Intel hierbei auffährt, inklusive auch mehreren Präsentationsfolien zur Untermauerung des Intel-Standpunkts. Hierbei werden sogar reihenweise Performance-Aussagen zum direkten Vergleich von Core i7-9700K & Core i9-9900K gegenüber AMDs Ryzen 9 3900X getroffen, welche nachfolgend dokumentiert und vor allem analysiert bzw. mit der Realität unabhängiger Benchmarks verglichen werden sollen.

Laut XFastest läuft das ganze bei Intel unter sogenannten "Real Usage Guidelines" und hat mit "RUG" sogar eine eigene Abkürzung. Dabei setzt Intel nunmehr das in die Praxis um, was man in diesem Mai bereits angekündigt hatte: Weg vom Cinebench als primärem Performance-Gradmesser und hin zu Benchmarks, welche eher der Lebensrealität des normalen Desktop-Nutzers entsprechen. Hinzu kommt die eine wie andere Spitze gegenüber AMDs Ryzen-3000-Prozessoren, so bezüglich der (nicht erreichten) Turbo-Taktraten bzw. der teilweise höheren Latenzen des Zen-2-Designs – was allerdings mit einer Betrachtung über die passende Benchmark-Auswahl eigentlich wenig zu tun hat. In der Hauptsache spricht sich Intel zuerst einmal für die Nutzung des SYSmark 2018 als Gradmesser zur Anwendungs-Performance aus. Die Argumentation hierzu besteht aus zwei Teilen: Zum einen geht es beim SYSmark primär um Office- und Adobe-Performance als den (laut Intel) am meisten genutzten Anwendungs-Programmen, zum anderen enthält der SYSmark eben auch diese Programme direkt, ist also kein theoretisches Testprogramm.

Abschließend fügt Intel dann reihenweise eigene Performance-Aussagen an, basierend auf eigenen Messungen (welche aufgrund der fehlenden Fußnoten nicht besonders gut nachzuvollziehen sind). Eine Präsentationsfolie dreht sich hierbei allein um die Spiele-Performance des Core i7-9700K im Vergleich zum Ryzen 9 3900X, eine andere zeigt eine Performance-Generalabrechnung zwischen Core i7-9700K & Core i9-9900K gegenüber dem Ryzen 9 3900X auf verschiedenen Benchmark-Feldern. Die primär sich hierbei ergebende Intel-Aussage ist, das Intel auch schon mit dem Core i7-9700K in fast allen Benchmark-Feldern gleich oder besser als der (teurere) Ryzen 9 3900X ist – nur eben im Cinebench sehr deutlich nicht. Damit soll aus Intel-Sicht anscheinend verdeutlicht werden, das der Cinebench ein arg abweichendes Performance-Ergebnis gegenüber allen anderen Benchmark-Feldern abliefert – so krass abweichend, das jener besser nicht mehr zu benutzen wäre (letzeres natürlich nur eine Suggestion gemäß des Aufbaus der Intel-Folien).

    Intel-Aussagen zu "Ryzen 3000 vs. Core i-9000"

  • Einfache Benchmarks aus dem Bereich Office, Fotobearbeitung, Webnutzung & Gaming sind für Mainstream-PCs ein besserer Performance-Indikator als der Cinebench – welcher eher zur Betrachtung von HighEnd-Maschinen & Workstations geeignet ist.
  • SYSmark 2018 ist der beste Gradmesser zur Performance-Betrachtung realer Software, da SYSmark selbige Software direkt enthält (bspw. diverse Office- und Adobe-Programme).
  • Der Core i7-9700K gewinnt gegenüber dem Ryzen 9 3900X über eine Vielzahl an Spielen (AMD gewinnt unter 2 Spielen, Intel unter 19 Spielen).
  • Der Core i7-9700K erreicht höhere Turbo-Taktraten für alle Rechenkerne als der Ryzen 9 3900X.
  • AMDs Ryzen-Prozessoren haben signifikant höhere Latenzen zwischen den Rechenkernen eines anderen CCX-Moduls sowie zum Arbeitsspeicher.
  • Der Core i7-9700K ist +3% sowie der Core i9-9900K +7% schneller als der Ryzen 9 3900X bei der Anwendungs-Performance unter dem SYSmark 2018.
  • Der Core i7-9700K ist +2% sowie der Core i9-9900K +6% schneller als der Ryzen 9 3900X bei der Spiele-Performance in einem Testfeld von 16 Spiele-Titeln.
  • Der Core i7-9700K ist +6% sowie der Core i9-9900K +9% schneller als der Ryzen 9 3900X bei der Singlethread Integer-Performance unter SPECrate2017.
  • Der Core i7-9700K ist gleich schnell sowie der Core i9-9900K +3% schneller als der Ryzen 9 3900X bei der Web-Performance unter dem WebXPRT3.
  • Der Core i7-9700K ist -51% sowie der Core i9-9900K -35% langsamer als der Ryzen 9 3900X unter AMDs Vorzeige-Benchmark, dem Cinebench R20.
  • Der Core i9-9900K führt bei Produktivität (= Anwendungen), Gaming und Singlethread-Performance.

Wie üblich dürften alle Intel-Aussagen im Detail durchaus korrekt sein – bei der gesamten Intention darf man dann allerdings durchaus anderer Meinung sein. Intels primärer Ansatz zugunsten von mehr Benchmarks aus Feldern von Anwendungs-Programmen, die möglichst häufig genutzt werden, mag sogar zu begrüßen sein (selbst wenn dies nicht bedeuten sollte, dafür andere Anwendungs-Programme gleich ganz auszuschließen). Aber die Ausführung dessen in Form der alleinigen Benutzung des SYSmark 2018 widerspricht dann Intels eigener Vorgabe, die Benchmark-Gestaltung realitätsnäher hinzubekommen. Das Verlassen auf nur ein einziges Programm zur Ermittlung einer gewichtigen Performance-Größe ist schon immer ziemlich daneben, selbst wenn jenes (wie der SYSmark) eine Vielzahl an echten Anwendungen (wie Microsoft Office sowie diverse Adobe-Programme) enthält. Diese Methode ist schon alleine deswegen nicht zielführend, weil die Konzentration auf nur ein einziges Benchmark-Programm die CPU-Hersteller natürlich dazu verleitet, genau nur auf dessen Ergebnisse hin zu optimieren, alle andere Software dagegen dann aus dem Blickfeld zu lassen.

Vor allem aber ist der ganze Ansatz null wert, wenn die herauskommenden Ergebnisse des SYSmark dann wenig mit dem übereinstimmen, was unabhängige Hardware-Tester in tausenden Benchmark-Runs zur Anwendungs-Performance von Ryzen 3000 & Core i-9000 ermittelt haben. In dieser Frage läßt sich gemäß den Benchmark-Ergebnissen zum Launch von Ryzen 3000 der SYSMark 2018 erst einmal sehr deutlich in Frage stellen, denn dort wurde die Anwendungs-Performance des Ryzen 9 3900X mit +56,8% zum Core i7-9700K bzw. +30,5% zum Core i9-9900K ausgemessen – und nicht gerade zurückhängend gegenüber Intel. Doch da Intels primäre Behauptung schließlich darin besteht, das der Cinebench bzw. andere Programme aus dem Rendering-Bereich die Performance-Betrachtung maßgeblich verfälschen, wurden selbige Benchmarks zum Ryzen-3000-Launch hierfür nochmals ausgewertet – diesesmal unter Nichtberücksichtigung aller Einzeltests aus dem Rendering-Bereich. Ergo wird hiermit Intels Forderung erfüllt, die Anwendungs-Performance ganz ohne Rendering-Benchmarks auszumessen – nur eben nicht auf Basis nur des SYSmark 2018, sondern auf Basis der dafür üblicherweise benutzten Programme aus allen möglichen Anwendungs-Bereichen.

Das Ergebnis dieser extra Auswertung (nachfolgend auf der rechten Tabellen-Seite dargestellt) hilft allerdings Intel nur zu minimalen Teilen weiter. Denn natürlich beeinflußt das Fehlen der Rendering-Benchmarks die Ergebnisse, gewinnen hierbei die Intel-Prozessoren in der Performance-Wertung (etwas) hinzu, während AMDs Prozessoren (etwas) verlieren. Aber diese Differenzen sind in diesem großen Testfeld ziemlich minimal – und ändern vor allem nichts an der generellen Hackordnung, welche AMDs Prozessoren bei der Anwendungs-Performance klar vorn sieht. Konkret legt der Ryzen 9 3900X auf den Core i9-9900K im kompletten Testfeld (mit Rendering-Benchmarks) seine +30,5% oben drauf, in einem Testfeld ganz ohne Rendering-Benchmarks sind es aber immer noch +25,8%. Dies könnte man grob sogar als nahezu denselben Abstand ansehen, zumindest verändert es in jedem Fall nicht die insgesamte Bewertung dieser Prozessoren bei deren Anwendungs-Performance.

Anwendungs-Performance (vollständiges Testset) Anwendungs-Performance ohne Rendering-Benchmarks
Core i7-9700K Core i9-9900K (Tests) (Ryzen 9 3900X = 100%) (Tests) Core i7-9700K Core i9-9900K
70,6% 78,9% (19) AnandTech (15) 76,2% 81,2%
- 72,6% (9) ComputerBase (5) - 72,8%
65,4% 76,5% (12) Cowcotland (10) 68,4% 77,8%
64,6% 70,5% (7) Golem (5) 73,7% 75,0%
59,2% 73,7% (13) Guru3D (8) 64,4% 74,3%
70,9% 76,2% (14) Hardware.info (12) 74,7% 77,5%
54,3% 72,1% (10) Hardwareluxx (6) 56,7% 72,4%
- 81,7% (8) Hot Hardware (5) - 85,9%
54,5% 74,7% (9) Lab501 (5) 54,8% 75,6%
- 81,2% (13) LanOC (9) - 85,6%
49,9% 62,1% (16) Le Comptoir d.H. (13) 51,2% 62,7%
57,9% 70,3% (7) Overclock3D (5) 61,8% 74,7%
65,3% 75,3% (18) PCLab (14) 69,9% 77,5%
56,1% 71,0% (8) SweClockers (6) 59,5% 74,3%
73,6% 84,5% (29) TechPowerUp (25) 79,7% 89,0%
53,8% 74,6% (8) TechSpot (4) 56,4% 77,3%
- 82,6% (17) The Tech Report (12) - 87,0%
71,2% 82,6% (25) Tom's Hardware (18) 78,6% 85,3%
63,8% 76,6% (Ø 13,4) Durchschnitt (Ø 9,8) 69,5% 79,5%
-36,2% bzw. +56,8% -23,4% bzw. +30,5% Differenz zum Ryzen 9 3900X -30,5% bzw. +43,9% -20,5% bzw. +25,8%
Ryzen 9 3900X = 100%; Performance-Durchschnitt maßvoll gewichtet zugunsten jener Reviews mit besonders vielen Einzel-Benchmarks;
Performance ohne Rendering-Benchmarks ist ohne die Ergebnisse von: 3D Studio, Blender, Cinebench, Corona, FryBench, Indigo, KeyShot, LuxMark, PCMark Rendering-Test, POV-Ray & V-Ray

Intels These, das die Rendering-Programme die gesamte Performance-Bewertung verfälschen, darf somit als widerlegt angesehen werden. Der Einfluß dieser Programme ist vorhanden (wäre ja auch Unsinn, wenn es nicht so wäre), aber deren Einfluß ist auch nicht so groß, als das damit alle anderen Ergebnisse marginalisiert würden. Dies läßt sich letztlich schon daran festmachen, wie häufig diese Rendering-Programme in den Testfeldern der Hardwaretester zum Einsatz kamen: Im Schnitt entstammten 3-4 der Benchmarks aus dem Rendering-Bereich, das sind grob 30% der jeweiligen Testsets. Dies kann man als etwas zu viel kritisieren, aber natürlich ist auch klar, das auch eine Reduktion auf 10% des Testsets keine echten Differenzen erbringen kann, wenn selbst die Reduktion auf 0% nichts gravierendes am Gesamtergebnis ändert. Zudem gilt auch, das in den größeren Testfeldern (den Hardwaretests mit besonders vielen Einzel-Benchmarks) der Anteil der Rendering-Messungen oftmals zurückgeht, bei TechPowerUp sind es beispielsweise keine 14% mehr. Die Diskussion darüber, ob Rendering-Benchmarks überhaupt in solche Testfelder gehören, führt also letztlich zu rein gar nichts.

Die hingegen monströse Abweichung von Intels Performance-Behauptung zur Anwendungs-Performance gegenüber der Performance-Aussage der Ryzen-3000-Launchreviews deutet vielmehr eher auf ein dickes Problem beim SYSMark 2018 hin: Wenn dieser angeblich alles glückselig machende Benchmark etwas völlig anderes herausbekommt als reale Messungen seitens einer Vielzahl an unabhängigen und erfahrenen Hardwaretestern, dann wäre doch viel eher der SYSmark anzuzweifeln. Was hierbei konkret schief läuft, ist noch nicht klar, die SYSmark-Ergebnisse widersprechen in jedem Fall dem Benchmark-Durchschnitt sehr erheblich. Aber gerade deswegen setzt man schließlich zur Performance-Ermittlung üblicherweise auf eine Vielzahl an Hardwaretests, anstatt sich dem Wohl und Wehe einer einzelnen Test-Applikation auszuliefern. Der SYSmark zählt in diesem Sinne durchaus als nur eine Applikation, selbst wenn jener mehrere Office- und Adobe-Programme enthält. Und auch wenn das SYSmark-Ergebnis so gravierend vom Durchschnitt abweicht, kann man jenes mit in die Auswertung aufnehmen, darf es aber keinesfalls besonders hoch gewichten oder gar als alleinigen Maßstab benutzen.

Intel hat hier einen der einfachst möglichen Fehler gemacht, welchen man als Benchmarker nur tun kann: Sich auf ein Einzel-Ergebnis zu verlassen. Natürlich ist dies nicht einfach nur als Fehler "passiert", sondern Intel dürfte sicherlich Wochen damit zugebracht haben, nach dem einen einzelnen Benchmark zu fahnden, welcher Intel-Prozessoren auch bei der Anwendungs-Performance gut aussehen läßt. Nur ist ein solches Vorgehen prinzipbedingt wertlos: Nicht die Benchmarks müssen sich der Hardware anpassen – sondern die Hardware wird über die vorhandenen Benchmarks (in möglichst großer Zahl) bewertet, egal ob der Hardware der konkrete Benchmark passt oder nicht. Die Auswahl dessen, was man testen will, passiert im Idealfall schon bevor die neue Hardware überhaupt eintrifft – um jeglichen Einfluß der Ergebnisse auf die Auswahl der Benchmarks (und damit das Endergebnis) zu vermeiden. Sich die passenden Benchmarks herauszusuchen, welche die eigene Hardware bestmöglich dastehen läßt, ist vielleicht für Hersteller & Fanboys gängig, hat aber natürlich bei der Arbeit unabhängiger Hardwaretester nichts zu suchen.

Und so läßt sich letztlich sagen, das Intels Aussage einer Performance-Überlegenheit seiner Prozessoren-Modelle Core i7-9700K & Core i9-9900K gegenüber dem Ryzen 9 3900X unter der Anwendungs-Performance eine glatte Falschaussage ist – welche vor allem auch gravierend falsch ist, nicht also nur um ein paar Prozentpunkte von der Wahrheit entfernt liegt. Intels Aussage mag im SYSmark 2018 zutreffen, aber die Ergebnisse jenes Testprogramms weichen derart erheblich vom allgemeinen Performance-Schnitt (mit oder ohne Rendering-Benchmarks) ab, das man eher den SYSmark generell in Frage stellen sollte als sich (alleinig) auf dessen Ergebnisse zu versteifen. Und wie gesagt liegen schließlich mittels unserer Benchmark-Auswertungen wirklich ausreichend solide Benchmark-Ergebnisse zu diesen Prozessoren vor, hier muß das Rad wirklich nicht neu erfunden werden. Intels Ansinnen an mehr realitätsnahen Benchmarks in allen Ehren, aber in diesem Fall hat man sich maßgeblich vergaloppiert.

Ryzen 9 3900X Core i7-9700K (Differenz) Core i9-9900K (Differenz)
Technik & Preis Zen 2, 12C/24T, 3.8/4.6 GHz, 499$ Coffee Lake Refresh, 8C/8T, 3.6/4.9 GHz, 385$ Coffee Lake Refresh, 8C/16T, 3.6/5.0 GHz, 499$
Anwendungen (insgesamt) 100% 63,8% -36,2% bzw. +56,8% 76,6% -36,2% bzw. +56,8%
Anwendungen ohne Renderer 100% 69,5% -30,5% bzw. +43,9% 79,5% -20,5% bzw. +25,8%
Spiele (99th percentile) 100% 104,9% +4,9% bzw. -4,6% 106,3% +6,3% bzw. +5,9%
basierend auf unserer Launch-Analyse zu AMDs Ryzen 3000

Dennoch soll an dieser Stelle nicht unerwähnt bleiben, das Intels Aussagen zur Spiele-Performance seiner Prozessoren vollkommen korrekt sind bzw. gemäß unsere eigenen Erhebungen in dieser Frage sogar noch einen leicht größeren Vorteil auf Intel-Seite sehen. Intel selber gibt sich hierbei einen Vorteil von +2% beim Core i7-9700K sowie +6% beim Core i9-9900K gegenüber dem Ryzen 9 3900X, gemäß der Launch-Analyse zu AMDs Ryzen 3000 haben die unabhängigen Hardwaretester dies im Schnitt allerdings eher als +4,9% bzw. +6,3% bewertet, sprich speziell beim Core i7-9700K doch leicht höher. Generell wäre Intel besser beraten gewesen, sich gezielt nur auf die Spiele-Performance zu beziehen, wo man weiterhin seine Vorteile gegenüber AMD hat und die eigenen Performance-Ergebnisse eben nicht derart abweichend davon sind, was unabhängige Hardwaretester ausgemessen haben. Natürlich ist es für Intel kein befriedigendes Ergebnis, wenn man nur in einem einzelnen Feld (um geringe Vorteile) vorn liegt – aber sich die Benchmarks in anderen Testfeldern zurechtzubiegen, wird heutzutage nichts mehr einbringen.

Es muß schließlich in Frage gestellt werden, ob Intel hiermit irgendjemanden beeindrucken kann bzw. ob Intel dies gründlich genug überdacht hat, wie eine solche Show letztlich aufgenommen wird. Der Großteil der Fach-Presse dürfte ein solches "Briefing" wahrscheinlich einfach nur über sich ergehen lassen, aus reiner Höflichkeit besser dazu schweigen – sich aber kaum von den eigenen Ansätzen beim Thema "Benchmarking" abbringen lassen. Und selbst im OEM-Bereich sind kaum Chancen darauf zu sehen, mit dieser Aktion irgendetwas zu reißen: Dort mögen vielleicht eher Zahlenmenschen als Techniker sitzen, dafür werden dort aber auch große Geldsummen bewegt, dürfte man sich sicherlich viel intensiver um Vor- und Nachteile informieren als viele Endanwender. Und da keiner sagen kann, das nicht erschöpfende Performance-Analysen zu diesem Fall vorliegen, ist nicht zu sehen, wie Intel mit seiner Hochjubelung des SYSmark 2018 selbst im OEM-Bereich irgendjemanden beeindrucken könnte. Auch die OEM-Einkäufer werden letztlich zuerst auf darauf schauen, wie Ryzen 3000 und Core i-9000 von der Fach-Presse und bei den Endanwendern wahrgenommen werden, daran ändert dann auch ein Intel-Widerpruch nicht viel.

In der Summe der Dinge hat sich Intel mit diesen Performance-Aussagen keinen Gefallen getan, sieht dies wegen des krassen Widerspruchs zur Realität unabhängiger Benchmarks eher wie eine versuchte Beeinflußung aus – und beeinflußt werden will keiner, Intel hat da psychologisch auf die genau falschen Knöpfe gedrückt. Wenn man irgendwelche Punkte zur Verbesserung der Performance-Messungen bei Prozessoren-Tests hat, dann muß man das sehr genau begründen, darf aber sicherlich nicht einfach nur mit dem ("zufällig" für Intel passenden) Endergebnis daherkommen. So lange man diesbezüglich nichts etwas wirklich griffiges aufzuweisen hat, wäre es besser für Intel, sich primär auf seine eigenen Stärken zu konzentrieren – wie eben die Spiele-Performance. Aber am Ende ist das ganze eigentlich auch nur eine gute Bestätigung dafür, das (endlich) wieder echter Wettbewerb im CPU-Bereich herrscht, wenn Intel sich zu derartigen Kapriolen veranlaßt sieht. In einem solchen Wettbewerb schießt der eine oder andere Wettbewerber auch schon einmal etwas über das Ziel hinaus – und so lange es den Rahmen des guten Geschmacks nicht grundlegend verläßt, kann der unabhängige Beobachter jenen Zweikampf durchaus amüsiert verfolgen.

Nachtrag vom 27. August 2019

Im Fall von Intels Ryzen-3000-Benchmarks kommt aus den Artikel-Kommentaren der Hinweis auf eine ältere Geschichte, welche wiederum Intel und den SYSmark beinhaltet: Im Jahr 2014 stimmte Intel einer außergerichtlichen Einigung wegen Benchmark-Manipulation in den Jahren 2000-2002 bei den Benchmarks "Webmark" (von Intel selber geschrieben) sowie SYSmark (von Intel als Mitglied der Betreiber-Organisation BAPCo beeinflußt) zu, wobei man im Gegenzug diese Vorwürfe jedoch weiterhin dementieren konnte. Sehr deutlich zeigte sich die seinerzeitige Benchmark-Manipulation beim SYSmark 2002, wo Arbeitsschritte entfernt und Skripte verändert wurden, welche das Performance-Verhältnis um 10-20% zugunsten von Intel verschoben – was beim seinerzeitigen Hauen & Stechen zwischen AMD und Intel auf einem insgesamt sehr kompetiven Niveau doch schon eine ganze Dimension darstellte. In der Folge dessen trat AMD der BAPCo bei, um sich einen eigenen Einfluß auf den SYSmark zu sichern – trat dann jedoch im Jahr 2011 wieder aus (später dann auch VIA & nVidia). Nachfolgend wurde es ziemlich still um diesen Benchmark, wegen der beschriebenen Kapriolen galt der SYSmark als "verbrannt" und wurde von unabhängigen Testern kaum bis gar nicht mehr eingesetzt.

Normalerweise sollte diese Vorgeschichte eher einen Ansatzpunkt für Intel darstellen, jenen Benchmark wie auch die BAPCo komplett aufzugeben und dafür mit etwas neuen, nicht belasteten daherzukommen. Natürlich kann jede neue SYSmark-Version durchaus die Fehler der Vergangenheit ausbügeln und einen soliden Benchmark ergeben – allein, dafür sollte man sich natürlich gerade aufgrund dieser Vorgeschichte darauf konzentrieren, irgendwie im Rahmen der Erwartungen herauszukommen und für jegliche Abweichungen eine besonders gute Erklärung parat zu haben. Wie allerdings anhand der Intel-Benchmarks zu sehen, weichen die SYSmark-Ergebnisse gravierend vom allgemeinen Schnitt ab – was gerade bei einem Groß-Benchmark, welcher viele Einzeltests unter mehreren unterschiedlichen Applikationen enthält, eigentlich in dieser krassen Form gar nicht so vorkommen dürfte. Noch schlimmer ist dann, das die Abweichung des SYSmark 2018 gegenüber dem allgemeinen Performance-Schnitt sogar deutlich größer ausfällt als die entsprechende Abweichung des von Intel kritisierten Cinebench. Nachfolgend wird dies anhand des neu gebildeten Performance-Durchschnitts ohne Rendering-Benchmarks belegt – wobei dieser Performance-Durchschnitt durch die Herausnahme jeglicher Rendering-Benchmarks (also nicht nur dem Cinebench) sowieso schon leicht zugunsten von Intel gefärbt ist.

(Ryzen R9 3900X = 100%) Anwendungen (o.R.) Cinebench R20 (M)   (Abweichung) SYSmark 2018   (Abweichung)
Core i9-9900K 76,6% 62,1%   23 Prozentpunkte 107%   40 Prozentpunkte
Core i7-9700K 63,8% 48,9%   31 Prozentpunkte 103%   61 Prozentpunkte
Anwendungs-Performance ohne Rendering-Benchmarks basierend auf unserer Launch-Analyse zu AMDs Ryzen 3000; Cinebench R20 Multi basierend auf Golems Benchmarks; SYSmark 2018 basierend auf Intels Angaben; die Prozentpunkt-Abweichung stellt die Abweichung des jeweiligen Benchmarks (Cinebench & SYSmark) gegenüber dem Performance-Durchschnitt dar

Die Ergebnisse sind überraschend klar: Intels SYSmark-Ergebnis weicht vom Performance-Durchschnitt ohne Rendering-Benchmarks mit 40 bzw. 60 Prozentpunkten überaus deutlich ab, die Abweichung des Cinebench R20 liegt hingegen mit 23 bzw. 31 Prozentpunkten zwar hoch, liegt aber durchaus noch in einem gängigen Rahmen. Gewisse Abweichungen unter einzelnen Benchmark-Programmen sind vollkommen normal, schließlich spricht jeder Benchmark jeweils andere Stärken und Schwächen der getesteten CPUs an – und am Ende werden möglichst viele Benchmarks miteinander verrechnet, um zu einem soliden Performance-Durchschnitt zu kommen. Auch die SYSmark-Abweichung ist so gesehen noch nicht völlig abwegig, ähnliche Resultate kommen bei umfangreichen Testsets durchaus schon einmal vor. Bei einem Programm wie dem SYSmark mit seinem Umfang und seiner Basis ist ein solches Ergebnis dann allerdings recht bedenklich, normalerweise sollte gerade eine Benchmark-Kompilation klar in Richtung des allgemeinen Schnitts tendieren. Das der SYSmark eher nur Office- und Adobe-Benchmarks enthält, ist auch kein gutes Argument, denn es war ein auffallendes Ergebnis des Ryzen-3000-Launches, das die neuen AMD-Prozessoren gerade auch unter diesen Disziplinen mit Intel mithalten können. In jedem Fall kann man nunmehr klar sagen: Der SYSmark 2018 bevorteilt Intel deutlich mehr als der Cinebench AMD bevorteilt.

Nachtrag vom 1. September 2019

Legit Reviews notieren AMDs offizielle Antwort auf Intels Bestrebungen, den SYSmark 2018 als alleinigen Gradmesser für die Anwendungs-Performance von PC-Prozessoren zu positionieren – welche aufgrund der Vorgeschichte von AMD mit der BAPCo (als dem SYSmark-Hersteller) – erwartungsgemäß "zurückhaltend" ausfällt. Daneben hat man sich auch kurz mit dem SYSmark 2018 selber bzw. dem Zustandekommen von dessen Zahlen beschäftigt. Als Vorteil bietet der SYSmark 2018 immerhin an, das hierbei reale Anwendungen die Grundlage darstellen, sprich es sind regelrecht Teile von Microsofts Office, Adobe & anderen Anwendungs-Programmen im Benchmark enthalten. Die Problematik bei so einem General-Benchmark, welcher sich aus vielen Einzeltests zusammensetzt, besteht allerdings immer darin, wie dann die Einzeltests zum Gesamtergebnis zusammengemixt werden, primär über die Gewichtung der einzelnen Benchmarks. Diesbezüglich kann sich die BAPCo einige Kritik anhören, wenn beispielsweise der "PowerDirector" mit 27,5% die Führungsrolle übernimmt, das sicherlich viel breiter und öfter benutzte Word (5,4%) sowie der Windows-ZIPer (3,8%) deutlich weniger in die SYSmark-Gesamtzahl einfließen. Dem von Intel propagandierten Ansatz, der SYSmark soll sich (im Gegensatz zum Cinebench) von selten genutzten Programmen abwenden, entspricht dies nicht wirklich.

Oftmals wird aber bei dieser grundsätzlichen Kritik allerdings vergessen, das die meisten Office-Tests – egal ob im SYSmark passierend oder als Einzeltest ausgelegt – unrealistische Benchmark-Szenarien aufbauen, wie beispielsweise das Öffnen von 1000 Office-Dateien gleichzeitig oder das Ausführen eines supergroßes Excel-Scripts. Beide Anwendungsfälle passieren faktisch nur im professionellen Einsatz, sprich auf Workstations – und fallen somit eher in diese Anwendungs-Klasse, wo auch der von Intel verpönte Cinebench steht. Setzt man dagegen für den normalen Anwender eher realistätsnahe Benchmark-Szenarien unter Office an, kommen oftmals Benchmark-Laufzeiten von (weit) unterhalb einer Sekunde heraus, deren Differenzen also keine Praxiswirkung entfalten. Es spielt halt keine Rolle, ob ein PC eine Office-Aufgabe in 0,4 Sekunden erledigt und der andere PC in 0,2 Sekunden, auch wenn dies Benchmark-technisch eine Performance-Verdopplung ergibt. Die meisten der derzeit benutzten Office-Benchmarks stehen somit leider vor dem Problem, das damit entweder nur Workstation-Szenarien oder für den Normalanwender unrelevante Unterschiede gemessen werden, die Praxisrelevanz dieser Office-Tests also sehr gering ausfällt.

Auch deswegen suchen sich viele Hardwaretester dann lieber Benchmarks aus Feldern, wo Performance-Differenzen auch zu praktisch bemerkbaren Unterschieden führen. Dies kann im Bereich der Pack- und Encoding-Programme sein, auch die Browser-Performance wäre nicht zu vernachlässigen (Webseiten mit monströsen Werbe-Scripten können schwächeren Rechnern durchaus schon eine gewisse "Nachdenk"-Zeit zum Seitenaufbau abverlangen), führt aber letztendlich doch wieder zu Programmen wie dem Cinebench u.ä. aus dem Rendering-Bereich. Selbst wenn nur ein Bruchteil der Anwender so etwas letztlich nutzt, wird dort halt wirklich Zeit verbraucht, geht es nicht um Unterschiede von 0,4 zu 0,2 Sekunden. Die PC-Anwender mögen Office-Programme weit häufiger als Packer, Encoder, Bildbearbeitung & Renderer nutzen, aber in Office sind einfach keine großen Zeitgewinne mehr herauszuholen – aus den anderen Programmen hingegen schon. Der relevante Punkt ist hierbei also nicht die Nutzungshäufigkeit (worauf Intel herumreitet) oder auch die insgesamte Nutzungszeit – sondern vielmehr jene Zeitspanne, welche man durch bessere Hardware auch wirklich einsparen kann.