Score-Manipulation

Geschummelt: Samsung & HTC aus Benchmark-Topliste geflogen

Note 3, 10.1 2014 Edition, HTC One, One Max und One Mini abgestraft
Von Rita Deutschbein
AAA
Teilen

Die Firma Futuremark stellt Benchmark-Programme wie 3DMark und PCMark zur Verfügung, mit der sich die Leistungs­fähigkeit eines Gerätes messen lassen. Anhand der ausge­gebenen Scores sollen sich die verschiedenen Modelle der Hersteller dann beispiels­weise unter­einander vergleichen lassen. Doch stehen viele Anwender solchen Tests skeptisch gegenüber, da immer wieder der Verdacht im Raum steht, die großen Hersteller würden ihre Smartphones und Tablets so optimieren, dass die Geräte den Start eines Benchmark-Tests erkennen und dann Ressourcen freischalten, die im normalen Betrieb nicht zur Verfügung stehen. Der dadurch entstehende End-Score liegt weit über dem Wert, den die Geräte eigentlich erzielt hätten. Derartige Mani­pulationen hat Futuremark nun aber abgestraft und die betroffenen Geräte aus seiner Benchmark-Topliste entfernt.

Samsung und HTC: In der Liste ganz nach unten gerutscht

Geschummelt: Samsung & HTC aus Benchmark-Topliste geflogenBenchmark-Schummel bei Samsung und HTC Unter den Herstellern, die ihre Werte durch kleine Optimierungen verschönert haben, befindet sich laut Futuremark neben Samsung auch HTC. Betroffen sind dabei vor allem die Topmodelle, die sich nun am unteren Ende der Liste befinden und statt eines Test-Scores lediglich noch den Vermerk "Delisted" anzeigen. Bei Samsung wurde im Detail das Tablet Samsung Galaxy Note 10.1 2014 Edition sowohl in der Variante mit Exynos- als auch mit Snapdragon-Prozessor entfernt, Ebenfalls getroffen hat es das Galaxy Note 3 mit Exynos- sowie Snapdragon-Prozessor. Bei HTC wurden das HTC One, das HTC One Max sowie das HTC One Mini abgestraft.

Dass gerade die genannten Modelle von Samsung und HTC aus der Liste geworfen wurden, überrascht nicht besonders. Denn bereits im April fiel uns auf, das das HTC One in einer Vergleichs­tabelle von Futuremark mit einem deutlich höheren Score aufgeführt war als wir im Benchmark-Test unseres Test­gerätes erreichen konnten. Auch Samsung machte bereits vor einigen Monaten mit Berichten über mögliche Mani­pulationen von sich Reden. So berichtete AnandTech, dass beim aktuellen Flaggschiff Galaxy S4 während eines Benchmark-Tests ein höherer GPU- und CPU-Takt abgerufen wurde als im normalen Betrieb. Die dadurch entstandenen Endwert waren für einen subjektiven Vergleich mit anderen Geräten daher nicht mehr zu gebrauchen.

Ähnlich wie bei Samsung scheinen auch andere Hersteller vorgegangen zu sein. Sobald das Betriebs­system, dass die Hersteller in der Regel mit ihrer eigenen Oberfläche versehen haben, erkennt, dass eine Benchmark-Anwendung gestartet wurde, wird beispiels­weise ein höherer Takt freigegeben oder einige während des Tests nicht gebrauchte Funktionen wie Grafik-Opti­mierungen abgeschaltet, die im Regelbetrieb aber hohe Ansprüche an das System stellen.

teltarif.de und Benchmark-Scores

teltarif.de verwendet in den Tests von Smartphones und Tablets auch immer mal wieder Benchmark-Werte, um die jeweils getesteten Geräte einordnen oder miteinander vergleichen zu können. Dabei vergleichen wir aber stets nur die Scores, die wir innerhalb der Tests selbst ermittelt haben und ziehen diese auch nur als Referenz für deren Multimedia-Leistung heran. Hier sind beispielsweise die Frames per Second (FPS), also die Bilder, die pro Sekunde angezeigt werden, für eine Einschätzung wichtig. Mehr Gewicht legen wir jedoch auf die eigentliche Handhabung sowie die Reaktionen des Systems und der Hardware, die wir während praktischer Anwendungen beobachten konnten.

Teilen

Mehr zum Thema Benchmark