Spolehlivost benchmarku Quadrant
Martin "Case" Fiala
O benchmarkovacím programu Quadrant patrně řada z nás už někdy slyšela. Velké popularity dosáhl zejména mezi majiteli telefonu Samsung Galaxy S, kde byl v souvislosti s několika různými komunitními řešeními problému „lagů“ pasován mnohými uživateli na pozici jakéhosi jednoznačného a nezpochybnitelného etalonu skutečné rychlosti telefonu. Ten, kdo principy a průběh vzniku těchto řešení sledoval, si ale musel záhy uvědomit, že mnohem spíše než o několikanásobné zrychlení běhu celého telefonu tu jde v nemalé míře o to, že se zkrátka podařilo najít slabinu tohoto benchmarku a vysoké výsledky jsou tak z větší části spíše prostou chybou. Bylo až neuvěřitelné, kolik lidí této iluzi „několikanásobného navýšení výkonu zdarma“ podlehlo. Dnes se k této často až nesmyslné a bezmyšlenkovité honbě za co nejvyšším Quadrant skóre (která navzdory výše zmíněnému není výhradou pouze Galaxy komunity) vyjádřil na svém Twitteru velmi výmluvně s komentářem „All your benchmarks are belong to me“ i Steve Kondik aka Cyanogen zveřejněním tohoto obrázku:
V následujících tweetech pak naznačil, že je Quadrant skutečně chybně považován za neomylný, ale lze ho bohužel velice snadno „zmást“. A vysvětlil také, jak tohoto výsledku dosáhl – prostým vytvořením virtuálního souborového systému místo toho, ve kterém Quadrant přístup k souborům běžně testuje. Což je shodou okolností i principem většiny „lagfixů“ pro Galaxy S.
Pointa ovšem nemá být taková, že Quadrantu není možné vůbec věřit, nebo že snad lagfixy pro Galaxy S nefungují. Jde tu v mnohem větší míře o to, že Quadrant je zkrátka jen syntetický benchmark a syntetické benchmarky lze v mnoha případech – a mnohdy velice triviálním způsobem – velice snadno „ošálit“ a přimět je k výsledkům vyšším, než jaké odpovídají skutečnosti. Proto je vždy lepší spoléhat se spíše než na výsledky benchmarků raději na praktické zkušenosti a v případě dosažení neobvykle vysokých výsledků se také zamyslet nad tím, zda jsou skutečně reálné. Šílenství kolem výsledků benchmarku Quadrant je toho jen dalším důkazem.
Jakub Kárník
Vašek Švec
Jan Šesták
Komentáře (0)
Přidat komentář