Benchmarky ztrácejí smysl. Švindluje už kde kdo

Po modelu Galaxy S4 zopakoval Samsung svůj trik na lepší skóre v benchmarcích také u tabletofonu Note 3. Vyšlo ale najevo, že švindlují také HTC, Asus, nebo LG.

Samsung to udělal znovu. Již krátce po vstupu Galaxy S4 na trh se zjistilo, že jihokorejský výrobce švindluje v mainstreamových aplikacích na měření výkonu. Celkem přirozeně se tak řada lidí zaměřila i na druhý nejvýznamnější model Samsungu letošního roku, Galaxy Note 3. Redaktoři webu Ars Technica provedli výkonové srovnání Galaxy Note 3 s modelem LG G2, kdy obě zařízení disponovala čipsetem Snapdragon 800, výsledky však byly značně odlišné.

Klepněte pro větší obrázek Klepněte pro větší obrázek
Kalkulačka na Galaxy Note 3 v úsporném režimu 1 jádra procesoru a benchmark, který v úsporném režimu neumí běžet a je u něj vynucen maximální výkon. Stejný benchmark u LG Nexus 4 s čistým Androidem, který těmito úpravami ovlivněn není. V úsporném režimu běží na 384 MHz (Zdroj: arstechnica.com)

Samsung k vylepšeným výsledkům používá malý trik. Když systém detekuje spuštěnou benchmarkovací aplikaci (podle názvu balíčku aplikace), umožní čerpat maximální výkon na všech jádrech, které běží na taktu 2,26 GHz po celou dobu testu benchmarku. Pokud je spuštěna aplikace, která není v systému Note 3 uvedena jako prioritní, běží v úsporném režimu pouze jedno jádro na 300MHz, zatímco ostatní jsou vypnutá. Podle použitého benchmarku tak lze docílit 20 - 50% zvýšení skóre za jednotlivé dílčí testy. V případě kdy vývojáři přejmenovali název balíčku aplikace Geekbench 3 (neshodoval se tedy s původním balíčkem, jenž je veden v systému) a provedli test znovu. V rámci upraveného benchmarku Deathbench 3 běželo pouze jedno jádro a výsledky se velmi podobaly modelu LG G2.

Klepněte pro větší obrázek
Usvědčení v praxi - dva stejné benchmarky a dva různé aplikační balíčky. Ten původní využívá čtyři běžící jádra na 2,3 GHz, ten upravený jen jedno a v úsporném režimu 300 MHz (Zdroj: arstechnica.com)

Klíčová úprava se nachází v systému v souboru DVFSHelper.java (pomocná třída pro dynamické frekvenční škálování), kde jsou napevno uvedeny balíčky aplikací, které mají být ovlivněny trikem pro spuštění všech jader na plný výkon. Jedná se o GeekBench, Quadrant, AnTuTu, Linpack, GFXBench a další vlastní benchmarky Samsungu. Těmto aplikacím jsou pak přiřazeny dvě funkce, PACKAGES_FOR_BOOST_ADJUSTMENT zvyšuje výkon procesoru, PACKAGES_FOR_LOC_FRAME_RATE_ADJUSTMENT zase upravuje framerate displeje. Samotné škálování je užitečnou věcí, protože může umožnit např. některým systémovým aplikacím plné využití dostupných zdrojů, v případě benchmarků se ale jedná o ne příliš férový způsob, jak navýšit skóre. Samsung by tento trik v konečném důsledku nakonec ani nepotřeboval, při jeho deaktivaci jsou výsledky stále o něco lepší než u srovnávaného LG G2.

Klepněte pro větší obrázek 
Tabulka podvodníků - až na Google a Motorolu podvádí všichni, každý model ale u jiných benchmarků a to i napříč portfoliem jednoho výrobce (Zdroj: anandtech)

Švindlují všichni

Ze širokého nadhledu se na celou věc podívali redaktoři webu AnandTech.com. Ve své analýze zveřejnili důkazy o tom, že se podvádění v benchmarcích dopouští třeba i Asus, HTC, nebo LG. Z testovaných byl férový snad jen Google u svých Nexusů (rovněž Asus a LG) a Motorola. Zajímavé je však to, že vynucení maximálního výkonu je i v rámci produktové řady jednoho výrobce u každého modelu jinak.

Po závodech za co největším počtem megapixelů před několika lety výrobci závodí o největší výkon v hlavních benchmarkovacích aplikací. Mají však smůlu v tom, že se na jejich nekalé praktiky přišlo prakticky již v zárodku. Benchmarky měly již kdysi rozporuplnou vypovídající hodnotu, ta se však nyní ještě snižuje. Možná by výrobci měli spíše investovat do nových procesorů a zaměřit se detailněji na poměr výkon/výdrž baterie, nežli uměle navyšovat skóre benchmarků hardwarovými výkony, ke kterým se s běžnými aplikacemi stěží dostanete.

Zdroj: andandtech, sammobile, arstechnica

Diskuze (63) Další článek: Windows Phone roste v Evropě, první stále Android

Témata článku: Asus, HTC, LG, Samsung, Android, Smartphony, LG G2, LG Nexus 4, Samsung Galaxy Note, Samsung Galaxy Note 3, Samsung Galaxy Note 3 Neo, Samsung Galaxy Note 3 Neo Duos, Samsung Galaxy S4, Samsung Galaxy S4 Active, Samsung Galaxy S4-A, Adjust, Redaktor webu, Dílčí test, Smysl, Ars Technica, Podvádění, Největší výkon, Podoba modelu, Malý trik, Telefony s Androidem na Heureka.cz




Sex manželských párů? Jen výjimečně. Ložnice ovládnou roboti s umělou inteligencí

Sex manželských párů? Jen výjimečně. Ložnice ovládnou roboti s umělou inteligencí

** Sex manželských párů jen při zvláštních příležitostech. ** Ložnice ovládnou sexuální roboti s umělou inteligencí. ** I to je jeden ze závěrů Mezinárodní robotické konference.

Filip KůželJiří Liebreich
RobotiSexUmělá inteligence
Samsung ukazuje možnosti 200Mpx foťáku. S kvalitní optikou to jde samo, jak by ale vypadala vyfocená mobilem?

Samsung ukazuje možnosti 200Mpx foťáku. S kvalitní optikou to jde samo, jak by ale vypadala vyfocená mobilem?

** Samsung ukázal možnosti 200Mpx snímačů ** Fotočip umístil na základní desku a přidal obří kvalitní optiku ** Jak by asi fotka vypadala, pokud by ji pořídil smartphone?

Martin Chroust
200 MpxFotoaparát
Vybrali jsme nejlepší telefony, které si v květnu 2022 můžete koupit

Vybrali jsme nejlepší telefony, které si v květnu 2022 můžete koupit

** Každý měsíc vybíráme nejlepší mobily v několika kategoriích. ** Smartphony dělíme podle výbavy a ceny, aby si mohl vybrat každý. ** Nezapomínáme ani na tablety a tlačítkové telefony.

Jan Láska
TelefonySmartphonyNákup a ceny
Česko je rájem Wi-Fi sítí. Rychleji však rostou VDSL i optika
Lukáš Václavík
Český telekomunikační úřad (ČTÚ)Poskytovatelé internetuPřipojení k internetu
Jak promítnout displej telefonu na počítač s Windows 10

Jak promítnout displej telefonu na počítač s Windows 10

Chcete jednoduše ukázat známým fotky z dovolené a displej vašeho telefonu vám přijde malý? Promítněte si jej na obrazovku počítače, bez nutnosti kopírování nebo připojení přes kabel.

Jan Spěšný
SmartphoneWindows 10Android
Jak dobře vybrat herní konzoli. Kdy se vyplatí PlayStation, kdy Xbox a kdy třeba Nintendo

Jak dobře vybrat herní konzoli. Kdy se vyplatí PlayStation, kdy Xbox a kdy třeba Nintendo

V prodeji je celá řada herních konzolí a za posledních několik let jich dokonce několik přibylo. Plánujete nákup? Pomůžeme vám s výběrem!

Michal Maliarov
Konzole
Nový hit. Tahle appka vám udělá profilovku jako od pouličního ilustrátora

Nový hit. Tahle appka vám udělá profilovku jako od pouličního ilustrátora

** Aplikace NewProfilePic se na Androidu stala hitem ** Můžete si v ní vytvořit profesionálně vypadající profilovky ** Pozor ale na agresivní cenovou politiku za Pro verzi

Martin Chroust
FotografieUmělá inteligenceMobilní aplikace
18 tipů a triků pro WhatsApp, které možná neznáte

18 tipů a triků pro WhatsApp, které možná neznáte

** WhatsApp je jedna z nejrozšířenějších komunikačních aplikací ** Obsahuje mnoho skrytých funkcí, které vylepší používání ** Zde najdete tipy na ty nejužitečnější

Adam Kos
WhatsAppTipy a triky
Jak rozmazat dům, aby vás sousedi nemohli šmírovat. Jde to v Mapách Google i na Mapy.cz

Jak rozmazat dům, aby vás sousedi nemohli šmírovat. Jde to v Mapách Google i na Mapy.cz

** Nelibí se vám, když cizí lidé okukují váš dům? ** Všechny mapové aplikace nabízejí možnost rozmazání snímku ** Máme návod pro Apple Maps, Bing Maps, Mapy Google a Mapy.cz

Karel Kilián
SoukromíNávodyMapy
Malé telefony s Androidem ještě nevymřely. Už brzy se dočkáme nového čtyřpalcového telefonu do kapsy

Malé telefony s Androidem ještě nevymřely. Už brzy se dočkáme nového čtyřpalcového telefonu do kapsy

** Hledáte kompaktní telefon okolo čtyř palců? ** Dotykáč už možná nenajdete, budou zde jen tlačítkové telefony ** Zavedené pořádky chce brzy změnit Cubot Pocket

Martin Chroust
Kompaktní velikostAndroid
S odolnými telefony se musí počítat. Tenhle tank se může opřít o vysoký výkon, noční vidění i o rychlá data

S odolnými telefony se musí počítat. Tenhle tank se může opřít o vysoký výkon, noční vidění i o rychlá data

** Značka Blackview uvedla na trh dvě nová odolná monstra ** Pyšní se maximální odolností, obří baterií i podporou 5G sítí ** Jeden telefon vsadil na noční vidění, druhý zase na termovizi

Martin Chroust
TermokameraMIL-STD 810BlackView
22 nejlepších erotických thrillerů. Kde je najdete online?

22 nejlepších erotických thrillerů. Kde je najdete online?

V žáru vášně, Osudová přitažlivost, Základní instinkt, Ďábelská svůdkyně, Nebezpečné hry, Dvojitý milenec. Exkurze do historie subžánru erotických thrillerů, v němž se napětí mísí se vzrušením.

Marek Čech
Filmy, které musíte vidět
Přehled zařízení, která dostanou Android 12. Aktualizace se týká topmodelů i levnějších telefonů

Přehled zařízení, která dostanou Android 12. Aktualizace se týká topmodelů i levnějších telefonů

** Pixely už jej mají, postupně se přidávají další mobilní výrobci ** Android 12 přináší spoustu softwarových novinek a vylepšení ** V našem seznamu se dozvíte, kdy aktualizace dorazí i na váš telefon

Martin ChroustJan Láska
Android 12Aktualizace softwaruSmartphony