Huawei fuskar i prestandatest
Flera Huawei-telefoner har petats från prestandatestet 3D Mark, efter att det avslöjats att telefonerna haft ett dolt prestandaläge som aktiverats bara under testerna.
Kinesiska Huawei har fått mycket uppskattning för sitt flaggskepp P20 Pro, både när den testades av oss på 99 och i form av utmärkelsen "årets mobil" av organisationen EISA. Dessutom har försäljningssiffrorna varit riktigt bra.
Samtidigt har Huawei hamnat i en del blåsväder och anklagats för vilseledande marknadsföring och oegentligheter kring prestandaresultat. Nyligen väcktes uppmärksamhet för att företaget använde en systemkamera vid inspelningen av en reklamfilm för att ta bilder som skulle likna selfie-bilder tagna med mobilen Nova 3. I den senaste kontroversen har nu en rad Huawei-telefoner tagits bort från prestandatestet 3D Mark från UL Benchmarks.
Siffrorna var upp till 47 procent högre. Något var helt enkelt fel. Telefonerna ifråga är förutom Huawei P20 och P20 Pro också Nova 3 och Honor Play, som alla tagits bort från 3D Marks resultatlista. När analytikern Patrick Moorhead började gräva i detta visade det sig att telefonerna visat misstänkt höga resultatsiffror jämfört med när exakt samma test gjorde i en ny version av 3D Mark som betatestades internt hos UL Benchmarks. Resultaten från den offentligt tillgängliga versionen på Google Play var upp till 47 procent högre än i den privata versionen. Något var helt enkelt fel.
Det visade sig att Huaweis telefoner använde ett dolt prestandaläge, som aktiverades när appen 3D Mark startades. Därmed fick telefonerna alltså högre prestanda än de annars kan ha under vanlig användning. Telefonerna verkar gå på appens namn för att aktivera läget, vilket är förklaringen till att det inte slogs på i testversionen – som inte fått namnet 3D Mark.
Snabb, men hur snabb?
Huawei svarar
Under IFA-mässan tidigare i veckan kontaktade tekniksajten Anandtech Huaweis mjukvaruchef Dr Wang Chenglu för att få en kommentar kring de misstänksamma prestandasiffrorna. Chenglu medgav inte rakt ut att företaget medvetet försökt vilseleda produkternas prestanda, men konstaterade att många kinesiska konkurrenter riggar siffrorna på liknande sätt, vilket ger dessa telefoner orealistiska resultat. "Huawei kan inte stå tysta", säger han. Vidare säger han att syntetiska prestandatester inte nödvändigtvis ger en bra representation av hur telefonerna är att använda i praktiken.
Chenglu uppger också att Huawei gärna vill se ett mer standardiserat sätt att prestandatesta mobiler, vilket skulle göra spelfältet mer rättvist för alla. Det verkar dock som att företaget under tiden själva ägnat sig åt samma tvivelaktiga metoder man beklagar sig över. Till Anandtech uppgav Chenglu också att Huawei framöver kommer att göra sina prestandaresultat enklare att verifiera för tredje part.
Enligt Patrick Moorhead uppger Huawei också att det särskilda prestandaläget ska göras tillgängligt för användare, så att de själva kan aktivera det och få "maximal prestanda" när de behöver det.
Vad betyder det här?
Huaweis mjukvaruchef har visserligen helt rätt att syntetiska prestandatester som 3D Mark och GFX Bench inte helt går att översätta till hur snabb eller njutbar en mobiltelefon är att använda i vardagen. På 99 har vi av den anledningen allt mer valt att frångå sådana prestandamätningar när vi testar mobiler – istället försöker vi beskriva användarupplevelsen. Det betyder dock inte att prestandatester är helt frikopplat från hur snabb en mobil är, och framförallt inte att det är rimligt att spetsa till siffrorna genom särskilda "prestandaknuffar" som bara körs under själva mätningen. Detta är helt enkelt fulspel och vilseledande marknadsföring.
Att andra aktörer ägnar sig åt detta, som Huawei hävdar, kan kanske stämma, men ger inte företaget en fribiljet att själva använda sig av dylika metoder. Det gör också påståendet att Huawei gärna vill arbeta för bättre standardiserade tester för alla tillverkare att låta ganska ihåligt.
Det är positivt att Huawei nu kommer att göra sina prestandatester mer transparenta, och för många kunder är det säkert bra att få kontroll över ett hittills dolt prestandaläge i mobilen. Däremot är det inte säkert att ett sådant läge kommer att ge den bästa helhetsupplevelsen, till exempel då batteritiden förmodligen kommer att minskas ordentligt.
Det är helt enkelt så att en modern mobiltelefon har en i högsta grad varierande prestanda beroende på vad telefonen gör. En tillverkare måste därför alltid väga ren prestanda mot batterikapacitet, värmeutveckling och andra faktorer. Det går inte att sätta en siffra på en mobil som visar hur snabb den är – på sin höjd kan den visa hur snabb en mobil kan vara, under vissa omständigheter och under en begränsad tid.
Detta är mer komplext än många användare inser, men tillverkare som Huawei gör oss bara en otjänst om de gömmer sig bakom denna komplexitet för att vilseleda. Apple råkade ut för en liknande situation förra året, när det avslöjades att prestandan på många Iphone-modeller sänktes när batteriet med tiden tappade kapacitet. Problemet då, liksom nu, är inte i sig att prestandan ändras, utan att detta inte presenterades öppet och tydligt för användarna.
Vad tycker du själv? Är syntetiska prestandatester användbara för dig när du väljer telefon, och säger dessa någonting om hur snabb telefonen är? Litar du på tillverkarnas prestandasiffror?
Källa: Patrick Moorhead på Twitter | Anandtech