Celulares Android na tabela, e o bug que os escondia

Se você abriu a página de benchmarks em algum momento das últimas cinco semanas, a tabela de aparelhos Android tinha uma linha só: outro Android. Centenas de celulares Android já tinham executado o benchmark. A tabela devia estar mostrando Samsung, Xiaomi, Pixel e o resto. Esse era o nosso bug, e está corrigido desde hoje.

O que deu errado

O navegador de um celular não diz a um site «Redmi Note 13 Pro». Ele entrega um código de modelo, e é só isso que temos. Comparamos com uma lista de padrões e guardamos apenas a família, como Galaxy A-series ou Xiaomi / Redmi, nunca o código em si.

A lista estava desatualizada de jeitos que importavam. Os códigos da Xiaomi começam com o ano e o mês em que o modelo foi registrado, e depois vêm mais cinco a sete caracteres. Nosso padrão esperava cinco dígitos na frente e uma cauda longa. 2312DRAABG é um Redmi Note 13 Pro, e a letra no quinto lugar quebrava o encaixe. 2201117TG, um Redmi Note 11, era curto demais. Juntos, esses dois casos cobriam mais ou menos metade dos Xiaomi, Redmi e POCO atuais. Códigos da Honor e códigos mais novos da Huawei não batiam com nada. Nem os OnePlus de antes de 2021, nem iQOO, nem os tablets Lenovo. O Galaxy S26 e o Pixel 10 não tinham família própria. Cada um desses foi parar em outro Android.

O segundo problema era conta. Uma família precisa de 30 execuções antes de a tabela mostrá-la, porque uma mediana de uma dúzia de execuções se mexe demais para ordenar qualquer coisa. Com algumas centenas de execuções Android repartidas em 26 famílias, quase nada chegava a 30, mesmo quando o rótulo estava certo.

O que mudou

Os padrões agora cobrem todos os celulares acima. Dois pares dividem uma linha porque os códigos parecem iguais e não dá para separar um do outro. Huawei e Honor usam um formato. OPPO e OnePlus também: usam os mesmos códigos CPH desde 2021. Essas linhas dizem isso no nome.

A tabela também sobe as famílias. Uma família com 30 execuções continua com a própria linha. Abaixo disso, ela entra na marca, então uma dúzia de Galaxy S24 e vinte celulares da série Galaxy A aparecem como Samsung em vez de sumir. Quando a série A chega a 30, ela ganha a própria linha de novo e o resto da marca vira Samsung (outro). Uma marca que ainda está abaixo de 30 no total vai para outro Android. Cada execução é contada em exatamente uma linha.

Uma coisa não deu para consertar: execuções já guardadas ficam com o rótulo que receberam. Nunca guardamos o código de modelo, só a família, então não há de onde reclassificar. A linha outro Android encolhe conforme execuções novas substituem as velhas. Ela não esvazia de um dia para o outro.

Onde os celulares Android caem

Estes são os números da página de benchmarks hoje de manhã, de cada execução do benchmark 2.5.0 até agora.

A ordem é a que você adivinharia, mas os intervalos são maiores do que se espera. Um celular típico com chip Snapdragon marca 1,6 vezes um celular típico com GPU Mali. Isso é em parte um corte de preço, não de chip. A maioria dos Android de entrada e de meio de faixa roda chips MediaTek com gráficos Mali, e a maioria dos topos de linha fora dos da própria Google roda Snapdragon. Um iPhone típico marca 1,7 vezes um celular Snapdragon típico. A abertura do Snapdragon é larga, porém: o quarto de cima desses celulares marca acima de 2.901, folgado à frente do iPhone típico.

A mediana do Snapdragon também caiu bastante. Nas duas primeiras semanas de 2.5.0, com 39 celulares Snapdragon contados, ela era 2.460. Em 177 execuções é 1.357. Lemos isso como as primeiras execuções pendendo para os topos de linha. Quem tem um celular novo do topo é o primeiro a querer ver o que ele faz. Uma mediana de 39 execuções é uma pista, e é assim que uma pista fica quando entram mais dados.

Snapdragon e iPhone vencem cenas diferentes

O total esconde uma divisão. O benchmark tem seis cenas, e os celulares não mantêm a ordem de uma para a outra. Na mesma janela de duas semanas:

Um celular Snapdragon típico faz mais que o dobro do trabalho do iPhone nas duas cenas de GPU. O iPhone leva a cena de física de CPU por quase quatro para um, e a cena de canvas 2D por dois para um. Nessas duas semanas, os totais de Snapdragon e de iPhone saíram a poucos por cento um do outro, depois de não concordarem em quase nada no caminho. Se um celular é sobretudo para jogos, as linhas de GPU dizem mais sobre ele do que o total.

Estes números vêm de 39 celulares Snapdragon, 51 iPhones e 29 celulares Mali. Dá para ver o padrão, não para confiar no terceiro dígito.

Android termina limpo com menos frequência

Uma execução é completa quando cada cena achou uma carga que o celular conseguiu segurar de forma estável. Ela é limitada por calor quando o celular mediu bem mas desacelerou ao esquentar. Das execuções Android dessas duas primeiras semanas, 54% terminaram completas, 29% limitadas por calor e 17% não conseguiram medir pelo menos uma cena. iPhones terminaram completos 78% das vezes.

A maior parte disso é calor. Um celular não tem ventoinha, e três minutos de carga cheia bastam para um recuar. Se você quer um número que reflita o seu celular e não o quanto ele esquentou, execute ligado na tomada, numa superfície fresca, com os outros apps fechados. Se o resultado voltar limitado por calor, execute de novo depois que o celular esfriar.

Colocar seu celular na tabela

Execute o benchmark com o compartilhamento ligado e a família do seu celular entra na conta. Celulares com poucas execuções aparecem primeiro sob a marca e depois como a própria família quando houver 30. O que guardamos de uma execução está na página de privacidade: a pontuação, os resultados de cena, os números da tela e famílias grosseiras da GPU, do navegador e, no Android, do celular. Nada na página de benchmarks é mais fino do que isso.