O que um benchmark de GPU no navegador mede — e o que não mede

Nós criamos um benchmark de navegador; considere este artigo um fabricante imprimindo voluntariamente os efeitos colaterais no rótulo. Uma pontuação de GPU no navegador mede algo real — mas esse algo não é o mesmo que o 3DMark mede. Fingir o contrário transforma números em astrologia.

O que o número realmente contém

Quando nosso teste de desempenho informa que a máquina sustentou 600.000 partículas em ritmo estável, o valor é produto de uma cadeia longa:

o silício da GPU, obviamente;
o driver e as camadas do navegador ao redor dele;
o compositor do navegador, que agenda quando os quadros chegam à tela;
JavaScript e o coletor de lixo nas cenas que pressionam a CPU;
o gerenciador de energia do sistema, decidindo a cada segundo quais clocks você merece;
temperatura — chassi, curva da ventoinha e quanto tempo passou desde o último teste;
e todo o resto aberto: quarenta abas, chamada de vídeo, varredura da tarde do antivírus.

Um benchmark nativo evita vários elos de propósito para isolar o hardware. Um de navegador os mantém, e isso tem dois lados.

Onde a pontuação web é a ferramenta errada

Ordenar GPUs entre sistemas. A mesma placa pode pontuar de forma bem diferente em navegadores, drivers ou sistemas distintos, porque o navegador é uma camada de tradução: chamadas WebGL são reescritas para a API nativa inferior — Metal no macOS, Direct3D no Windows. Se quer saber qual modelo de GPU supera outro, leia um teste nativo; é o instrumento certo.

Prever FPS absolutos em jogos. Um motor com semanas de otimização não se comporta como um canvas no navegador. A pontuação web tem correlação geral com jogos; não os prevê.

Margens pequenas. Rode qualquer benchmark web cinco vezes e verá alguns pontos percentuais de dispersão de graça. Diferenças dentro dela são ruído. Marcamos testes degradados por temperatura e mostramos resultados por cena para que pequenas distâncias não sejam superinterpretadas.

Onde a pontuação web é exatamente a ferramenta certa

Medir o que a web consegue usar. Se você se importa com aplicativos pesados, ferramentas canvas, mapas e sites WebGL, as camadas de tradução não são erro de medição: são o fenômeno. Um teste nativo não vê uma regressão do navegador que corta seu desempenho real pela metade; um teste web vive dentro dela.

Comparar a máquina consigo mesma. Mesmo dispositivo e navegador, antes e depois de atualizar driver, sistema ou investigar lentidão. Aqui benchmarks web são ótimos, pois tudo fica constante salvo o que você alterou. O histórico local existe exatamente para isso.

Comparações da mesma cadeia em escala. Dez mil testes da mesma carga versionada, agrupados por família de GPU, produzem medianas úteis: o que um MacBook série M ou Android intermediário normalmente entrega no navegador. Nossas amostras anônimas constroem esse conjunto, com limiares antes de publicar qualquer grupo.

Triagem imediata em hardware alheio. Sem instalação nem permissão de administrador, funciona no notebook usado que você inspeciona ou no computador bloqueado do escritório. Um teste que pode ser executado vence outro melhor que não pode. Veja também a rotina para dispositivos usados.

Como mantemos o número honesto

Os detalhes estão em Como funciona a pontuação, mas a disciplina cabe nestes pontos:

Tempos de quadro, não contadores de FPS. Avaliamos o 95º percentil em janelas de vários segundos; um teste que dissolve engasgos na média mede marketing.
Orçamento fixo. 16,67 ms independentemente da frequência da tela, para um notebook de 120 Hz não ser punido por ter painel melhor.
Cargas versionadas. Qualquer mudança no que a cena desenha aumenta a versão; pontuações nunca são comparadas entre versões.
Degradação marcada, não misturada. Se o dispositivo desacelera durante o teste — normalmente por calor —, o resultado diz isso em vez de misturar a limitação em silêncio.
Sem fantasia de laboratório. O número se chama pontuação de carga de navegador porque é isso que ele mede.

Como obter um número que vale guardar

Feche o que puder, conecte à tomada, desative a economia, deixe a máquina esfriar e não toque em nada durante o teste. Carga de fundo e temperatura são as maiores fontes de variação. Depois rode duas vezes e confie mais na segunda; a primeira pagou o aquecimento.