Les téléphones Android sur le tableau, et le bug qui les cachait

Si vous avez ouvert la page des benchmarks à un moment des cinq dernières semaines, le tableau « Par appareil Android » n’y avait qu’une ligne : autre Android. Des centaines de téléphones Android avaient déjà lancé le benchmark. Le tableau aurait dû montrer Samsung, Xiaomi, Pixel et le reste. C’était notre bug, et il est corrigé depuis aujourd’hui.

Ce qui a mal tourné

Le navigateur d’un téléphone ne dit pas à un site « Redmi Note 13 Pro ». Il remet un code de modèle, et c’est tout ce que nous avons. Nous le confrontons à une liste de motifs et nous ne gardons que la famille, par exemple Galaxy A-series ou Xiaomi / Redmi, jamais le code lui-même.

La liste était périmée de façons qui comptaient. Les codes Xiaomi commencent par l’année et le mois d’enregistrement du modèle, puis cinq à sept caractères de plus. Notre motif attendait cinq chiffres devant et une longue queue. 2312DRAABG est un Redmi Note 13 Pro, et la lettre en cinquième position cassait la correspondance. 2201117TG, un Redmi Note 11, était trop court. À eux deux, ces cas couvraient à peu près la moitié des Xiaomi, Redmi et POCO actuels. Les codes Honor et les codes Huawei plus récents ne correspondaient à rien. Pas davantage les OnePlus d’avant 2021, ni iQOO, ni les tablettes Lenovo. Le Galaxy S26 et le Pixel 10 n’avaient pas de famille à eux. Tous ont fini dans autre Android.

Le deuxième problème était un calcul. Une famille a besoin de 30 exécutions avant que le tableau la montre, parce qu’une médiane tirée d’une douzaine d’exécutions bouge trop pour classer quoi que ce soit. Avec quelques centaines d’exécutions Android réparties sur 26 familles, presque rien n’atteignait 30, même quand l’étiquette était la bonne.

Ce qui a changé

Les motifs couvrent maintenant tous les téléphones ci-dessus. Deux paires partagent une ligne parce que leurs codes se ressemblent et qu’on ne peut pas les distinguer. Huawei et Honor utilisent un format. OPPO et OnePlus aussi : ils se servent des mêmes codes CPH depuis 2021. Ces lignes le disent dans leur nom.

Le tableau remonte aussi les familles. Une famille avec 30 exécutions garde sa propre ligne. En dessous, elle rejoint sa marque, donc une douzaine de Galaxy S24 et vingt téléphones Galaxy A-series apparaissent comme Samsung au lieu de disparaître. Une fois que la série A atteint 30, elle retrouve sa ligne, et le reste de la marque devient Samsung (autre). Une marque encore sous 30 au total entre dans autre Android. Chaque exécution est comptée dans exactement une ligne.

Une chose que nous n’avons pas pu corriger : les exécutions déjà stockées gardent l’étiquette qu’on leur a donnée. Nous ne conservons jamais le code de modèle, seulement la famille, donc il n’y a rien pour les réétiqueter. La ligne autre Android rétrécira à mesure que de nouvelles exécutions remplaceront les anciennes. Elle ne se videra pas dans la nuit.

Où tombent les téléphones Android

Voici les chiffres de la page des benchmarks ce matin, pour chaque exécution du benchmark 2.5.0 jusqu’ici.

L’ordre est celui que l’on devine, mais les écarts sont plus grands qu’on ne l’attendrait. Un téléphone typique avec une puce Snapdragon marque 1,6 fois un téléphone typique avec un GPU Mali. C’est en partie une coupure de prix, pas de puce. La plupart des Android d’entrée et de milieu de gamme tournent sur des puces MediaTek avec des graphiques Mali, et la plupart des haut de gamme hors de ceux de Google tournent sur Snapdragon. Un iPhone typique marque 1,7 fois un téléphone Snapdragon typique. L’écart Snapdragon est large, cela dit : le quart supérieur de ces téléphones marque au-dessus de 2 901, nettement devant l’iPhone typique.

La médiane Snapdragon a aussi beaucoup baissé. Dans les deux premières semaines de 2.5.0, avec 39 téléphones Snapdragon comptés, elle était de 2 460. Sur 177 exécutions elle est de 1 357. Nous lisons cela comme des premières exécutions penchées vers les haut de gamme. Quelqu’un qui a un téléphone neuf du haut de la gamme est le premier à vouloir voir ce qu’il fait. Une médiane tirée de 39 exécutions est un indice, et voici à quoi ressemble un indice quand d’autres données arrivent.

Snapdragon et iPhone gagnent des scènes différentes

Le total cache une scission. Le benchmark a six scènes, et les téléphones ne gardent pas leur ordre d’une scène à l’autre. Dans la même fenêtre de deux semaines :

Un téléphone Snapdragon typique fait plus de deux fois le travail de l’iPhone dans les deux scènes GPU. L’iPhone prend la scène de physique CPU par presque quatre contre un, et la scène de canvas 2D par deux contre un. Pendant ces deux semaines, les totaux de Snapdragon et d’iPhone sont sortis à quelques pour cent l’un de l’autre, après ne s’être accordés sur presque rien en chemin. Si un téléphone sert surtout aux jeux, les lignes GPU en disent plus sur lui que le total.

Ces chiffres viennent de 39 téléphones Snapdragon, 51 iPhones et 29 téléphones Mali. C’est assez pour voir le motif, pas assez pour faire confiance au troisième chiffre.

Android finit propre moins souvent

Une exécution est terminée quand chaque scène a trouvé une charge que le téléphone pouvait tenir de façon stable. Elle est bridée quand le téléphone a bien mesuré mais a ralenti en chauffant. Parmi les exécutions Android de ces deux premières semaines, 54 % ont fini terminées, 29 % bridées, et 17 % n’ont pas pu mesurer au moins une scène. Les iPhone ont fini terminés 78 % du temps.

L’essentiel, c’est la chaleur. Un téléphone n’a pas de ventilateur, et trois minutes à pleine charge suffisent pour qu’il lève le pied. Si vous voulez un nombre qui reflète votre téléphone plutôt que la chaleur qu’il a prise, lancez-le branché, sur une surface fraîche, les autres applications fermées. Si le résultat revient bridé, relancez-le une fois le téléphone refroidi.

Faire entrer votre téléphone dans le tableau

Lancez le benchmark avec le partage activé et la famille de votre téléphone rejoint le compte. Les téléphones avec peu d’exécutions apparaissent d’abord sous leur marque, puis comme leur propre famille une fois qu’il y en a 30. Ce que nous gardons d’une exécution est listé sur la page de confidentialité : le score, les résultats de scène, les nombres de l’écran, et des familles grossières pour le GPU, le navigateur et, sur Android, le téléphone. Rien sur la page des benchmarks n’est plus fin que cela.