Cuando queremos comparar el rendimiento de dos teléfonos o procesadores de móviles, recurrimos a los benchmarks que no son más que pruebas de rendimiento diseñadas específicamente para exprimir el hardware de los móviles y ver qué tanta potencia pueden brindar. El resultado de estas pruebas es una puntuación fácilmente comparable y clasificable. Pues bien, Google acaba decir que esta metodología está errada.
Luego de ver que sus procesadores personalizados Google Tensor (presentes en los Pixel 6 y 7) lograran puntuaciones en benchmarks muy lejanas a las de los mejores SoCs de Qualcomm y Apple, la directora senior de gestión de productos de Google Silicon, Monika Gupta, ha dicho que no les preocupa que los chips Tensor no ganen en los benchmarks, pues lo más importante son las pruebas de uso real en el día a día y no los test sintéticos de los benchmarks.
¿Los benchmarks son una medida real del rendimiento de los móviles? No, para Google
En el podcast Made by Google, Gupta ha declarado lo siguiente con respecto al rendimiento de los procesadores Google Tensor en los benchmarks:
«Creo que los benchmarks clásicos sirvieron para algo en algún momento, pero la industria ha evolucionado desde entonces. Google está tratando de impulsar las innovaciones de la IA en un teléfono inteligente porque creemos que este es el enfoque que ofrecerá experiencias útiles como algunas de las que acabo de mencionar. Los benchmarks clásicos se crearon en una época en la que la IA y los teléfonos ni siquiera existían. Puede que cuenten algo, pero no creemos que cuenten la historia completa”.
En resumen, desde Google creen que los benchmarks actuales están desfasados y no toman en cuenta la utilidad de las funciones con Inteligencia Artificial que impulsan sus procesadores. Si bien muchos benchmarks que conocemos evalúan el rendimiento de la IA, hay que admitir que el peso más grande de la puntuación se da a la potencia bruta del procesador y no a las funciones útiles que se pueden conseguir con él. Y es que, para ello, se requeriría un análisis del software que acompañará al procesador.
Gupta también señaló que saben exactamente para qué están construyendo sus chips, y si eso significa que no van a ganar en los benchmarks o que no se van a ver tan bien en los benchmarks, están perfectamente cómodos con eso, porque el resultado final habla por sí mismo.
«Como en el Pixel 6 y el Pixel 7, puedes ver todas las increíbles innovaciones que hemos aterrizado, y muchas de ellas fueron las primeras en el Pixel. Así que estamos muy cómodos con ese enfoque”.
Y razón no le falta. Google es actualmente el fabricante de móviles que más avanzado está en fotografía computacional y el primer puesto conseguido por la cámara del Pixel 7 en DxOMark es solo una muestra de ello. Esto es algo que benchmarks como Geekbench y 3DMark no tienen realmente en cuenta, lo cual es en parte injusto, pero en cierta medida lógico. Y es que para evaluar el rendimiento en IA de un procesador se requeriría una prueba adaptada a la naturaleza variable del hardware de IA, que hasta ahora no ha sido inventada.
Coméntanos… ¿te fijas en los benchmarks para saber qué tan potente es un móvil?
