Pruebas de rendimiento de LINPACK

La versión actual de la página aún no ha sido revisada por colaboradores experimentados y puede diferir significativamente de la versión revisada el 14 de agosto de 2022; la verificación requiere 1 edición .
Linpack de referencia
Tipo de prueba de rendimiento
Autor Jack Dongarra , Jim Bunch, Cleve Moler , Gilbert Stewart
Primera edición 1979 ( 1979 )
Sitio web netlib.org/benchmark/hpl/

Los puntos de referencia de LINPACK miden el rendimiento computacional de las computadoras cuando procesan números de punto flotante . Creados por Jack Dongarra en 1979, miden qué tan rápido una computadora puede resolver un sistema denso de ecuaciones lineales (SLAE) Ax=b , donde A es una matriz de n por n . Un problema similar surge a menudo en el campo de la ingeniería mecánica .

La última versión de estos puntos de referencia se utiliza para compilar el TOP500 , una lista que enumera las supercomputadoras de mayor rendimiento del mundo. [2]

El propósito de crear pruebas es evaluar la velocidad de resolución de problemas reales por parte de una computadora. Sin embargo, calificar con una sola prueba es una simplificación porque ninguna tarea computacional individual puede reflejar el rendimiento general de un sistema informático. Rendimiento de LINPACK para proporcionar datos para refinar el rendimiento máximo proporcionado por el fabricante de la computadora (el rendimiento máximo es el rendimiento teórico máximo que puede lograr una computadora, calculado como el producto de la velocidad del reloj del procesador y el número de operaciones realizadas por reloj), el rendimiento real el rendimiento siempre será inferior al rendimiento máximo [ 3] . El rendimiento de la computadora es una característica compleja que depende de muchos componentes interrelacionados. El rendimiento medido por el banco de pruebas LINPACK muestra el número de operaciones de punto flotante de 64 bits (sumas y multiplicaciones) que la computadora realizó por segundo, una proporción denominada " FLOPS ". Sin embargo, es probable que el rendimiento de una computadora cuando se ejecutan aplicaciones reales sea significativamente menor que el rendimiento máximo alcanzado cuando se ejecuta una prueba LINPACK correspondiente. [cuatro]

El nombre de estas pruebas se deriva del paquete LINPACK , un conjunto de rutinas algebraicas de Fortran ampliamente utilizadas en la década de 1980 y originalmente estrechamente relacionadas con la prueba LINPACK. Desde entonces, el paquete LINPACK ha sido reemplazado por otras bibliotecas.

Historia

El punto de referencia LINPACK apareció por primera vez en 1979 como un apéndice del manual de usuario de la biblioteca matemática LINPACK . [5]

LINPACK se diseñó para ayudar a los usuarios a estimar el tiempo que tardan sus sistemas informáticos en completar tareas utilizando el paquete LINPACK . Para ello, se extrapolan los resultados de rendimiento obtenidos en 23 ordenadores diferentes resolviendo un problema con un tamaño de matriz de 100 por 100 elementos.

Este tamaño de tarea se eligió teniendo en cuenta los tamaños de memoria característicos y el rendimiento del procesador en esa época:

A lo largo de los años, se han lanzado versiones adicionales con diferentes tamaños de problemas más grandes, como matrices numéricas de 300 por 300 y 1000 por 1000. También han aparecido implementaciones que utilizan capacidades de hardware para acelerar las operaciones matriz-vector y matriz-matriz. [6] El procesamiento de datos en paralelo apareció en una variante de la prueba paralela LINPACK a fines de la década de 1980. [3]

En 1991, la prueba LINPACK se modificó para resolver problemas de tamaño arbitrario [7] , lo que permitió que las computadoras de alto rendimiento (HPC) se aproximaran a su rendimiento asintótico.

Desde 1993, esta prueba se ha utilizado para compilar las clasificaciones TOP500 .

Puntos de referencia

LINPACK 100

LINPACK 100 está muy cerca de la prueba original publicada en 1979 en la Guía del usuario de LINPACK ( ISBN 089871172X ). La solución SLAE se produce por eliminación gaussiana de rotación parcial , realizando operaciones de punto flotante 2/3 n³ + 2n², donde n es 100 y la matriz densa A es 100 por 100. El pequeño tamaño de la matriz y la falta de flexibilidad del software son pocas computadoras modernas para demostrar un rendimiento cercano al máximo en esta prueba. Sin embargo, este punto de referencia aún puede ser útil para predecir el rendimiento en código personalizado numéricamente intensivo compilado con optimizaciones. [3]

LINPACK 1000

LINPACK 1000 aumenta el tamaño de la matriz a 1000 por 1000 elementos y proporciona un rendimiento más cercano al máximo para una computadora. Se permiten cambios en el algoritmo, sin embargo, no se permite una disminución en la precisión relativa de la solución. Al calcular el rendimiento de la prueba, la fórmula para el número de operaciones flotantes realizadas es siempre 2 / 3n³ + 2n², con un valor de n = 1000. [3]

HP Linpack

Las generaciones anteriores de la prueba no eran adecuadas para probar computadoras paralelas, [8] y se desarrolló la llamada prueba "Highly Parallel Computing de Linpack", también conocida como HPLinpack. En la nueva prueba, el tamaño de la tarea n se puede aumentar al tamaño necesario para optimizar el rendimiento de la máquina. Se sigue utilizando la fórmula del número de operaciones 2 / 3n³ + 2n², independientemente del algoritmo realmente utilizado. No se permite el uso del algoritmo de Strassen porque distorsiona la velocidad de ejecución real. [9] La precisión de la solución encontrada debe ser tal que se cumpla la siguiente propiedad:

, donde es la precisión de la máquina, y n es el tamaño del problema, [10] es la norma de la matriz , y corresponde a la notación gran-O ("O" grande).

Se informan las siguientes cantidades para cada sistema informático: [3]

Estos resultados se utilizan para compilar la lista TOP500 de las supercomputadoras más rápidas del mundo, así como la Green500 . Publicada dos veces al año.

Implementación de pruebas LINPACK

La sección anterior describió las reglas básicas para los puntos de referencia. La implementación real del programa puede diferir, existen variantes para Fortran , [11] C [12] y Java [13] .

HPL

HPL es una implementación móvil de la tarea HPLinpack, creada en el lenguaje de programación C. Originalmente sirvió como una implementación de muestra, pero desde entonces se ha vuelto ampliamente utilizado para obtener datos para la lista TOP500 , aunque se pueden usar otras implementaciones y paquetes. HPL crea un sistema lineal de ecuaciones de orden n con coeficientes aleatorios y luego lo resuelve usando una descomposición LU con rotación de fila parcial. La implementación requiere implementaciones instaladas de MPI (bibliotecas de paso de mensajes) y una biblioteca matemática: BLAS o VSIPL [14] .

En general, esta implementación tiene las siguientes características: [15] [16]

Crítica

A veces se afirma que el éxito de la prueba LINPACK se debe a la buena escalabilidad de la tarea HPLinpack [17] , al hecho de que el resultado de la prueba es un único número fácil de comparar y a una gran cantidad de datos históricos. . [18] Sin embargo, poco después de su introducción, LINPACK fue criticado por demostrar niveles de rendimiento "generalmente más allá del alcance de todos, excepto de un número muy pequeño de programadores que optimizan tediosamente su código para y solo para una computadora determinada". [19] Benchmark prueba la velocidad de resolución de sistemas lineales densos , pero esta tarea no es representativa de todas las operaciones comúnmente realizadas en computación científica. [20] Jack Dongarra , coautor de las pruebas LINPACK y la lista TOP500, señaló que estas pruebas solo se enfocan en las velocidades y números de procesadores "picos", mientras que subutilizan los buses de memoria local y las interconexiones de red. [21]

Tom Dunning, Jr., director del Centro Nacional para Aplicaciones de Supercomputación, describió la prueba LINPACK de la siguiente manera: “La prueba Linpack es uno de esos fenómenos interesantes cuya utilidad es ridiculizada por casi todos los que la conocen. Entienden sus limitaciones, pero la prueba es popular porque muestra un solo número y se ha utilizado durante muchos años”. [22]

Según Dongarra, "Top500 está buscando activamente expandir la cobertura de los puntos de referencia" porque "es importante incluir más características de rendimiento y firmas para cada competidor". [23] Una de las opciones para complementar las pruebas del TOP500 es el conjunto HPC Challenge Benchmark [24] . Con la llegada de las supercomputadoras de petaflops (Petascale), se propuso la prueba Graph500 , que mide el número de aristas atravesadas por segundo (TEPS), como una alternativa a los FLOPS medidos por LINPACK [25] . Otra alternativa es la prueba de rendimiento HPCG propuesta por Dongarra. [26] [27]

Tiempo de ejecución de la prueba

Según Jack Dongarra , la cantidad de tiempo que necesita ejecutar la prueba HPLinpack para obtener buenos resultados está aumentando gradualmente. En una conferencia en 2010, dijo que después de "unos años" espera un aumento en la duración del lanzamiento a unos 2,5 días. [28]

Véase también

Notas

  1. ↑ Pruebas de rendimiento de la CPU: LINPACK // paralelo.ru / Archivado el 13 de noviembre de 2018 en Wayback Machine .
  2. ↑ 1 2 3 4 5 Dongarra, Jack J.; Luszczek, Piotr & Petitet, Antoine (2003), The LINPACK Benchmark: pasado, presente y futuro , Simultaneidad y computación: práctica y experiencia (John Wiley & Sons, Ltd.): 803–820 , < http://www.netlib .org/utk/people/JackDongarra/PAPERS/hplpaper.pdf > Archivado el 20 de enero de 2019 en Wayback Machine . 
  3. ↑ Entrevista a Jack Dongarra por Sander Olson , < http://nextbigfuture.com/2010/06/jack-dongarra-interview-by-sander-olson.html > Archivado el 4 de marzo de 2016 en Wayback Machine . 
  4. ↑ Dongarra, JJ; Moler, C.B.; Bunch, JR & Stewart, GW (1979), LINPACK: guía del usuario , ,9780898711721ISBN,SIAM > 
  5. ↑ Dongarra, Jack (1988), El punto de referencia de LINPACK: una explicación , Supercomputing (Springer Berlin/Heidelberg): 456–474 , < http://www.netlib.org/utk/people/JackDongarra/PAPERS/The-LINPACK- Benchmark-An-Explanation.pdf > Archivado el 4 de abril de 2019 en Wayback Machine . 
  6. ↑ Punto de referencia Linpack de alto rendimiento , < http://icl.cs.utk.edu/graphics/posters/files/SC2010-HPL.pdf > . Consultado el 10 de febrero de 2015. Archivado el 4 de marzo de 2016 en Wayback Machine . 
  7. ↑ Bailey, DH; Barszcz, E.; Barton, JT & Browning, DS (1991), Resumen y resultados preliminares de los puntos de referencia paralelos de NAS , Supercomputing : 158–165 , < http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5348941&isnumber=5348846 > 
  8. ↑ Preguntas frecuentes sobre LINPACK: ¿Puedo usar el método de Strassen cuando hago los múltiplos de matriz en el punto de referencia de HPL o para la ejecución de Top500? . Fecha de acceso: 10 de febrero de 2015. Archivado desde el original el 1 de septiembre de 2009.
  9. ↑ Preguntas frecuentes sobre LINPACK - ¿Qué precisión debe cumplir la solución? . Fecha de acceso: 10 de febrero de 2015. Archivado desde el original el 1 de septiembre de 2009.
  10. ↑ Programa de referencia Linpack en Fortran . Consultado el 10 de febrero de 2015. Archivado desde el original el 20 de febrero de 2015.
  11. ↑ Programa de referencia Linpack en C. Consultado el 10 de febrero de 2015. Archivado desde el original el 20 de febrero de 2015.
  12. ↑ Programa de referencia Linpack en Java . Consultado el 10 de febrero de 2015. Archivado desde el original el 10 de febrero de 2015.
  13. ↑ HPL: una implementación portátil de la referencia Linpack de alto rendimiento para computadoras con memoria distribuida . Consultado el 10 de febrero de 2015. Archivado desde el original el 15 de febrero de 2015.
  14. ↑ Algoritmo HPL . Consultado el 13 de diciembre de 2019. Archivado desde el original el 25 de octubre de 2019.
  15. ↑ Descripción general de HPL . Consultado el 10 de febrero de 2015. Archivado desde el original el 10 de febrero de 2015.
  16. ↑ Una entrevista con la leyenda de las supercomputadoras Jack Dongarra (enlace descendente) (24 de mayo de 2012). Consultado el 13 de diciembre de 2019. Archivado desde el original el 3 de febrero de 2013. 
  17. ↑ Haigh, Thomas Una entrevista con Jack J. Dongarra (2004). "LINPACK es un punto de referencia que la gente suele citar porque allí hay una base de datos histórica de información, porque es bastante fácil de ejecutar, es bastante fácil de entender y captura, en cierto sentido, lo mejor y lo peor de la programación". Consultado el 13 de diciembre de 2019. Archivado desde el original el 12 de enero de 2021.
  18. ↑ Hammond, Steven (1995), Beyond Machoflops: Getting MPPs Into the Production Environment , < http://nldr.library.ucar.edu/repository/collections/TECH-NOTE-000-000-000-227 > Archivado el 13 de julio 2012. 
  19. ↑ Gahvari, Hormozd; Hoemmen, Mark; Demmel, James & Yelick, Katherine (2006), Benchmarking Sparse Matrix-Vector Multiply in Five Minutes , SPEC Benchmark Workshop , < http://bebop.cs.berkeley.edu/pubs/gahvari2007-spmvbench-spec.pdf > Copia archivada 29 de enero de 2012 en Wayback Machine 
  20. ↑ Dongarra, Jack J. (2007), The HPC Challenge Benchmark: ¿Un candidato para reemplazar a Linpack en el Top500? , SPEC Benchmark Workshop , < http://www.spec.org/workshops/2007/austin/slides/Keynote_Jack_Dongarra.pdf > Archivado el 4 de marzo de 2021 en Wayback Machine . 
  21. ↑ Christopher Mims . Por qué la nueva supercomputadora de China es solo técnicamente la más rápida del mundo  (8 de noviembre de 2010). Archivado desde el original el 21 de octubre de 2012. Consultado el 22 de septiembre de 2011.
  22. ↑ Meuer, Martin Una entrevista con la leyenda de la supercomputación jack dongarra (enlace descendente) (24 de mayo de 2002). Consultado el 10 de febrero de 2015. Archivado desde el original el 3 de febrero de 2013. 
  23. ↑ Luszczek, Piotr; Dongarra, Jack J.; Koester, David & Rabenseifner, Rolf (2005), Introducción a HPC Challenge Benchmark Suite , < http://icl.cs.utk.edu/projectsfiles/hpcc/pubs/hpcc-challenge-benchmark05.pdf > Archivado desde el 1 de marzo 2021 en la Wayback Machine 
  24. ↑ Ranking Top500 y progreso en informática  de alto rendimiento . sistemas abiertos. DBMS, 2006 No. 1 (1 de febrero de 2016). Consultado el 13 de diciembre de 2019. Archivado desde el original el 13 de diciembre de 2019.
  25. ↑ Hemsoth, Nicole . Nuevo HPC Benchmark ofrece resultados prometedores , HPCWire (26 de junio de 2014). Archivado desde el original el 8 de septiembre de 2014. Consultado el 8 de septiembre de 2014.
  26. ↑ Supercomputadoras: las nuevas arquitecturas requieren nuevos métodos de medición . itWeek (27 de noviembre de 2015). Consultado el 13 de diciembre de 2019. Archivado desde el original el 5 de abril de 2022.
  27. ↑ Dongarra, Jack J. (2010), LINPACK Benchmark with Time Limits on Multicore & GPU Based Accelerators , < http://www.netlib.org/utk/people/JackDongarra/SLIDES/isc-talk-06102.pdf > Archivado copia fechada el 17 de enero de 2014 en Wayback Machine 

Enlaces