Obtener lo máximo de un núcleo.

• Operaciones de punto flotante (GFLOPS).
• Ancho de banda de memoria (GBps).

Dependiendo de la aplicación los límites pueden ser:

• CPU-bound.
• Memory-bound.

(usualmente memory-bound, excepto tests para lucirse: TOP500)

Usualmente referido a GFLOPS.

#FPU x Clock x #Core

Supuestos

• Ejecución OoO es capaz de tirar 1op por clock.
• Hay #FPU unidades de punto flotante independientes.

¿Punto flotante simple fp32 o doble fp64?

TOP500 usa fp64.

DDRn-F

Donde n es 1,2,3,4 y F es la frecuencia.

BW = channels × 8 (64 bits) × F

Ejemplo, para zx81

bw(DDR4-1600) = 4×8×1600 = 51.2 GBps

El n está metido dentro de la frecuencia, es un truco para abstraer la velocidad real que sigue siendo entre 100 MHz y 233 MHz.

GDDR5

BW = buswidth × F

Ejemplo, para una Titan X

48 (384 bits) × 7 = 336 GBps

(¡Gracias Charlie por estos datos!)

Medición real, no es pico teórico

• CPU: BLAS3
• Memoria: Stream

Nomenclatura

• Max: real, medida con un programa.
• Peak: teórica.

Lo más importante

Eficiencia = Max/Peak

Eficiencias por debajo del 80% marcan una arquitectura desbalanceada.

q = flop/bytes

• ¡Cuanto más, mejor!
• Recordar el memory wall.

FIGURE 6.17 Arithmetic intensity, specified as the number of float-point operations to run the program divided by the number of bytes accessed in main memory [Williams, Waterman, and Patterson 2009]

Intensidad Aritmética, Ancho de banda de memoria, FLOPS

FLOPS/Intensidad = BW

Si conozco la intensidad aritmética de mi problema la relación entre el BW y FLOPS es lineal.

FLOPS = BW * Intensidad

Limitado por el pico teórico de FLOPS de la máquina.

Ancho de banda de 16 GiB/s.
Performance pico de 16 GFLOPS.

Típico: aumentar cores sin tocar el subsistema de memoria.

Computadora desbalanceada.

Como cambia el modelo según el grado de optimización (FLOP & Memoria).

Lorena A. Barba, Rio Yokota, How will the fast-multipole method fare in the exascale era?, 2013.

La cantidad de transistores se duplica cada 18 meses. G. Moore, Electronics 38(8) April 19, 1965.

Es una observación de mercado, no una ley de la física.
Profecía autocumplida.

Nada cambió.

Esta si es una ley de la ¿física? ¿electrónica?
Posibilitó "ley" de Moore se mantuviera por 30 años.

Observar: transistores son más pequeños y densidad de potencia es constante.

MOSFETs continue to function as voltage-controlled switches while all key figures of merit such as layout density, operating speed, and energy efficiency improve – provided geometric dimensions, voltages, and doping concentrations are consistently scaled to maintain the same electric field.

En el 2001 se acabó la veta del ILP.

Bill Dally, The Last Classical Computer, 2001.

Gordon Moore, An Update on Moore's Law, Keynote Presentation at ISSCC 2003.

Herb Sutter, The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software, 2005.

Bill Dally, Efficiency and Programmability: Enablers for ExaScale, SC13.

• Magnus Själander, Margaret Martonosi, Stefanos Kaxiras, Power-Efficient Computer Architectures, Synthesis Lectures on Computer Architecture, 2014.

All performance is from parallelism

-

Machines are power limited

(efficiency IS performance)

-

Machines are communication limited

(locality IS performance)

.

.

Bill Dally, Efficiency and Programmability: Enablers for ExaScale, SC13.

Xin Wang, Flexpoint: numerical innovation underlying the Intel® Nervana™ Neural Network Processor, Intel, 2017.

Comunicación, distancia y potencia en un chip típico de 20mm × 20mm = 400mm².

Bill Dally, Efficiency and Programmability: Enablers for ExaScale, SC13.

Microprocessor (single core) performance scales roughly as the square root of its complexity, where the logic transistor count is often used as a proxy to quantify complexity.

Pollack's rule using CPU DB: performance vs. transistor count. The regression yields Perfnorm = ntrans^{0.37}.
Pollack's rule using CPU DB: performance vs. normalized area. The regression yields Perfnorm = ntrans^{0.46}.

• Magnus Själander, Margaret Martonosi, Stefanos Kaxiras, Power-Efficient Computer Architectures, Synthesis Lectures on Computer Architecture, 2014.
• A. Danowitz, K. Kelley, J. Mao, J.P. Stevenson, M. Horowitz, CPU DB: Recording Microprocessor History, CACM, Vol. 55 No. 4, p55-63, 2012.

¿Porqué son multicore los chips?

Solución agregar más cores
¿Solución agregar más cores?

¡Si prendo todos los transistores, se prende fuego!

• TDP fijo.
• 2x litografía => 4x cores
• Mejora eficiencia energética sqrt(x).

¡GAAAAPPP!

Dos soluciones:

• Apagar transistores.
• Dynamic frecuency scaling.

Limitar TDP no usando todos los transistores.

• Transistor specialization.
• Heterogeneous computing.

Cuando compramos una CPU/GPU tenemos muchos módulos que raramente usamos todos a la vez.

• Encoder, decoder de video.
• Caché.
• Puertos del OoO limitan.

H. Esmaeilzadeh, E. Blem, R. St. Amant, K.Sankaralingam, D. Burger, Dark Silicon and the End of Multicore Scaling, ISCA11.

Dejar que todo se prenda fuego ...

... pero medir la temperatura.

• Overclocking usando los otros núcleos como disipador.
• Underclocking si todo se prende fuego.

No se puede suponer que la frecuencia esté fija. Hacer mediciones continuas de la frecuencia durante todo el proceso de cálculo.

Mejora en crudo

Visión más económica

• Lo que queremos: linear speedup, =100% de eficiencia.
• Lo que obtenemos: sublinear speedup, <100% de eficiencia.
• A veces, solo a veces: superlinear speedup >100% de eficiencia.

Gráfico de Guillermo Ortiz, exámen de WHPC13.

…the effort expended on achieving high parallel processing rates is wasted unless it is accompanied by achievements in sequential processing rates of very nearly the same magnitude.
— Gene Amdahl

• S(N): aceleración para N procesadores.
• P: porción paralelizable.
• N: número de componentes paralelas.

¡Siempre necesitaremos buena preformance en 1 hilo!

Wikipedia, Amdahl's Law.

Problema

• Quiero un speedup de 80x.
• Con 100 procesadores.
• ¿Qué fracción de la computación original puede ser secuencial?

Respuesta

0.25%

(Hennessy, Patterson, CAAQA4, p.202)

AGGGGGGGGGGGG!

Million Dollar Mug

La ley de Amdahl's pone límites muy fuertes en la paralelización.

Pero...

• Es para un tamaño de problema fijo.
• ¡Usualmente a mayor poder de procesamiento, más grande es el set de datos que quiero procesar!

…speedup should be measured by scaling the problem to the number of processors, not by fixing the problem size.
— John Gustafson

Supone que el data-set aumenta linelmente con la cantidad de procesadores.

• S(P): aceleración para P procesadores.
• P: número de procesadores.
• α: fracción secuencial.

Although simply scaling the data size with processor count is rarely appropriate, assuming a fixed problem size for a much larger processor count is often inappropriate as well, since it is likely that users given a much larger multiprocessor would opt to run a larger or more detailed version of an application.

(Hennessy, Patterson, CAAQA4, p.259)

Strong scaling

El tiempo de procesamiento baja a medida que agregamos "cores" para un problema de tamaño fijo.

Weak Scaling

El tiempo de procesamiento no aumenta a medida que agregamos "cores" para un problema de tamaño variable.

Capítulo 1 de Power-Efficient Computer Architectures, Synthesis Lectures on Computer Architecture:

• Charles Severance, Kevin Dowd, "High Performance Computing", Connexions, 2010, CC3.0.
• Patterson, Hennessy Computer Organization and Design, Fifth Edition, Morgan Kaufmann, 2012.
• Hennessy, Patterson, Computer Architecture: A Quantitative Approach, Fourth Edition, Morgan Kaufmann, 2011.
• S. Williams, A. Waterman, D. Patterson, Roofline: an insightful visual performance model for multicore architectures, Communications of the ACM, 2009
• Michael McCool, Arch Robison, James Reinders, Amdahl's Law vs. Gustafson-Barsis' Law, Dr. Dobbs, 2013.
• Samuel H. Fuller and Lynette I. Millett, Editors, The Future of Computing Performance, Game Over or Next Level?, The National Academy Press, 2011.
• Magnus Själander, Margaret Martonosi, Stefanos Kaxiras, Power-Efficient Computer Architectures, Synthesis Lectures on Computer Architecture, 2014.
• Vishal Gupta, Karsten Schwan, Brawny vs. Wimpy: Evaluation and Analysis of Modern Workloads on Heterogeneous Processor, IPDPSW'13.

• SIMD (aka SSE{2,3,4} AVX{2,512})