Paralelismo, modelos, límites y problemas

Presenter Notes

Resumen:

  • Roofline Model.

  • Moore's Law

    • Dennard scaling.
  • The free launch is over.
  • Bill Dally quote.

  • Taxonomía Flynn: SISD, SIMD, MIMD.

  • Amdahl's Law vs. Gustafson-Barsis' Law

    • Strong vs. weak scaling.

Nicolás Wolovick 20140327

Presenter Notes

Roofline model

Intensidad Aritmética, Ancho de banda de memoria, FLOPS

Arithmetic intensity, memory bandwidth, FLOPS

FLOPS/Intensidad = BW

Si conozco la intensidad aritmética de mi problema la relación entre el BW y FLOPS es lineal.

FLOPS = BW * Intensidad

Limitado por el pico teórico de FLOPS de la máquina.

Attainable GFLOPs/sec

Presenter Notes

Ejemplo: Opteron X2

Ancho de banda de 16 GiB/s.
Performance pico de 16 GFLOPS.

FIGURE 6.18 Roofline Model [Williams, Waterman, and Patterson 2009]

Presenter Notes

Ejemplo: Opteron X2 vs. Opteron X4

FIGURE 6.19 Roofline models of two generations of Opterons

Típico: aumentar cores sin tocar el subsistema de memoria.

Computadora desbalanceada.

Presenter Notes

Otras zonas donde moverse

Como cambia el modelo según el grado de optimización (FLOP & Memoria).

FIGURE 6.21 Roofline model with ceilings, overlapping areas shaded, and the two kernels
from Figure 6.18

Presenter Notes

Comparación de varias máquinas

Roofline model of current hardware and computational intensity of various representative algorithms

(Lorena A. Barba, Rio Yokota, How will the fast-multipole method fare in the exascale era?, 2013)

Presenter Notes

Moore's Law

La cantidad de transistores se duplica cada 18 meses.

Moore, Electronics 38(8) April 19, 1965

(Moore, Electronics 38(8) April 19, 1965)

Es una observación de mercado, no una ley de la física.

Presenter Notes

Y sigue girando ...

asd

Nada cambió.

Presenter Notes

Dennard scaling

Esta si es una ley de la ¿física? ¿electrónica?
Posibilitó "ley" de Moore se mantuviera a lo largo de los años.

Dennard Scaling

Observar: transistores son más pequeños y densidad de potencia es constante.

MOSFETs continue to function as voltage-controlled switches while all key figures of merit such as layout density, operating speed, and energy efficiency improve – provided geometric dimensions, voltages, and doping concentrations are consistently scaled to maintain the same electric field.

Presenter Notes

El fin de ILP

En el 2001 se acabó la veta del ILP.

Dally, The Last Classical Computer

(Dally, The Last Classical Computer, 2001)

Presenter Notes

El fin de Dennard scaling

An Update on Moore's Law

(Gordon Moore, An Update on Moore's Law, Keynote Presentation at ISSCC 2003)

Presenter Notes

El gran gráfico