Skip to main content

Hardware

2024

Clúster Lenovo ThinSystem SR645v3

  • Número de nodos: 34
  • CPUs:
    • 2 x AMD EPYC 9754 con 128 núcleos por CPU = 256 núcleos por nodo
    • Frecuencia base 2.25 GHz. Hasta 3.1 GHz
    • Total de 8.704 núcleos
  • Memoria:
    • 768 GB de RAM por nodo
    • Total de 25.5TB de RAM
  • Red:
    • Infiniband a 400 Gbps
  • Almacenamiento:
    • 4TB de SSD

Clúster Lenovo ThinSystem SR645

  • Número de nodos: 160
  • CPUs:
    • 2 x AMD EPYC 7H12 con 64 núcleos por CPU = 128 núcleos por nodo
    • Frecuencia base 2.60 GHz. Hasta 3.3 GHz
    • Total de 20.480 núcleos
  • Memoria:
    • 512 GB de RAM por nodo
    • Total de 80TB de RAM
  • Red:
    • Infiniband a 100 Gbps
  • Almacenamiento:
    • 1TB de SSD

Clúster Nvidia DGX A100

  • Número de nodos: 4
  • CPUs:
    • 2 x AMD EPYC 7742 con 64 núcleos por CPU = 128 núcleos por nodo
    • Frecuencia base de 2.25 GHz. Hasta 3.4 GHz.
    • Total de 512 núcleos.
  • Memoria:
    • 1 TB de RAM por nodo
    • Total de 4 TB de RAM
  • Red:
    • Infiniband a 200 Gbps con el resto del cluster
    • Infiniband a 8 x 200 Gbps interna a los 4 nodos
  • Almacenamiento:
    • 1TB de SSD
  • GPUs:
    • 8 x Nvidia A100 de 40 GB VRAM en cada nodo
    • Total de 32 Nvidia A100
    • Total de 110.592 cores CUDA
    • Total de 13.504 cores Tensor
    • Total de 1280 GB de VRAM

Clúster Atos Bull

  • Número de nodos: 24
  • CPUs:
    • 2 x AMD EPYC 7H12 con 64 núcleos por CPU = 128 núcleos por nodo
    • Frecuencia base de 2.60 GHz. Hasta 3.3 GHz
    • Total de 3.072 núcleos
  • Memoria:
    • 2TB de RAM por nodo
    • Total de 48TB de RAM
  • Red:
    • Infiniband a 200 Gbps
  • Almacenamiento:
    • 5TB de SSD

Clúster Lenovo ThinSystem SD530

  • Número de nodos: 126
  • CPUs:
    • 2 x Intel Xeon Gold 6230R con 26 núcleos por CPU = 52 núcleos por nodo
    • Frecuencia base de 2.10 GHz. Hasta 4.00 GHz
    • Total de 6.550 núcleos
  • Memoria:
    • 192 GB de RAM por nodo
    • Total de 23.5 TB de RAM
  • Red:
    • Infiniband a 100 Gbps
  • Almacenamiento:
    • 1 TB de SSD

Clúster de Virtualización ESX

Todos nuestros servidores críticos se ejecutan en un cluster VSAN VMware de alta disponibilidad y Vmotion. Este cluster lo conforman:

  • 5 x Lenovo a 2.66 GHz y 512 GB de RAM cada uno
  • 40 TB de almacenamiento VSAN compartido
  • Red interna de 25 Gbps
  • Red con el resto del cluster a 10 Gbps

Clústers de almacenamiento

Todos los nodos de procesamiento almacenan la información de los usuarios en dos clusters de almacenamiento compartido:

  • FSCRATCH de 329 TB
    • 329 TB de SSDs NVME de última generación
  • GPFS de 555 TB
    • Capa de 55 TB de SSDs
    • Capa de 500 TB de HDDs NL-SAS
    • Conexión infiniband con el resto del cluster
  • Almacenamiento de objetos de 6 PB

2022

At end 2021, the infrastructure of Picasso was modified, adding space for additional racks, improvements in the air conditioing, power facilities and UPS. That allowed the upgrade of almost all the nodes, an upgrade that has moved Picasso to a new level, with more than 30.000 compute cores and a pool of machine learning optimized machines with 32 dedicated A100 GPUs.

New Lenovo ThinSystem SR645 Cluster

  •  2 x AMD EPYC 7H12 processors/node x 64 cores = 128 cores/node
  •  160 nodes x 128 cores = 20.480 cores
  •  2.60 GHz per core (base). Up to 3.3 GHz
  •  160 nodes x 512 GB RAM = 80 TB total RAM
  •  Infiniband HDR network at 100 Gbit/s
  •  Localscratch of 950 GB

Nvidia DGX A100 Cluster

  •  2 x AMD EPYC 7742 processors/node x 64 cores = 128 cores/node
  •  4 nodes x 128 cores = 512 cores
  •  2.25 Ghz per core (base). Up to 3.4 GHz
  •  4 nodes x 1024 GB RAM = 4 TB total RAM
  •  4 nodes x 8 Infiniband HDR network at 200 Gbit/s (only inside DGX cluster)
  •  Infiniband HDR network at 200 Gbit/s (all cluster)
  •  4 nodes x 8 Nvidia A100 GPUS = 32 Nvidia A100 GPUs
  •  32 Nvidia A100 GPUs x 3456 cores CUDA FP64 = 110.592 cores CUDA on GPUs.
  •  32 Nvidia A100 GPUs x 422 Tensor cores for AI =  13504 Tensor cores on GPUs.
  •  32 Nvidia A100 GPUs x 40 GB VRAM per GPU = 1280 GB VRAM on GPUs.
  •  Localscratch of 950 GB

Cluster Lenovo ThinSystem SD530

  • 2 x Intel Xeon Gold 6230R processors/node x 26 cores = 52 cores/node
  • 126 nodes x 52 cores = 6552 cores
  • 2.10 GHz per core. Up to 4 GHz
  • 126 nodes x 192 GB RAM = ~ 24 TB total RAM
  • Infiniband HDR network at 100 Gbit/s
  • Localscratch of 950 GB

Cluster Atos Bull

  • 2 x AMD EPYC 7H12 processors x 64 cores = 128 cores
  • 24 nodes x 128 cores = 3072 cores
  • 2.60 GHz per core. Up to 3.3 GHz
  • 24 nodes x 2 TB RAM = 48 TB total RAM
  • Infiniband HDR network at 200 Gbit/s
  • Localscratch of 3.5 TB

ESX Virtualization Cluster

All our critical virtual desktops and servers are hosted on a VMware VSAN cluster with High Availability and VMotion. This cluster consists of:

  •  5 x Lenovo at 2.66 Ghz with 512 GB of RAM each
  •  40 TB shared VSAN storage.
  •  25 Gbits internal network.
  •  10 Gbits external network.

Shared storage

All our clusters uses a shared storage with GPFS.

2018

At mid 2018, the shared storage system has been upgraded, adding a new high performance filesystem with 555 TB and a long term object storage with a raw capacity of 6 PB. This new upgrade increases the performance of the filesystem thanks to a super fast SSD layer of 55TB. Hot data is kept on the faster storage layer, being moved down to a second level of 500 TB NL-SAS disks when data is not used. The storage uses the infiniband network between all nodes of the system.

Total available resources

  •     4016 compute cores
  •     74 TFLOPS in compute nodes + 33 TFLOPS in GPUs

Cluster HP Intel E5-2670

  • 48 HP-SL230G8 x 2 processors x 160 GLOPS = 16 TFLOPS
  • 32 GPUS M2075 x 1030 GFLOPS = 33 TFLOPS
  • 48 x 2 E5-2670 processors x 8 cores = 768 cores
  • 2.60GHz per core
  • 48 * 64 GB RAM = 3 TB total RAM
  • Infiniband FDR network at 54.54 Gbit/s
  • Shared scratch in lustre filesystem

Shared memory machines with 2 TB of RAM each.

  • 7 DL980G7 x 8 processors x 96 GLOPS = 5 TFLOPS
  • 7 x 8 E7-4870 processors x 10 cores = 560 cores
  • 2.40GHz per core
  • 7 x 2 TB RAM = 14 TB total RAM
  • 7 x 2 TB RAID5 = 14 TB local scratch
  • Infiniband QDR network at 32 Gbit/s

Cluster IBM Intel E5-2670

  • 168 IBM dx360 M4 x 2 processors x 160 GFLOPS = 53 TFLOPS
  • 168 x 2 Intel E5-2670 processors x 8 cores = 2668 cores
  • 2.60GHz per core
  • 168 * 32 GB RAM = 5.4 TB total RAM
  • Infiniband FDR network at 40 Gbit/s
  • Shared scratch in lustre filesystem

ESX Virtualization Cluster

All our critical virtual desktops and servers are hosted on a VMware ESX Enterprise cluster with High Availability and VMotion. This cluster consists of:

  •  2 x HP-DL380G5 at 2.66 Ghz with 32 GB of RAM each

For those virtual machines and user grade desktops that doesn’t need High Availability support, there is set of machines with the ESXi hypervisor installed. These servers are:

  •  3 x HP-DL380G5 at 2.66 Ghz with 16 GB of RAM each
  •  4 x HP-DL385G7 at 2.13 Ghz with 124 GB of RAM each

Shared storage

The shared storage with Lustre FS was replaced by a GPFS filesystem with  555 Tb of shared storage vía Infiniband. Also 6 PB of object store storage is used for archiving of long term project’s data.

2017

At mid 2017, the cluster of 41 nodes with AMD Opteron 6176 has been replaced with 168 IBM dx360 M4 compute nodes. This new upgrade increases the amount of available compute cores up to a total of 4016. Now, all nodes share the same infiniband network and a common architecture, and are unified behind an unique Slurm queue system that delivers jobs to the most adecuate equipment based on requested resources.

Total available resources

  •       4016 compute cores
  •       74 TFLOPS in compute nodes + 33 TFLOPS in GPUs
  •       750 Tb of shared storage with lustre
  •       Infiniband QDR/FDR interconnection network.

Cluster HP Intel E5-2670

  • 48 HP-SL230G8 x 2 processors x 160 GLOPS = 16 TFLOPS
  • 32 GPUS M2075 x 1030 GFLOPS = 33 TFLOPS
  • 48 x 2 E5-2670 processors x 8 cores = 768 cores
  • 2.60GHz per core
  • 48 * 64 GB RAM = 3 TB total RAM
  • Infiniband FDR network at 54.54 Gbit/s
  • Shared scratch in lustre filesystem

Shared memory machines with 2 TB of RAM each.

  • 7 DL980G7 x 8 processors x 96 GLOPS = 5 TFLOPS
  • 7 x 8 E7-4870 processors x 10 cores = 560 cores
  • 2.40GHz per core
  • 7 x 2 TB RAM = 14 TB total RAM
  • 7 x 2 TB RAID5 = 14 TB local scratch
  • Infiniband QDR network at 32 Gbit/s

Cluster IBM Intel E5-2670

  • 168 IBM dx360 M4 x 2 processors x 160 GFLOPS = 53 TFLOPS
  • 168 x 2 Intel E5-2670 processors x 8 cores = 2668 cores
  • 2.60GHz per core
  • 168 * 32 GB RAM = 5.4 TB total RAM
  • Infiniband FDR network at 40 Gbit/s
  • Shared scratch in lustre filesystem

ESX Virtualization Cluster

All our critical virtual desktops and servers are hosted on a VMware ESX Enterprise cluster with High Availability and VMotion. This cluster consists of:

  •  2 x HP-DL380G5 at 2.66 Ghz with 32 GB of RAM each

For those virtual machines and user grade desktops that doesn’t need High Availability support, there is set of machines with the ESXi hypervisor installed. These servers are:

  •  3 x HP-DL380G5 at 2.66 Ghz with 16 GB of RAM each
  •  4 x HP-DL385G7 at 2.13 Ghz with 124 GB of RAM each

Shared storage

All our clusters uses a shared storage with Lustre FS, supported by a DDN storage rack with five three dimensional disk enclosures and two redundant SFA10000 controllers.
It is actually deployed with 750 TB of storage, communications are done via infiniband or normal network, depending of the nodes and the network they have available.

2013

At the begining of 2013, all supercomputing resources has been upgraded. Now, they share a common architecture, and are unified behind an unique Slurm queue system that delivers jobs to the most adecuate equipment based on requested resources.

Cluster HP Intel E5-2670

  • 48 HP-SL230G8 x 2 processors x 160 GLOPS = 16 TFLOPS
  • 32 GPUS M2075 x 1030 GFLOPS = 33 TFLOPS
  • 48 x 2 E5-2670 processors x 8 cores = 768 cores
  • 2.60GHz per core
  • 48 * 64 GB RAM = 3 TB total RAM
  • Infiniband FDR network at 54.54 Gbit/s
  • Shared scratch in lustre filesystem

Shared memory machines with 2 TB of RAM each.

  • 7 DL980G7 x 8 processors x 96 GLOPS = 5 TFLOPS
  • 7 x 8 E7-4870 processors x 10 cores = 560 cores
  • 2.40GHz per core
  • 7 x 2 TB RAM = 14 TB total RAM
  • 7 x 2 TB RAID5 = 14 TB local scratch
  • Infiniband QDR network at 32 Gbit/s

Cluster AMD Opteron 6176

  •  41 HP-DL165G7 x 2 processors x 110 GFLOPS = 9 TFLOPS
  •  41 x 2 Opteron 6176 processors x 12 cores = 984 cores
  •  2.30GHz per core
  •  41 x 96 GB RAM =  4 TB RAM
  •  Gigabit ethernet network.
  •  41 * 6 TB RAID5 = 246 TB total scratch

ESX Virtualization Cluster

All our critical virtual desktops and servers are hosted on a VMware ESX Enterprise cluster with High Availability and VMotion. This cluster consists of:

  •  2 x HP-DL380G5 at 2.66 Ghz with 32 GB of RAM each

For those virtual machines and user grade desktops that doesn’t need High Availability support, there is set of machines with the ESXi hypervisor installed. These servers are:

  •  3 x HP-DL380G5 at 2.66 Ghz with 16 GB of RAM each
  •  4 x HP-DL385G7 at 2.13 Ghz with 124 GB of RAM each

Shared storage

All our clusters uses a shared storage with Lustre FS, supported by a DDN storage rack with five three dimensional disk enclosures and two redundant SFA10000 controllers.
It is actually deployed with 750 TB of storage, communications are done via infiniband or normal network, depending of the nodes and the network they have available.

2007 Supercomputador Picasso y Pablo

El año 2007 supuso una gran mejora para las instalaciones de supercomputación de la UMA. Se terminó de construir un nuevo edificio dedicado a la investigación de excelencia, al que se trasladaron todos los equipos de supercomputación. Cuenta con dos salas DataCenter, una para máquinas de alto rendimiento y otra para equipos con menos necesidades de refrigeración, como las librerías de cintas.

En ese momento, había tres arquitecturas diferentes dentro de la misma sala.

HP Superdome with 128 cores and 400 Gbytes of shared memory.

Se utilizaron dos bastidores para alojar únicamente cpus, memoria y todos los cables de interconexión necesarios para llegar a toda la memoria compartida desde cualquier núcleo de cálculo. Un tercer bastidor se utilizó para el sistema operativo y el almacenamiento adicional de memoria virtual.

La paralelización de programas en este tipo de superordenadores (los de memoria compartida) suele ser más sencilla que en un clúster, ya que los usuarios finales lo ven como un único ordenador.

PowerPC 970 cluster with 512 cores and 1 TB of RAM.

Pablo es un clúster con 512 microprocesadores POWER970 y 1 TB de RAM. Está compuesto por 256 blades equipados con dos cpus POWER y 4 GB de RAM.

Este clúster pertenece a la RES (Red Española de Supercomputación), y su tiempo se comparte entre los usuarios de la RES y la Universidad de Málaga.

Se utilizan tres racks para alojar todos los blades, y otro para los servidores de administración y la infraestructura de almacenamiento.
Todos los blades están interconectados por Mirynet, una red rápida y de muy baja latencia muy adecuada para clusters.

x86 Cluster

Se disponía de un clúster x86 con 80 núcleos y 160 GB de RAM, compuesto por 10 blades con dos procesadores Xeon quadcore (8 núcleos por blade) y 16 GB de RAM.

Estos blades están interconectados por una red InfiniBand que proporciona una velocidad de intercomunicación muy alta que mejora los procesos paralelos.

Este clúster sigue utilizándose para dar soporte al backend.

Storage

Todas esas máquinas utilizaban un almacenamiento compartido respaldado por un HP EVA 8100 con 60 TB de capacidad efectiva.

Legacy systems

Fue en 1997 cuando se instaló en la Universidad de Málaga el primer superordenador dedicado exclusivamente a la ejecución de aplicaciones científicas por parte de los investigadores de la UMA. Se llamaba «Picasso», una máquina SGI Origin 2000 con 16 procesadores a 200Mhz y 4 GB de RAM que dio un servicio ininterrumpido durante más de 10 años.

Ahora disfruta de una merecida jubilación en el museo tecnológico de la UMA.

Traducción realizada con la versión gratuita del traductor DeepL.com

Centro de Supercomputación y Bioinnovación

Dirección

Edificio de Bioinnovación
C/ Severo Ochoa 34
Parque Tecnológico de Andalucía
29590 Málaga, Spain

Contacta

Teléfono
+34 951 952 790
Email
soporte@scbi.uma.es