- Número de nodos: 34
- CPUs:
- 2 x AMD EPYC 9754 con 128 núcleos por CPU = 256 núcleos por nodo
- Frecuencia base 2.25 GHz. Hasta 3.1 GHz
- Total de 8.704 núcleos
- Memoria:
- 768 GB de RAM por nodo
- Total de 25.5TB de RAM
- Red:
- Infiniband a 400 Gbps
- Almacenamiento:
- 4TB de SSD
Total de recursos disponibles
- Procesadores: 40,000 núcleos
- Memoria: 180TB de RAM
- GPUs: 32 x A100 con 13K Tensor Cores, 110K núcleos FP32 y 1280 GB de VRAM
- Almacenamiento:
- 556 TB de GPFS compartido a través de Infiniband
- 329 TB de GPFS con SSD de última generación compartido a través de Infiniband
- 6 PB de almacenamiento de objetos
- Red Infiniband interna de hasta 400Gbps
Desglose por racks:
2024
Clúster Lenovo ThinSystem SR645v3
Clúster Lenovo ThinSystem SR645
- Número de nodos: 160
- CPUs:
- 2 x AMD EPYC 7H12 con 64 núcleos por CPU = 128 núcleos por nodo
- Frecuencia base 2.60 GHz. Hasta 3.3 GHz
- Total de 20.480 núcleos
- Memoria:
- 512 GB de RAM por nodo
- Total de 80TB de RAM
- Red:
- Infiniband a 100 Gbps
- Almacenamiento:
- 1TB de SSD
Clúster Nvidia DGX A100
- Número de nodos: 4
- CPUs:
- 2 x AMD EPYC 7742 con 64 núcleos por CPU = 128 núcleos por nodo
- Frecuencia base de 2.25 GHz. Hasta 3.4 GHz.
- Total de 512 núcleos.
- Memoria:
- 1 TB de RAM por nodo
- Total de 4 TB de RAM
- Red:
- Infiniband a 200 Gbps con el resto del cluster
- Infiniband a 8 x 200 Gbps interna a los 4 nodos
- Almacenamiento:
- 1TB de SSD
- GPUs:
- 8 x Nvidia A100 de 40 GB VRAM en cada nodo
- Total de 32 Nvidia A100
- Total de 110.592 cores CUDA
- Total de 13.504 cores Tensor
- Total de 1280 GB de VRAM
Clúster Atos Bull
- Número de nodos: 24
- CPUs:
- 2 x AMD EPYC 7H12 con 64 núcleos por CPU = 128 núcleos por nodo
- Frecuencia base de 2.60 GHz. Hasta 3.3 GHz
- Total de 3.072 núcleos
- Memoria:
- 2TB de RAM por nodo
- Total de 48TB de RAM
- Red:
- Infiniband a 200 Gbps
- Almacenamiento:
- 5TB de SSD
Clúster Lenovo ThinSystem SD530
- Número de nodos: 126
- CPUs:
- 2 x Intel Xeon Gold 6230R con 26 núcleos por CPU = 52 núcleos por nodo
- Frecuencia base de 2.10 GHz. Hasta 4.00 GHz
- Total de 6.550 núcleos
- Memoria:
- 192 GB de RAM por nodo
- Total de 23.5 TB de RAM
- Red:
- Infiniband a 100 Gbps
- Almacenamiento:
- 1 TB de SSD
Clúster de Virtualización ESX
Todos nuestros servidores críticos se ejecutan en un cluster VSAN VMware de alta disponibilidad y Vmotion. Este cluster lo conforman:
- 5 x Lenovo a 2.66 GHz y 512 GB de RAM cada uno
- 40 TB de almacenamiento VSAN compartido
- Red interna de 25 Gbps
- Red con el resto del cluster a 10 Gbps
Clústers de almacenamiento
Todos los nodos de procesamiento almacenan la información de los usuarios en dos clusters de almacenamiento compartido:
- FSCRATCH de 329 TB
- 329 TB de SSDs NVME de última generación
- GPFS de 555 TB
- Capa de 55 TB de SSDs
- Capa de 500 TB de HDDs NL-SAS
- Conexión infiniband con el resto del cluster
- Almacenamiento de objetos de 6 PB
2022
At end 2021, the infrastructure of Picasso was modified, adding space for additional racks, improvements in the air conditioing, power facilities and UPS. That allowed the upgrade of almost all the nodes, an upgrade that has moved Picasso to a new level, with more than 30.000 compute cores and a pool of machine learning optimized machines with 32 dedicated A100 GPUs.
New Lenovo ThinSystem SR645 Cluster
- 2 x AMD EPYC 7H12 processors/node x 64 cores = 128 cores/node
- 160 nodes x 128 cores = 20.480 cores
- 2.60 GHz per core (base). Up to 3.3 GHz
- 160 nodes x 512 GB RAM = 80 TB total RAM
- Infiniband HDR network at 100 Gbit/s
- Localscratch of 950 GB
Nvidia DGX A100 Cluster
- 2 x AMD EPYC 7742 processors/node x 64 cores = 128 cores/node
- 4 nodes x 128 cores = 512 cores
- 2.25 Ghz per core (base). Up to 3.4 GHz
- 4 nodes x 1024 GB RAM = 4 TB total RAM
- 4 nodes x 8 Infiniband HDR network at 200 Gbit/s (only inside DGX cluster)
- Infiniband HDR network at 200 Gbit/s (all cluster)
- 4 nodes x 8 Nvidia A100 GPUS = 32 Nvidia A100 GPUs
- 32 Nvidia A100 GPUs x 3456 cores CUDA FP64 = 110.592 cores CUDA on GPUs.
- 32 Nvidia A100 GPUs x 422 Tensor cores for AI = 13504 Tensor cores on GPUs.
- 32 Nvidia A100 GPUs x 40 GB VRAM per GPU = 1280 GB VRAM on GPUs.
- Localscratch of 950 GB
Cluster Lenovo ThinSystem SD530
- 2 x Intel Xeon Gold 6230R processors/node x 26 cores = 52 cores/node
- 126 nodes x 52 cores = 6552 cores
- 2.10 GHz per core. Up to 4 GHz
- 126 nodes x 192 GB RAM = ~ 24 TB total RAM
- Infiniband HDR network at 100 Gbit/s
- Localscratch of 950 GB
Cluster Atos Bull
- 2 x AMD EPYC 7H12 processors x 64 cores = 128 cores
- 24 nodes x 128 cores = 3072 cores
- 2.60 GHz per core. Up to 3.3 GHz
- 24 nodes x 2 TB RAM = 48 TB total RAM
- Infiniband HDR network at 200 Gbit/s
- Localscratch of 3.5 TB
ESX Virtualization Cluster
All our critical virtual desktops and servers are hosted on a VMware VSAN cluster with High Availability and VMotion. This cluster consists of:
- 5 x Lenovo at 2.66 Ghz with 512 GB of RAM each
- 40 TB shared VSAN storage.
- 25 Gbits internal network.
- 10 Gbits external network.
Shared storage
2018
At mid 2018, the shared storage system has been upgraded, adding a new high performance filesystem with 555 TB and a long term object storage with a raw capacity of 6 PB. This new upgrade increases the performance of the filesystem thanks to a super fast SSD layer of 55TB. Hot data is kept on the faster storage layer, being moved down to a second level of 500 TB NL-SAS disks when data is not used. The storage uses the infiniband network between all nodes of the system.
Total available resources
- 4016 compute cores
- 74 TFLOPS in compute nodes + 33 TFLOPS in GPUs
Cluster HP Intel E5-2670
- 48 HP-SL230G8 x 2 processors x 160 GLOPS = 16 TFLOPS
- 32 GPUS M2075 x 1030 GFLOPS = 33 TFLOPS
- 48 x 2 E5-2670 processors x 8 cores = 768 cores
- 2.60GHz per core
- 48 * 64 GB RAM = 3 TB total RAM
- Infiniband FDR network at 54.54 Gbit/s
- Shared scratch in lustre filesystem
Shared memory machines with 2 TB of RAM each.
- 7 DL980G7 x 8 processors x 96 GLOPS = 5 TFLOPS
- 7 x 8 E7-4870 processors x 10 cores = 560 cores
- 2.40GHz per core
- 7 x 2 TB RAM = 14 TB total RAM
- 7 x 2 TB RAID5 = 14 TB local scratch
- Infiniband QDR network at 32 Gbit/s
Cluster IBM Intel E5-2670
- 168 IBM dx360 M4 x 2 processors x 160 GFLOPS = 53 TFLOPS
- 168 x 2 Intel E5-2670 processors x 8 cores = 2668 cores
- 2.60GHz per core
- 168 * 32 GB RAM = 5.4 TB total RAM
- Infiniband FDR network at 40 Gbit/s
- Shared scratch in lustre filesystem
ESX Virtualization Cluster
All our critical virtual desktops and servers are hosted on a VMware ESX Enterprise cluster with High Availability and VMotion. This cluster consists of:
- 2 x HP-DL380G5 at 2.66 Ghz with 32 GB of RAM each
For those virtual machines and user grade desktops that doesn’t need High Availability support, there is set of machines with the ESXi hypervisor installed. These servers are:
- 3 x HP-DL380G5 at 2.66 Ghz with 16 GB of RAM each
- 4 x HP-DL385G7 at 2.13 Ghz with 124 GB of RAM each
Shared storage
2017
At mid 2017, the cluster of 41 nodes with AMD Opteron 6176 has been replaced with 168 IBM dx360 M4 compute nodes. This new upgrade increases the amount of available compute cores up to a total of 4016. Now, all nodes share the same infiniband network and a common architecture, and are unified behind an unique Slurm queue system that delivers jobs to the most adecuate equipment based on requested resources.
Total available resources
- 4016 compute cores
- 74 TFLOPS in compute nodes + 33 TFLOPS in GPUs
- 750 Tb of shared storage with lustre
- Infiniband QDR/FDR interconnection network.
Cluster HP Intel E5-2670
- 48 HP-SL230G8 x 2 processors x 160 GLOPS = 16 TFLOPS
- 32 GPUS M2075 x 1030 GFLOPS = 33 TFLOPS
- 48 x 2 E5-2670 processors x 8 cores = 768 cores
- 2.60GHz per core
- 48 * 64 GB RAM = 3 TB total RAM
- Infiniband FDR network at 54.54 Gbit/s
- Shared scratch in lustre filesystem
Shared memory machines with 2 TB of RAM each.
- 7 DL980G7 x 8 processors x 96 GLOPS = 5 TFLOPS
- 7 x 8 E7-4870 processors x 10 cores = 560 cores
- 2.40GHz per core
- 7 x 2 TB RAM = 14 TB total RAM
- 7 x 2 TB RAID5 = 14 TB local scratch
- Infiniband QDR network at 32 Gbit/s
Cluster IBM Intel E5-2670
- 168 IBM dx360 M4 x 2 processors x 160 GFLOPS = 53 TFLOPS
- 168 x 2 Intel E5-2670 processors x 8 cores = 2668 cores
- 2.60GHz per core
- 168 * 32 GB RAM = 5.4 TB total RAM
- Infiniband FDR network at 40 Gbit/s
- Shared scratch in lustre filesystem
ESX Virtualization Cluster
All our critical virtual desktops and servers are hosted on a VMware ESX Enterprise cluster with High Availability and VMotion. This cluster consists of:
- 2 x HP-DL380G5 at 2.66 Ghz with 32 GB of RAM each
For those virtual machines and user grade desktops that doesn’t need High Availability support, there is set of machines with the ESXi hypervisor installed. These servers are:
- 3 x HP-DL380G5 at 2.66 Ghz with 16 GB of RAM each
- 4 x HP-DL385G7 at 2.13 Ghz with 124 GB of RAM each
Shared storage
2013
At the begining of 2013, all supercomputing resources has been upgraded. Now, they share a common architecture, and are unified behind an unique Slurm queue system that delivers jobs to the most adecuate equipment based on requested resources.
Cluster HP Intel E5-2670
- 48 HP-SL230G8 x 2 processors x 160 GLOPS = 16 TFLOPS
- 32 GPUS M2075 x 1030 GFLOPS = 33 TFLOPS
- 48 x 2 E5-2670 processors x 8 cores = 768 cores
- 2.60GHz per core
- 48 * 64 GB RAM = 3 TB total RAM
- Infiniband FDR network at 54.54 Gbit/s
- Shared scratch in lustre filesystem
Shared memory machines with 2 TB of RAM each.
- 7 DL980G7 x 8 processors x 96 GLOPS = 5 TFLOPS
- 7 x 8 E7-4870 processors x 10 cores = 560 cores
- 2.40GHz per core
- 7 x 2 TB RAM = 14 TB total RAM
- 7 x 2 TB RAID5 = 14 TB local scratch
- Infiniband QDR network at 32 Gbit/s
Cluster AMD Opteron 6176
- 41 HP-DL165G7 x 2 processors x 110 GFLOPS = 9 TFLOPS
- 41 x 2 Opteron 6176 processors x 12 cores = 984 cores
- 2.30GHz per core
- 41 x 96 GB RAM = 4 TB RAM
- Gigabit ethernet network.
- 41 * 6 TB RAID5 = 246 TB total scratch
ESX Virtualization Cluster
All our critical virtual desktops and servers are hosted on a VMware ESX Enterprise cluster with High Availability and VMotion. This cluster consists of:
- 2 x HP-DL380G5 at 2.66 Ghz with 32 GB of RAM each
For those virtual machines and user grade desktops that doesn’t need High Availability support, there is set of machines with the ESXi hypervisor installed. These servers are:
- 3 x HP-DL380G5 at 2.66 Ghz with 16 GB of RAM each
- 4 x HP-DL385G7 at 2.13 Ghz with 124 GB of RAM each
Shared storage
2007 Supercomputador Picasso y Pablo
El año 2007 supuso una gran mejora para las instalaciones de supercomputación de la UMA. Se terminó de construir un nuevo edificio dedicado a la investigación de excelencia, al que se trasladaron todos los equipos de supercomputación. Cuenta con dos salas DataCenter, una para máquinas de alto rendimiento y otra para equipos con menos necesidades de refrigeración, como las librerías de cintas.
En ese momento, había tres arquitecturas diferentes dentro de la misma sala.
HP Superdome with 128 cores and 400 Gbytes of shared memory.
Se utilizaron dos bastidores para alojar únicamente cpus, memoria y todos los cables de interconexión necesarios para llegar a toda la memoria compartida desde cualquier núcleo de cálculo. Un tercer bastidor se utilizó para el sistema operativo y el almacenamiento adicional de memoria virtual.
La paralelización de programas en este tipo de superordenadores (los de memoria compartida) suele ser más sencilla que en un clúster, ya que los usuarios finales lo ven como un único ordenador.
PowerPC 970 cluster with 512 cores and 1 TB of RAM.
Pablo es un clúster con 512 microprocesadores POWER970 y 1 TB de RAM. Está compuesto por 256 blades equipados con dos cpus POWER y 4 GB de RAM.
Este clúster pertenece a la RES (Red Española de Supercomputación), y su tiempo se comparte entre los usuarios de la RES y la Universidad de Málaga.
Se utilizan tres racks para alojar todos los blades, y otro para los servidores de administración y la infraestructura de almacenamiento.
Todos los blades están interconectados por Mirynet, una red rápida y de muy baja latencia muy adecuada para clusters.
x86 Cluster
Se disponía de un clúster x86 con 80 núcleos y 160 GB de RAM, compuesto por 10 blades con dos procesadores Xeon quadcore (8 núcleos por blade) y 16 GB de RAM.
Estos blades están interconectados por una red InfiniBand que proporciona una velocidad de intercomunicación muy alta que mejora los procesos paralelos.
Este clúster sigue utilizándose para dar soporte al backend.
Storage
Legacy systems
Fue en 1997 cuando se instaló en la Universidad de Málaga el primer superordenador dedicado exclusivamente a la ejecución de aplicaciones científicas por parte de los investigadores de la UMA. Se llamaba «Picasso», una máquina SGI Origin 2000 con 16 procesadores a 200Mhz y 4 GB de RAM que dio un servicio ininterrumpido durante más de 10 años.
Ahora disfruta de una merecida jubilación en el museo tecnológico de la UMA.
Traducción realizada con la versión gratuita del traductor DeepL.com