El supercomputador MareNostrum 5 ya ha sido inaugurado. La mayor inversión europea en una infraestructura científica en España ha llegado tres años tarde, pero ya está aquí y ha logrado colarse entre los diez supercomputadores más potentes del mundo. Wl sistema cuenta con un rendimiento 200 Petaflops y picos de 314 Petaflops. El MareNostrum 5 ayudará a múltiples investigaciones como el desarrollo de la IA, la búsqueda de tratamientos para enfermedades, optimizar la aerodinámica de los aviones o analizar el calentamiento global.
|
etiquetas: marenostrum , salto , españa , liga , supercomputación , mundial
Más cosas como estas, y no únicamente en Barcelona, en Guadalajara, en León, en Zamora, en Ciudad Real... Polos tecnológicos, centros de excelencia de verdad, con apoyo a universidades y de empresas.... Así si que se llenaría la España vaciada.
Yo no digo que no se pueda mejorar, y mucho, lo que tenemos (o nos ofrecen), pero si comparas con el resto de países de la UE estamos MUY bien ese aspecto. Por cierto, mi pueblo en España tiene 250 habitantes y tenemos fibra óptica (mi contrato es de 600Mb, aunque normalmente llega algo menos). En Alemania vivo en una ciudad de 500k habitantes y a mi bloque no llega la fibra óptica, y vivo muy cerca del centro.
La pregunta real es: ¿Ese bicho puede mover Crysis Remastered?
Existe una lista (top500.org) con los 500 supercomputadores más potentes y sus detalles. A Nov de 2023, MareNostrum5 es el 8º más potente.
Y claro, muchas veces toda esta complejidad no sale gratis. Es más fácil tener un buen ordenador para ti solo que estar pegandote con el cluster y los problemas que da.
*corrijo, segundo de Europa y 10 del mundo
www.lavanguardia.com/andro4all/operadoras/espana-es-el-segundo-pais-de.
No se como sería de dificil adaptar un software a Spark.
8º más potente de partición acelerada ACC (Mateo Valero, director del BSC, sostiene que podría ser el 3º, pero que no es su objetivo) y 1º más grande a nivel mundial de partición general GPP. Además, su capacidad de almacenamiento es única en el mundo (248 Pbytes).
También ha recibido el premio "Top Supercomputing Achievement" 2023 de parte de los lectores de la revista HPCWire (la más prestigiosa en el mundo de la supercomputación).
Fuentes:
www.bsc.es/es/noticias/noticias-del-bsc/marenostrum-5-es-el-único-sup
www.hpcwire.com/2023-readers-editors-choice-supercomputing-achievement
En España hay miles de pueblos con 1gbps. Miles.
El artículo en sí no me parece tan bueno, está escrito para que lo entienda todo el mundo, pero podían haber afinado un poco más los términos.
Es posible que me baneen, no sé si va contra las normas del site, pero si alguien del área de sistemas/redes/storage/cloud que sepa de HPC está interesado en moverse por Europa, que me escriba en privado, estamos contratando y es difícil encontrar gente seria y competente.
Sorry, pero Spark no es nada fácil.
Sobre todo cuando empiezas a hablar de shuffling y de donde están los datos para computarlos.
Hacer cálculos simples es sencillo, pero cuando se complica es absurdamente difícil saber qué pasa.
Defines un nodo controlador y luego un conjunto de nodos workers, y particiona el trabajo entre los N workers.
El trabajo que hay que hacer se define en Scala o Pyspark, y está muy orientado a procesar datos masivos.
No había un lugar mejor donde ponerlo como, por ejemplo, cerca del circulo polar ártico donde aprovechar el frio natural? En Barcelona hace calor siempre, lo más frío pueden ser 10° 3 días contados de invierno. Luego que si agenda 2030 sobre sostenibilidad energética y luego te montan un sumidero de energía en tu cara.
Dicen que usarán ese poder de computación para desarrollar la IA. Sería poético que la IA dedujera que ese centro de computación no debiera estar ahí.
Es más, con las últimas versiones de Spark, al menos en Databricks, no te tienes que preocupar en cómo se reparten los datos porque el mismo hace los broadcasting cuando lo ve necesario y reparticiona de la forma más óptima. Es tan simple como cargar datos, cachear y a correr
Para hacer cálculos sobre un único Dataframe, iba perfectamente, pero cuando empezabas a hacer joins de dataframes grandes, ordenaciones etc... Ya empezaba a chirriar.
Además la elección de los workers, el tamaño de batch de procesamiento (porque claro, si todos los datos que tienes que procesar no entran en el conjunto de memoria ni swap del cluster tampoco funciona la cosa fina).
De hecho nos vendieron la tecnología como "esto hace de todo y escala sin que os deis cuenta" ... en nuestro caso no fue así.
blogthinkbig.com/fibra-optica-espana
youtube.com/shorts/SA9Qt7OBjQk?feature=shared