Muy popular en el mundo de HPC, el sistema de archivos Lustre altamente paralelizado y de código abierto ahora está disponible en Azure como un servicio administrado.
El universo de supercomputación HPC (High Performance Computing) está muy presente en el universo Azure. En primer lugar, porque son los sistemas HPC montados en Azure los que impulsan el aprendizaje de la IA generativa de OpenAI y Microsoft. Luego porque desde hace varios años Microsoft construye HPCs en Azure que están en el TOP 50 de HPCs (el famoso ranking Top500.org). El primero de ellos “Azure Explorer-WUS3” aparece en el puesto 11 del TOP500 con sus 54 Petaflops. Pero hay otros HPC de Azure en este ranking, incluido el “Azure Voyager-EUS2” en la posición 16 o el “Azure Pioneer” (uno de los cuales está alojado en Europa) del 42 al 45.
Y en el mundo de HPC, un sistema de archivos es más popular que los demás: LUSTRE. Este último fue diseñado para proporcionar un sistema de archivos distribuido que se ejecuta en cientos de servidores para proporcionar capacidades del orden de petabytes sin alterar ni el rendimiento ni la seguridad del conjunto. » Con el reciente crecimiento explosivo observado en la IA generativa y la necesidad de almacenamiento de alto rendimiento que ahorre núcleos de GPU de costosas esperas de datos, Luster está experimentando un mayor crecimiento en su adopción. Los clientes de muchas industrias que aprovechan los HPC buscan una infraestructura perfecta y completa que abarque computación, almacenamiento y redes que sea rápida de implementar y fácil de usar. explican los ingenieros de Azure.
Brillo administrado de Azure es un nuevo servicio de Azure para implementar y consumir almacenamiento Lustre sin preocuparse por la implementación. Azure se enorgullece de haber implementado un sistema de clústeres independientes que elimina el problema del «vecino ruidoso» que afecta a la mayoría de las implementaciones locales de Lustre. Esta solución puede escalar a varios petabytes de almacenamiento y usar Azure Blob Storage como nivel secundario. La solución obviamente es compatible con Azure HPC Services, Azure ML y AKS (Azure Kubernetes Services). Microsoft ofrece paquetes de cliente de Azure Managed Lustre para varias distribuciones de Linux, pero el servicio también es compatible de forma nativa con imágenes HPC en Ubuntu y Alma 8.7.
Lea también:
Francia tendrá su HPC a exaescala: el Jules Verne…
Azure lanza máquinas virtuales de HPC para IA y contenedores confidenciales…
El mercado de HPC (y HPCaaS) sigue creciendo con fuerza
Las empresas pueden alquilar HPC centrados en IA en la nube
[
