Con motivo de su conferencia “.NEXT 2024” que se celebra esta semana en Barcelona, Nutanix lanza la versión 2 de su infraestructura de IA “llave en mano”, GPT-in-a-Box, fruto de nuevas asociaciones con NVidia y Hugging Face. ¡Implementar modelos de IA internamente nunca ha parecido tan fácil!
Anunciadas en la conferencia .NEXT, las colaboraciones de Nutanix con NVidia y Hugging Face abren nuevas perspectivas y opciones en términos de implementación de IA. Gracias a la integración de microservicios de inferencia de las plataformas NIM de NVidia y el catálogo Hugging Face en la infraestructura “GPT-in-a-Box” de Nutanix, las empresas ahora podrán liberarse de las nubes públicas para entrenar, personalizar, pero sobre todo desplegar. e inferir sus modelos de IA de forma segura y sencilla.
Simplificando la implementación de IA más allá de la nube pública
Según el estudio sobre el estado de la IA empresarial encargado por Nutanix y realizado por Vanson Bourne, El 90% de las empresas ha hecho de la IA una prioridad. Pero su enfoque se ve obstaculizado por la falta de habilidades, las preocupaciones en torno a la seguridad de los datos y la necesaria modernización de las infraestructuras para dar cabida a nuevas aplicaciones.
Más de la mitad también busca soluciones efectivas para transferir información entre la nube pública interna y la TI remota en tiendas o fábricas, es decir, en el egde.. En general, los actores de la nube pública ofrecen soluciones a todos estos problemas, pero no todas las empresas necesariamente tienen el deseo -o la posibilidad- de confiar en las ofertas de los hiperescaladores para implementar su IA, ya sea que sus elecciones estén motivadas por razones de seguridad de los datos o incluso por costos.
Nutanix es consciente de que no todos los modelos, especialmente los modelos muy grandes, generalmente se entrenarán localmente. A menudo tiene más sentido hacer esto en la nube porque es una operación “única” que requiere una gran cantidad de recursos. Esto también se aplica en parte al «ajuste», aunque puede ser esencial para ciertas empresas hacerlo localmente aunque sólo sea para preservar la confidencialidad de este «ajuste», un escenario en el que GPT-in-a-Box luego realiza sentido perfecto.
Por otro lado, la ejecución local de inferencias y RAG son mucho más atractivas, en primer lugar para respetar el cumplimiento y la confidencialidad de los datos o para satisfacer las limitaciones de latencia en el Edge, pero también en términos de costos. Porque son estos tratamientos de IA (inferencias y RAG) los que se utilizan más intensivamente y para los cuales la ejecución local puede resultar más económica que la ejecución en la nube.
Una alternativa de IA a las nubes públicas para implementarse internamente
Al asociarse con NVidia, Nutanix responde precisamente a este problema. Al enriquecer su plataforma GPT-in-a-Box con microservicios NVidia NIM, Nutanix ofrece una alternativa a las plataformas de IA en la nube pública. La nueva solución, denominada GPT-in-a-Box 2.0, permite a las empresas entrenar e implementar una amplia gama de modelos de IA, ya sean de código abierto o personalizados, internamente y aprovechando las GPU de NVidia (Nutanix planea expandir su plataforma a AMD e Intel). GPU en el futuro).
Y como Nutanix sigue siendo el principal especialista en implementaciones de infraestructura más cercanas a los usuarios, GPT-in-a-Box 2.0 no sólo se puede utilizar para centralizar el entrenamiento de modelos en centros de datos (y, en última instancia, en la nube), sino sobre todo para simplificar y rentabilizar el despliegue de inferencias localmente y en el borde, en tiendas o fábricas, por ejemplo, evitando costosas transferencias de datos que generan latencias.
Accesible a través de «interfaces de programación estándar» y modelos expuestos en forma de API siguiendo los estándares definidos por OpenAI, GPT-in-a-Box 2.0 también debería » Reducir la complejidad que a menudo se asocia con la adopción de soluciones de IA al eliminar la necesidad de habilidades técnicas avanzadas. » según Nutanix.
La incorporación del catálogo Hugging Face
Técnicamente, la plataforma GPT-in-a-Box 2.0 se basa en contenedores. Por lo tanto, su arquitectura permitió a Nutanix agregar fácilmente soporte para microservicios (y el catálogo de modelos) de la plataforma NVidia NIM.
Pero este último no es el único modelo integrado en el catálogo. Gracias a una asociación tecnológica con Hugging Face, GPT-In-Box 2.0 integra un subconjunto validado y optimizado de los modelos más populares del servicio Hugging Face..
El acuerdo tecnológico permite a Nutanix integrar el motor de inferencia de modelos de Hugging Face en su plataforma, pero también determinar cuáles son los modelos más interesantes y relevantes para integrar en GPT-in-a-Box.
Desde un punto de vista práctico, una vez instalada y operativa la plataforma GPT-in-a-Box 2.0, un desarrollador o administrador simplemente necesita elegir un modelo que corresponda a sus necesidades de los catálogos NVidia NIM o Hugging Face. Luego, el modelo se descarga e instala con un solo clic. Luego se puede probar directamente desde la interfaz fácil de usar de Nutanix. Luego, la plataforma expone la API de este modelo proporcionando su URL interna y genera claves de acceso. Luego, las aplicaciones solo tienen que llamar al modelo usando la URL y una clave sin tener que reescribirlas (ya que la llamada al modelo sigue la misma sintaxis que la API OpenAI, que ahora está establecida como un estándar de facto para todos los modelos). Es difícil hacerlo más simple.
Optimice el control y la seguridad de los datos
Nutanix cree que GPT-in-a-Box satisface principalmente las necesidades de las pequeñas y medianas organizaciones que no necesariamente tienen los medios para permitirse la nube o invertir en una compleja infraestructura de IA que es aún más cara. supone la contratación de habilidades raras y, por tanto, caras. Pero GPT-in-a-Box 2.0 también se adapta perfectamente a todas las empresas que tienen restricciones de soberanía o que simplemente no quieren poner datos confidenciales en la nube. Sobre todo porque la plataforma Nutanix también ofrece funciones avanzadas de seguridad y almacenamiento de datos y las nuevas características de GPT-in-a-Box 2.0 incluyen la automatización del despliegue de inferencias en el borde con control de acceso granular, lo que garantiza una seguridad mejorada de los modelos de IA.
Lea también:
Con GPT-in-a-Box, Nutanix quiere hiperconvergir la IA generativa
Pese al contexto económico, Nutanix bate récords
“HCI, Multicloud, AI… Nutanix es una empresa hiperconvergente…. »
Le Replay: “Nutanix .NEXT en la gira París 2023”
[
