Cuanto más grande es un modelo LLM, más recursos requiere tanto en su entrenamiento como en su inferencia (su ejecución), y por tanto cuesta mucho… para las empresas y para el planeta. Con GPT-4o Mini, OpenAI lanza un modelo “pequeño” que hace casi tan bien como GPT-4o por mucho menos dinero… Y el planeta lo agradece…
En 18 meses, OpenAI ha entregado GPT 3.5 (el LLM de la primera versión de ChatGPT), GPT 3.5 Turbo, GPT-4, GPT-4 Vision, GPT-4 Turbo, GPT-4o, modelos cada vez más potentes, más eficientes pero también más exigentes en cuanto a consumo de recursos y, por lo tanto, más caros. Hasta el punto de que, para seguir siendo competitivo frente a los precios más agresivos de Google con Gemini o competidores como Mistral AI, OpenAI siguió ofreciendo GPT 3.5 Turbo a los usuarios gratuitos de ChatGPT y a las empresas que buscaban un LLM más económico que su buque insignia actual, el «GPT-4 omni», también llamado «GPT-4o».
Pero eso fue antes… ¡Antes de que OpenAI anunciara que había reducido el tamaño de GPT-4o!
Llamado » GPT-4o mini «El nuevo modelo de OpenAI es una versión simplificada y optimizada de su último modelo LLM «GPT-4o» que impulsa las versiones pagas de ChatGPT.
Un modelo menos costoso
Como ya es casi siempre, la startup no especifica exactamente cuántos parámetros componen su minimodelo. Simplemente lo compara con Gemini Flash y Claude Haiku, cuyo número de parámetros también es desconocido. En general, se acepta que estos modelos están en un rango de entre 30 y 120 mil millones de parámetros. Por lo tanto, son más «pequeños LLM» que «SLM» (pequeños modelos de lenguaje) que no están pensados para ser ejecutados localmente.
Sin embargo, su tamaño es lo suficientemente compacto como para permitir a OpenAI ofrecer un “GPT-4o mini” a un precio un 60% inferior al de “GPT 3.5 Turbo” (su LLM más accesible): GPT-4o mini se factura a 15 centavos por millón de tokens de entrada y 60 centavos por millón de tokens de salida. En comparación, el modelo “GPT-4o” extendido cuesta 5 dólares por millón de tokens de entrada y 15 dólares por millón de tokens de salida. Sí, has calculado bien, “GPT-4o mini” es aproximadamente 30 veces más económico de usar que su hermano mayor “GPT-4o”.
Un modelo casi tan relevante
Pero, a juzgar por los benchmarks proporcionados por OpenAI, está lejos, muy lejos, de ser 30 veces menos relevante. En realidad, está casi a la par con “GPT-4o” y supera con creces a “GPT 3.5 Turbo”, Claude Haiku y Gemini Flash. Hasta el punto de que OpenAI ya ha eliminado “GPT 3.5 Turbo” de ChatGPT y anima a todos los clientes a migrar a este “mini” LLM.
Especialmente porque, a diferencia de GPT 3.5 Turbo, GPT-4o mini es un modelo multimodal que puede analizar documentos de texto como entrada, pero también imágenes, grabaciones de sonido e incluso vídeos. Incluso debería poder producir imágenes como salida en un futuro muy cercano. También ofrece una ventana contextual de 128.000 tokens.
OpenAI especifica que “ GPT-4o mini permite una amplia gama de tareas gracias a su bajo costo y baja latencia. Estas incluyen tareas como aplicaciones que encadenan o paralelizan múltiples llamadas al modelo (por ejemplo, llamar a múltiples API), transmiten una gran cantidad de contexto al modelo (por ejemplo, una base de código completa o un historial de conversaciones) o interactúan con los clientes a través de respuestas de texto rápidas en tiempo real (por ejemplo, chatbots de soporte al cliente). ».
Un modelo más seguro
Además, “GPT-4o mini” afirma ser el modelo más seguro de OpenAI hasta la fecha. Implementa una nueva técnica de control llamada “jerarquía de instrucciones” que fortalece las defensas del modelo contra el uso indebido, el abuso y las instrucciones no autorizadas. Esta técnica ayuda a contrarrestar ciertos ataques que utilizan indicaciones especialmente diseñadas para hacerle olvidar las instrucciones generales grabadas en el modelo.
Esta tecnología se desarrolló para que los modelos como GPT-4 sean más seguros de usar y debería ser utilizada por futuros «agentes de IA» de OpenAI para garantizar que los agentes se mantengan dentro de los límites de uso asignados. Sin embargo, no evita que los modelos LLM alucinen e inventen falsedades… Un defecto clásico de los modelos tipo «GPT/Transformers».
«GPT 4o Mini» ya está disponible en la versión gratuita ChatGPT, ChatGPT Plus (la versión de pago), en la plataforma API OpenAI pero también en la de su socio principal Microsoft que anuncia la disponibilidad inmediata del modelo en Azure AI, en Azure OpenAI Service y en la zona de prueba gratuita Azure OpenAI Studio Playground.
Lea también:
GPT-4o: Un poco más cerca de HAL y 2001…
Anthropic lanza Claude 3.5, anunciado como mejor que ChatGPT
OpenAI prescinde de observadores de Microsoft y Apple en su Junta Directiva
Proyecto Astra: la respuesta de Google a ChatGPT 4o
Cloudflare lanza una herramienta para bloquear bots de IA de Google, OpenAI, Microsoft y otros
Microsoft MAI: Hay más en la vida que OpenAI…
[
