El instituto AI2, creado por Paul Allen, está dando nueva vida al ecosistema de modelos “verdaderamente de código abierto”, según la definición OSI, con su nueva familia de LLM compactos OLMo 2 muy prometedores.
Los modelos verdaderamente de código abierto, según la definición establecida recientemente por la OSI, se pueden contar con los dedos de una mano. Normalmente, los modelos «abiertos» de gran reputación como LLama de Meta o Mistral 7B no se consideran de código abierto para OSI. Una realidad que arroja nueva luz sobre el anuncio de la asociación AI2 (Instituto Allen para la IA). Este último acaba de publicar un nuevo LLM “pequeño”, OLMo 2, verdaderamente de código abierto según los términos de la OSI, cuyo rendimiento supera al muy popular y omnipresente modelo LLama 3.1 8B en Benchmarks.
Como recordatorio, el Instituto Allen para la IA fue fundado en 2014 por Paul Allen (cofundador de Microsoft con Bill Gates, fallecido en 2018) con la misión de promover la investigación en IA a través de herramientas abiertas y transparentes. Le debemos en particular el motor de búsqueda académico “Semantic Scholar”, la biblioteca de PNL de código abierto “AllenNLP”, los modelos textuales “OLMo” así como el modelo multimodal “MOLMO” (lanzado el pasado mes de septiembre).
Derivado de OLMo 1 (lanzado en mayo de 2023), OLMo 2 es en realidad una nueva familia de modelos LLM textuales compactos con entre 7 y 13 mil millones de parámetros entrenados a partir de 5 billones de tokens. Estos provienen de conjuntos de datos de capacitación de artículos académicos, fuentes de datos reconocidas de código abierto, sitios web «filtrados de alta calidad», foros de preguntas y respuestas y libros de ejercicios de matemáticas. sintético y generado por el hombre”.
« OLMo 2 se desarrolló desde cero con datos de capacitación abiertos y accesibles, código de capacitación de fuente abierta, procedimientos de capacitación repetibles, evaluaciones transparentes, puntos de control intermedios y más. » explica el instituto en una entrada de blog.
Un modelo muy eficiente, económico y personalizable
Como modelos textuales de LLM, OlMo 2 7B y OLMo 2 13B Aparece como competidor directo del Mistral 7B, Ministral 8B y LLama 3.1 8B/13B. Su objetivo es satisfacer los usos clásicos de la IA conversacional, la IA de generación de resúmenes e incluso la IA de generación de códigos informáticos.
Las pruebas muestran que OLMo 2 supera a los modelos «abiertos» de tamaño equivalente, comenzando con el popular Gemma-2-9B (de Google), Llama 3.1-8B (de Meta), MAP-Neo-7B y muestra un rendimiento similar al Qwen 2.5 ( la familia de modelos Alibaba Cloud) siendo mucho más económico en recursos informáticos.
Al aplicar los métodos posteriores al entrenamiento de Tülu 3, AI2 también ha desarrollado una variante llamada OLMo 2-Instruct que las empresas pueden personalizar fácilmente con sus propios conjuntos de datos. Este modelo muestra un desempeño competitivo en puntos de referencia que evalúan el seguimiento de instrucciones, la restitución de conocimientos y el razonamiento matemático, superando a algunos modelos de referencia como Instrucciones Qwen 2.5 14B y Llama 3.1 8B Instrucción.
Los modelos OLMo 2, así como todos sus componentes, están disponibles para su descarga en el sitio web de AI2. Distribuidos bajo la licencia Apache 2.0, se pueden utilizar libremente, incluso para aplicaciones comerciales.
El lanzamiento de OLMo 2 pone de relieve una vez más los avances realizados en la relevancia de los modelos pequeños y en las tecnologías de aprendizaje, mientras que los debates sobre el consumo excesivo de energía de los modelos grandes se han intensificado aún más. También ofrece al mundo “Open Source” una nueva alternativa que cumple con la definición OSI y al mismo tiempo muestra un rendimiento digno de los mejores modelos menos abiertos o propietarios (en tamaño equivalente). No hay duda de que estos modelos se unirán rápidamente a las bibliotecas de modelos integradas en las ofertas de los proveedores de plataformas de IA (NVIDIA IA empresarial, nutanix GPT-In-A-Box y la pila NAI 'Nutanix Enterprise AI', HPE IA en la nube privada, Dell fábrica de IA, Puro cápsula GenAI, Google IA de vértice, Amazonas Base, Azur fundición de IA, abrazando la caraetc.)
Con OLMo 2, AI2 refuerza su compromiso con la apertura y la transparencia en el campo de la inteligencia artificial. “ Al compartir abiertamente nuestros datos, procedimientos y hallazgos, esperamos brindar a la comunidad de código abierto los recursos necesarios para descubrir nuevos enfoques innovadores. » afirman los responsables de AI2.
Lea también:
LLama y Mixtral no son verdadera IA de código abierto según OSI
Cariño, ups, agrandé la LLama [MAJ]
Mistral AI lanza su primer modelo multimodal y servicios gratuitos para atraer desarrolladores
Mistral lanza la segunda generación de su gran LLM: Mistral Large 2
Mistral lanza nuevos modelos “mini” de IA
Mistral Large 2, Meta LLama 3.1: Los LLM “Frontier” se resisten
[
