Con Magma, Microsoft ofrece un modelo de base sin precedentes que combina inteligencia verbal, espacial y temporal. Esta convergencia permite la toma de decisiones en tiempo real y la adaptación de líquidos a tareas de agente y robótica, sin requerir capacitación específica para cada área.
Microsoft acaba de levantar el velo sobre Magma, un modelo de IA de un género algo nuevo. Este modelo de base no se contenta con comprender el lenguaje y las imágenes: es capaz de interpretar los datos visuales, razonar en el espacio y el tiempo, y sobre todo, planificar y ejecutar acciones tanto en entornos digitales como físicos.
Una fusión de nuevas habilidades
Magma se distingue por su capacidad para combinar tres tipos complementarios de inteligencia:
- La inteligencia verbal : Trata y genera texto a partir de varios datos.
- Inteligencia espacial : Gracias a una buena comprensión de los elementos visuales, el modelo muestra y localiza objetos útiles, ya sea un botón en una interfaz o una pieza móvil en una escena robótica.
- Inteligencia temporal : Al anticipar la evolución de las acciones en varias etapas, Magma logra orquestar secuencias complejas, que van desde la navegación en una interfaz de usuario hasta la manipulación de objetos por un robot.
Innovaciones técnicas al servicio de la acción
En el corazón de esta hazaña hay dos técnicas clave:
- Juego de marca (como) : Este proceso permite identificar y etiquetar los objetos actuables en una imagen. Ya sea un elemento de interfaz o un brazo robótico, Magma identifica con precisión los objetivos para guiar sus acciones.
- Trace de marca (Tom) : Este método, aplicado principalmente a videos y datos robóticos, ayuda al modelo a comprender la dinámica temporal. Al anticipar los movimientos futuros, Magma planea sus acciones de manera efectiva, utilizando menos recursos que los enfoques convencionales.
La capacitación del modelo se basa en un gran conjunto de datos heterogéneos, desde videos didácticos hasta manipulación robótica, incluida la navegación de la interfaz, lo que hace posible explotar este modelo en escenarios muy diversos, particularmente en términos de animación de agentes y robots de IA.
Aplicaciones concretas
En la fase de prueba, el magma ha demostrado sus capacidades en condiciones reales:
- Navegación de interfaces : El modelo es capaz de comprender los comandos vocales o textuales, localizar los elementos relevantes en la pantalla e interactuar con ellos para realizar tareas precisas, como verificar el clima o activar el modo plano. En este sentido, puede servir como base para los agentes de IA como los que ya ofrecen OpenAI (operador) y antrópico (uso de la computadora de Claude).
- Manipulación robótica : Experimentos en plataformas como WidowX y Libero han revelado una superioridad significativa de magma en comparación con los modelos previamente especializados. Ya sea para ingresar, mover o colocar objetos, Magma sobresale tanto en escenarios comunes como en nuevas situaciones.
- Razonamiento espacial y comprensión multimodal : Frente a preguntas complejas que requieren una interpretación conjunta de elementos visuales y textuales, Magma logra ofrecer respuestas convincentes, compitiendo con ciertos sistemas de recorte a pesar de una menor cantidad de datos de capacitación.
En términos de puntos de referencia, el modelo obtuvo una puntuación de 80.0 en la prueba VQAV2, que excede la de GPT-4V y registró un impresionante puntaje de 87.4 POPA en el campo de la manipulación robótica.
Hacia una nueva era de AI AGENIC
Magma se posiciona como el primer modelo capaz de acercarse a todo el espectro de tareas de agente en modo de disparo cero, es decir sin ajustes específicos para cada área. Esta versatilidad, combinada con la capacidad de planificar y ejecutar acciones en tiempo real, abre el camino a nuevas aplicaciones en la interfaz de usuario y los sectores de robótica.
Sin embargo, a pesar de sus notables actuaciones, Magma todavía enfrenta desafíos en la toma de decisiones a largo plazo. Sin embargo, Microsoft confía y publicará el código en GitHub para fomentar la investigación colaborativa y la mejora continua de esta tecnología.
Leer también:
Microsoft y Openai se preguntan si Deepseek no ha bombeado su IA
Microsoft lanza sus agentes de IA en Copilot y una oferta de chat de copiloto ilegible …
Microsoft: una inversión masiva de $ 80 mil millones en la infraestructura de IA
Con Phi-3, Microsoft todavía mejora sus modelos de bolsillo gen ia
[
