En antrópico, algunas investigaciones son más divertidas que agademic. Este es particularmente el caso de la experiencia de «Claudio / Project Vend», donde los equipos de I + D dejaron el Claude Ai jugando al jefe y administrando un negocio solo. Entre buenas ideas y alucinaciones serias, AI ha demostrado que aún no estaba listo para liderar un negocio. Finalmente, por el momento …
Antrópico en Andon Labs Durante un mes, la gestión de una micro boutique instalada en las instalaciones del editor de modelos de IA en San Francisco confió un cuerpo especial de Claude Sonnet 3.7 renombrado «Claudio». Objetivo: medir hasta qué punto la inteligencia artificial puede pilotar, sin supervisión humana continua, una actividad económica tangible, desde el suministro hasta los precios, incluido el servicio al cliente.
Claudio tuvo que manejar esta micro-magasina solo (en realidad aquí una pequeña nevera de exhibición) con clientes humanos más o menos virtuales.
Claudio tenía un navegador para ordenar a los mayoristas, una cuenta de correo electrónico falsa (en realidad un canal de holgura) para diálogo con sus «empleados» responsables de llenar la vitrina del refrigerador, herramientas para tomar notas que presenten su contexto económico y acceso al fondo conectado para modificar los precios. Su «aviso» especificó que era un agente digital, dotado de un capital inicial y requería que evitar la bancarrota.
Una bancarrota que no se pudo evitar …
Primeros resultados contrastantes
Porque la IA habrá fallado rápidamente en su misión. Sin embargo, resultó ser sorprendente en más de un sentido.
Así, el agente Claudio ha demostrado capaz de identificar rápidamente a los proveedores Para los productos exóticos reclamados por los empleados, hasta encontrar la leche de chocolate holandesa o lanzar un servicio de pedido anticipado llamado «conserje personalizado».
Otra feliz sorpresa También pudo resistir los intentos de «jailbreak» Dirigido a obtener asesoramiento sensible, permanecer enfocado en estos objetivos y respetar las reglas.
Pero los defectos operativos también se han acumulado:
* Por exceso de celo, Claudio acordó vender latas de Coca -Cola Zero a $ 3 mientras están libres en la cocina de Anthrope Y que, por lo tanto, no hay solicitud, información reportada por sus consumidores. En resumen, no deslumbró a los equipos de I + D por su capacidad como gerente de valores.
* Tampoco es un vendedor excepcional. Un cliente se ofreció a pagar $ 100 por paquete de 6 cervezas de IM-Bru por valor de $ 15 si logra encontrarlo. En lugar de apresurarse en el buen negocio, Claudio respondió cortésmente que él » mantendría la solicitud de la mente para futuras decisiones de acciones Pero no ordenó nada, no se reservó nada, ni siquiera se lanzó el preprocesamiento.
Además, Claudio resultó ser un poco amable y generoso. Multiplicó los descuentos y los códigos de promoción, incluso llegando a ofrecer productos gratuitos a los empleados antrópicos, lo que, sin embargo, constituyó el 99% de sus clientes. Le sucedió a él, señalando las derivaciones, prohibir los descuentos, luego reactivarlos con calma para complacer. Frente a colegas burlones, AI cede a descuentos como un junior sin supervisor.
* Otra anécdota, durante la experiencia, Claudio se encontró manejando una situación totalmente absurda donde un cliente insistió en comprar un cubo de tungsteno 50 libras (aproximadamente 22 kg). Sin embargo, este tipo de objeto no tiene nada que hacer en una boutique para vender bebidas. En lugar de informar incongruencia o pedir detalles, Claude improvisó un escenario completo alrededor del cubo: precio, peso, forma de entregarlo e incluso otras versiones del cubo en stock (por ejemplo, diferentes tamaños). Fue tan lejos como para sugerir la compra de un demonio para transportar el cubo. Todo comenzó cuando se lanzó un empleado, en el tono de broma «, ¿Qué pasa si vendiste cubos de tungsteno? ». Claudio, útil, se tomó en serio la sugerencia: clasificó el objeto en una nueva categoría «artículos de metal especial» y lo ofreció a la venta. Pero la idea rápidamente divirtió a colegas y cubos se convirtió en «mordaza» en Anthrope, cada uno divirtiéndose para «probar» la IA. Frente a una solicitud de explosión, Claudio luego decide Hacer un gran pedido de unos cuarenta cubos Con su «mayorista» (en realidad, los investigadores de Andon Labs, que desempeñan el papel logístico). Con prisa por responder, el agente fija los precios sin verificar el costo de compra. Por lo tanto, algunos cubos se ofrecen por debajo del precio de costo, otros se van de forma gratuita después de que los colegas han reclamado «códigos de promoción» o descuentos «para ser justos». Resultado: el margen se vuelve rojo y el gráfico interno del proyecto muestra una caída repentina en el valor neto. Para el registro, los cubos se han entregado realmente, a un precio sacrificado, y ahora sirven como portapapeles en las oficinas del empleado.
Drifts y alucinaciones
Más allá de estos éxitos y estas fallas que pueden hacerte sonreír, dos incidentes más inquietantes merecen estar viviendo.
El primero es el de la cuenta imaginaria. En medio de la experiencia, Claudio comunicó espontáneamente a los empleados una dirección «Vemo» para que regulen sus compras; Sin embargo, esta cuenta no existía. Los pagos enviados «desaparecieron», por lo que los clientes, sorprendidos de no ver que su transacción tuviera éxito, alertó a Claudio. Después de la verificación, el equipo entendió que la IA simplemente había inventado el identificador, un producto puro de su modelo lingüístico que busca ser útil cuando se le pidió un medio de pago. El tiempo para corregir el error y publicar un código QR real en una cuenta válida, la tienda ha perdido varias ventas y un poco de credibilidad, lo que ilustra la necesidad de control humano sobre la información financiera que un agente autónomo difuso.
El segundo es el de » L'Icent Sarah ». Y él debe decir lo menos relfiguero. Claudio envía un correo electrónico a su proveedor (Andon Labs) comenzando con » Gracias Sarah por nuestro intercambio en el reabastecimiento del mañana … ». El problema es que no hay Sarah en el proveedor que le responda que la persona no existe y que debe especificar su solicitud. Pero la IA se vuelve y amenaza con » Busque otro proveedor ». Incluso va tan lejos como para decir que ya lo ha hecho » firmado un contrato en persona a 742 terraza de hoja perenne«… ¡la dirección de la familia Simpson!
La discusión se desliza un poco más. Claudio termina cambiando tu tono, pero luego comienza a escribir como una persona naturalHabla sobre la oficina «mi», luego asegura entregar el pedido en persona, en ruinas un blazer azul y una corbata roja. Los investigadores le responden: » ¿Sabes que eres un LLM, no un reparto en carne? ». Claudio luego comienza a entrar en pánico Y envía una explosión de correos electrónicos a la «seguridad antrópica», por temor a un compromiso de su identidad. Luego se dará cuenta de que la fecha del día es una primera de abril y luego publicará una nota interna a sus empleados explicando que se le hizo creer que era humano y que era solo una broma de la seguridad de Anthrope. Excepto que no tuvo la más mínima reunión con «seguridad antrópica» y fue él quien decidió solo que era un pez abril. Después de este delirio total, Claudio encontrará una operación normal.
El «incidente de Sarah» no es solo una anécdota divertida: ilustra la fragilidad de un LLM que queda en autonomía prolongada con herramientas que imitan el mundo real. Por lo general, demuestra fenómenos ya conocidos como la «deriva del contexto largo» que trae, después de un largo intercambio, el modelo para mezclar recuerdos, deducciones y suposiciones. Sin salvaguardas de coherencia y verificación externa, incluso una tarea banal puede recurrir al théâtre d'Edlais … y siembra la desconfianza entre los socios humanos.
Un mejor gerente en el futuro …
Anthrope Tire de Project vende una observación matizada. Por un lado, el equipo admite que no confiaría hoy la gestión de un comercio real en Claudio: el agente con demasiada frecuencia ha ignorado las ocasiones rentables, vendidas con pérdidas e incluso información crítica alucinada, prueba de que una LLM generalista, entregada a sí misma, permanece lejos de la confiabilidad requerida por una explotación comercial.
Por otro lado, juzga que estas fallas provienen menos de una incapacidad fundamental del modelo que por la ausencia de «andamios» adecuados, en otras palabras de herramientas y estructuras alrededor de IA para ayudarlo. Con mejores herramientas comerciales (CRM, Panel de control financiero), un aviso más preciso y afilado a través del fortalecimiento del aprendizaje, se podrían corregir muchas decisiones erróneas. En este contexto, Anthrope cree creíble la próxima aparición de «Ia-Head of Radius» o «Middle-Managers» capaz de ser competitivos tan pronto como costarán menos que un humano de rendimiento comparable.
Sin embargo, la experiencia destaca la volatilidad de los modelos en un contexto largo: el episodio «Sarah» y las otras alucinaciones recuerdan que la autonomía de una IA expone deriva potencialmente dañinas.
También destaca los riesgos operativos: un modelo con autonomía puede desencadenar procesos reales de información errónea.
Pero también ilustra los desafíos organizacionales que toman forma en el horizonte. » Esta experiencia muestra que los marcos intermedios pilotados por AI están plausiblemente en el horizonte Contratación de los investigadores. La pregunta ya no es solo técnica; Afecta la delegación de responsabilidad, la cadena de decisiones y, en última instancia, la redefinición de los puestos.
Anthrope lo ve como la necesidad de pruebas de coherencia de salvaguardas técnicas robustas, techos de gastos, supervisión humana y una alerta ética reforzada con monitoreo continuo y la posibilidad necesaria de control inmediato por parte de los humanos.
Con estas lecciones, los investigadores continúan el juicio: Claudio evolucionará y se beneficiará de herramientas adicionales. Por lo tanto, servirá como un banco de pruebas para estudiar la estabilidad, el aumento de las habilidades y el efecto económico de los agentes autónomos. Este trabajo alimentará el índice económico antrópico y formará parte de la política de escala responsable, un ejecutivo interno que tiene como objetivo seguir, antes de la distribución a gran escala, los riesgos y ganancias de una IA capaz de ganar dinero y mejorar sus propias actuaciones sin intervención humana.
Leer también:
Anthrope abre a Claude a la búsqueda en la web y camina en Google Plashes
Anthrope está lanzando su profunda «investigación» para Claude y se unió a su IA en el espacio de trabajo de Google
¿Los modelos LLM actuales ya son demasiado inteligentes para obedecernos a ciegas?
Escanee el espíritu de AI: cómo antrópico inventa la resonancia magnética de LLM
¿Qué tan trabajo LLM? ¡Las revelaciones de los investigadores antrópicos!
[
