Como sabemos, LLMs tan masivos como ChatGPT requieren de enormes infraestructuras: costaría 700.000 dólares por día en costos operativos según un nuevo estudio de SemiAnalysis.
ChatGPT… Esta IA conversacional lanzada en diciembre pasado simplemente transformó el mundo en menos de cuatro meses. Según las últimas estimaciones, la IA de OpenAI ahora tiene 200 millones de usuarios activos por mes. Desde su lanzamiento, la IA de OpenAI ha respondido a más de 4 mil millones de consultas.
Esta IA entusiasma a los usuarios de Internet, preocupa a muchos humanos y transforma muchos procesos. Sobre todo, ha hecho correr mucha tinta y ha despertado la curiosidad de algunos, generando todo tipo de estudios sobre su impacto social y ecológico.
Algunos estudios afirman que los sistemas de aprendizaje de IA por sí solos son responsables del 99 % de las emisiones totales del centro de datos, es decir, 238 tCO2 (teniendo en cuenta el funcionamiento eléctrico pero también la fabricación de servidores y su refrigeración). Un porcentaje que parece muy exagerado. Otro estudio afirma que la unidad ChatGPT absorbió 700.000 litros de agua.
Un nuevo estudio intenta evaluar cuánto le cuesta a OpenAI/Microsoft ejecutar ChatGPT. Según SemiAnalysis, ChatGPT usaría 28.936 GPU para atender a los usuarios de Internet (una cifra de fuente desconocida). Costaría $694,444 por día operar el servicio.. Cada consulta se estima en 0,36 céntimos.
El problema con todos estos estudios es que se basan en aproximaciones, incluso fabricaciones. Ni OpenAI ni Microsoft han hecho realmente públicas con precisión las infraestructuras utilizadas para su aprendizaje y para el funcionamiento de sus inferencias diarias. Por lo tanto, la mayoría de las investigaciones se basan en las especificaciones conocidas de una de las HPC de Azure (10 000 GPU y más de 285 000 núcleos de cómputo) o en extrapolaciones de otros trabajos de IA documentados.
Además, estos estudios no tienen en cuenta las optimizaciones permanentes que realizan los equipos de desarrollo para mejorar el funcionamiento de los modelos.
En definitiva, tienes que tomar toda tu información con mucho cuidado. También será interesante ver cómo el éxito de OpenAI y la introducción de BingAI afectan los costos operativos de Microsoft. Dadas las cifras anunciadas por todos estos estudios, aún debería verse en algún lugar de los resultados.
Lea también:
OpenAI formaliza GPT-4 que más de un millón de internautas ya utilizan sin saberlo…
ChatGPT: ¡Microsoft 365 AI Copilot en acción y en videos!
Habrá un antes y un después de ChatGPT…
Aproveche ChatGPT para crear automatizaciones
[
