Blogs
Inferencia frente a aprendizaje: Por qué un cambio en el modo en que se utiliza la IA dará forma a la infraestructura que la respalda
Resumen: Este blog explica la diferencia entre el aprendizaje y la inferencia de IA, por qué predecimos que la inferencia pronto dominará las cargas de trabajo de IA y cómo este cambio puede transformar la infraestructura de centros de datos, la demanda de energía y el diseño de las instalaciones.
La inferencia es la tarea de “hacer” de un modelo de IA. Ocurre una vez que se ha entrenado un modelo de IA. La herramienta de IA (es decir, Claude, ChatGPT, Co-Pilot, etc.) está entrenada en cómo armar oraciones, dónde encontrar información, cómo formatear la información y cómo proporcionársela.
Por lo tanto, cuando inicia sesión en la interfaz de su herramienta de IA favorita, aprovecha el amplio entrenamiento que consume energía que el modelo realiza en segundo plano. Las respuestas que genera se consideran inferencias. Las inferencias son la tarea “fácil” del trabajo del modelo.
Aprendizaje e inferencia: prominentes en herramientas de IA y fútbol
Soy fanático del fútbol. Pero no hace falta ser fanático para saber que se necesita mucho para ganar un partido.
Aprendizaje en el fútbol
Las prácticas, los días de gimnasio y las sesiones de video forman parte del proceso de mejora del equipo mientras se prepara para ejecutar un plan de juego. Puede practicar una jugada miles de veces para hacerlo bien, solo para ejecutarla una vez el domingo. Es muchísima energía y esfuerzo invertidos en entrenar para tener éxito el día del partido. El entrenamiento, en el contexto de las herramientas de IA, es la fase de aprendizaje.
Inferencia en el fútbol
Lo que sucede en el campo el día del partido es el resultado del entrenamiento. Las miles de repeticiones de una jugada conducen a marcar una anotación. Marcar una anotación es hacer una inferencia.
Esto es similar a los procesos requeridos por un modelo de IA. El entrenamiento, o la fase de aprendizaje de un modelo de IA, es un proceso intensivo en energía que exige mucha potencia. Al igual que el fútbol, la IA requiere una amplia repetición (a menudo millones de repeticiones) de pasos de aprendizaje en segundo plano para darle una respuesta o resultado claro. La respuesta que le da la IA es su momento de marcar una anotación. O bien, hacer una inferencia.
En general, el modelo de IA es su ofensiva. Usted es el entrenador que indica las jugadas y espera ver un gran resultado.
Lo que sucede en el campo el día del partido es el resultado del entrenamiento. Las miles de repeticiones de una jugada conducen a marcar una anotación. Marcar una anotación es hacer una inferencia.
De qué manera la inferencia afecta la infraestructura de centros de datos
Para continuar con esta analogía del fútbol, la industria de los centros de datos ha experimentado un enorme auge en fábricas recién construidas, que podemos considerar como los campamentos de entrenamiento fuera de temporada. Ahora, nos acercamos a la temporada regular, donde se pueden poner en práctica los esfuerzos de nuestro entrenamiento.
Así es como veo la próxima división de las tareas de la IA y, por extensión, el consumo de energía. En este momento, podemos estimar que las tareas de IA son 80 % de aprendizaje y 20 % de inferencia. Los expertos de la industria creen que el equilibrio se invertirá durante el próximo año aproximadamente: 80 % para inferencia, y 20 % para aprendizaje y refinamiento.
Cuando escuché esta información, tenía muchas preguntas:
¿Por qué las herramientas de IA se enfocarán más en inferir que en aprender en un futuro cercano?
¡Porque ya es hora! Este fue el plan desde el principio: entrenar estos modelos rigurosamente y observar mejoras en tiempo real en las respuestas a medida que el entrenamiento se profundiza. Las dos tareas continuarán coexistiendo, pero la información enviada al modelo es principalmente para refinamiento y actualización, en lugar de para aprender todo desde cero.
La adopción de la IA en diferentes casos de uso también está aumentando la versatilidad de los modelos. Si un modelo se ha entrenado únicamente en codificación, llevaría mucho tiempo entrenarlo para un modelo relacionado con la nómina. Sin embargo, dado que muchos líderes aprovechan los mismos modelos para diferentes tareas, no necesitan entrenarse tanto cuando usted intenta cambiar las reglas de juego de imprevisto.
¿Cómo se verán afectadas las demandas de energía de los centros de datos al volverse la inferencia más prominente que el aprendizaje en los modelos de respuesta de la IA?
Dado que la industria aún no ha hecho el cambio, existen teorías contrapuestas.
- Algunos creen que la demanda de energía disminuirá porque los grandes eventos de entrenamiento no se llevarán a cabo con tanta frecuencia. Las fábricas equipadas con IA están diseñadas para el entrenamiento. Son lo suficientemente potentes como para manejar la demanda masiva en la red que requiere el aprendizaje, por lo que una reducción de la actividad de entrenamiento podría resultar en un alivio para la red. Si nada cambia en una fábrica equipada con IA durante esta transición, la carga de trabajo de inferencia será pan comido, ya que impone una carga de trabajo más ligera y uniforme.
- Otros creen que, en cambio, las ganancias de eficiencia se utilizarán para aumentar la densidad. Los chips más eficientes y los modelos mejor optimizados permiten implementar más cómputo en el mismo espacio, para maximizar la inversión en bienes inmuebles. Esto daría como resultado una demanda de energía que se mantendría o aumentaría a medida que el rendimiento mejora.
¿Cómo pueden prepararse las instalaciones recién construidas para este cambio?
Sea flexible. Flexibilidad en el tipo de enfriamiento necesario, la ubicación de los gabinetes en el piso, la densidad y más. Un enfoque modular prepara para el futuro una nueva construcción. Además, requerir una temperatura de entrada más alta para los próximos modelos de chips permitiría que una instalación adopte la refrigeración líquida más fácilmente sin necesidad de una enfriadora. Esta es una estrategia sólida debido a la imprevisibilidad de este sector. Sin embargo, creo que la selección del sitio será importante en el futuro. Esto se debe a que la latencia es una parte fundamental de la inferencia. Un modelo puede entrenarse desde cualquier lugar, pero los usuarios esperan una respuesta rápida, lo que significa que la ubicación es fundamental.
Modernización frente a nuevas construcciones modulares para un panorama de IA con mucha inferencia
Entonces, parece que la industria de centros de datos, en constante cambio, va a cambiar nuevamente. Nunca podemos predecir realmente cómo reaccionará el mercado a este cambio, pero podemos hacer algunas conjeturas.
La industria sigue enfrentando los mismos desafíos: falta de energía, espacio limitado para construir y necesidad de una respuesta rápida. ¿Podemos empezar a ver cómo surgen proyectos de modernización? Reutilizar instalaciones existentes o desmanteladas en ciudades o cerca de ellas podría abordar problemas de latencia. Estas instalaciones también están conectadas a la red, por lo que podría implementarse muy rápidamente sin muchos trámites. Sin embargo, estas son instalaciones más antiguas y tienen limitaciones en la cantidad de cómputo que pueden alojar, sin mencionar que la adaptación a los requisitos de energía puede tomar tanto tiempo como lo haría para una instalación nueva en algunos lugares.
Tal vez este sea otro caso de uso para un sistema modular. Como se indicó anteriormente, la flexibilidad es clave y tal vez la respuesta a las demandas fluctuantes sea una infraestructura fluctuante. Con estos sistemas, nos estaríamos confrontando con quienes desean generar la mayor capacidad de cómputo posible en cualquier entorno que puedan.
Las adaptaciones, los proyectos nuevos o las implementaciones modulares pueden abordar parte del desafío, pero tal vez haya algo más que aún está por venir que cumpla con todos los requisitos. Si ese es el caso, espero que usen hardware de Mitsubishi Electric en su interior.
¿Desea recibir notificaciones de nuevos blogs, artículos técnicos, casos estudiados y seminarios web?
Colaboradores
Pete Byrnes
Gerente de Comercialización de la Industria (Centro de Datos)
Mitsubishi Electric Automation, Inc.
