La potencia de cálculo de IA está cambiando de marcha: de "competir en entrenamiento" a "competir en inferencia"

Recientemente, un movimiento de Nvidia ha revelado que la industria de IA está experimentando una transformación importante. En los últimos dos años, el núcleo de la competencia en potencia de cálculo ha sido "quién puede entrenar modelos más grandes", cuanto más GPU mejor. Pero ahora, la capacidad del modelo en una etapa determinada es suficiente, y el verdadero cuello de botella se ha convertido en la eficiencia de la inferencia — qué tan rápido responde una vez, cuánto cuesta una llamada, y si puede funcionar de manera estable a largo plazo.
Nvidia ha comenzado a introducir, además de las GPU tradicionales, la idea de LPU (Unidad de Procesamiento de Lenguaje) de Groq, cuyo objetivo principal es reducir la latencia y el consumo de energía. Esto en sí mismo indica que las GPU no son la mejor solución para todos los escenarios de IA.
Lo que es aún más notable es la elección de OpenAI. Su adquisición a gran escala de "capacidad de inferencia dedicada" significa que en el futuro, la presión de costos de IA provendrá principalmente de la inferencia y no del entrenamiento. La clave para la comercialización de IA no es hacer modelos más grandes, sino hacer que sean asequibles y duraderos.
La potencia de cálculo está pasando de una "plataforma única y general" a una era de infraestructura "segmentada según el escenario".
Punto de vista del experto:
El próximo umbral en la inversión en IA no será "quién tiene la mayor potencia de cálculo", sino "quién reduce el costo por inferencia". La eficiencia está reemplazando a la escala como la nueva referencia de precios.
$BTC $ETH