CPU y GPU pueden ejecutar inferencia, pero están diseñadas para patrones de cálculo diferentes. La CPU ofrece pocos núcleos potentes y flexibilidad; la GPU reúne muchas unidades capaces de trabajar en paralelo. La mejor elección depende del modelo, la precisión, la concurrencia y el tiempo de respuesta esperado.
No existe una regla por la que toda carga de IA deba usar GPU.
Qué cálculo realiza el modelo
Un modelo de lenguaje ejecuta operaciones matriciales sobre pesos y activaciones. Parte del trabajo puede paralelizarse, aunque la generación de tokens también contiene dependencias secuenciales. El hardware debe mantener datos accesibles y moverlos con eficiencia.
Cuándo una CPU es suficiente
Una CPU puede servir para modelos pequeños, clasificación, pruebas, baja concurrencia o aplicaciones donde la latencia no sea estricta. También simplifica el despliegue y el coste eléctrico. La memoria RAM debe contener pesos, proceso y contexto, y el almacenamiento debe suministrar el modelo sin convertirse en un cuello de botella.
Qué aporta una GPU
La GPU acelera operaciones paralelas y suele ofrecer mayor ancho de banda de memoria. Puede reducir el tiempo de generación cuando el modelo cabe en VRAM y el software utiliza correctamente el dispositivo. Si los pesos no caben y hay que mover partes a RAM o CPU, la ventaja puede disminuir.
Latencia, throughput y lotes
Una petición interactiva prioriza tiempo hasta el primer token y velocidad de generación. Un proceso por lotes puede agrupar solicitudes para aumentar throughput, pero añade espera y usa más memoria. Mide ambos escenarios si el sistema combina chat y tareas programadas.
Coste y operación
Una GPU consume más energía y requiere drivers, runtime y refrigeración adecuados. Una CPU puede ser más fácil de mantener y suficiente para el volumen real. La comparación debe incluir compra o alquiler, memoria, almacenamiento, monitorización y capacidad de sustitución.
Elegir con una prueba representativa
Prueba el modelo, contexto, precisión y concurrencia que utilizarás. Un benchmark con una pregunta corta no representa una conversación larga. Si necesitas evaluar infraestructura, parte de una carga medida y consulta opciones de servidores dedicados solo cuando la capacidad local esté justificada.
El modelo de carga cambia la elección
Una carga interactiva con una solicitud cada vez puede valorar latencia y respuesta rápida. Un lote con miles de registros puede aprovechar más el paralelismo aunque cada elemento individual tarde algo más. Batching mejora el uso del dispositivo, pero añade espera y memoria.
También importa el tamaño del modelo y la forma de cargar pesos. Si el dispositivo pasa datos continuamente entre RAM y VRAM, el tiempo de transferencia puede ocultar la ventaja de la GPU.
Medir de forma comparable
Fija modelo, precisión, contexto y número de solicitudes. Mide tiempo hasta el primer token, tokens por segundo, throughput, memoria, consumo y errores. Repite la prueba con una carga normal y un pico. Un resultado obtenido con una pregunta corta no describe una aplicación de conversación.
Operación y mantenimiento
La GPU requiere un runtime compatible, drivers, memoria suficiente, refrigeración y supervisión. La CPU simplifica la plataforma, pero puede necesitar más tiempo por solicitud. Conserva una ruta de degradación cuando el dispositivo acelerador no esté disponible.
La decisión final debe relacionar el coste de hardware y energía con el objetivo de usuario. Más paralelismo no mejora por sí solo la calidad de la salida.
Memoria antes que velocidad teórica
Si los pesos y la caché no caben en la memoria del dispositivo, el modelo puede dividirse o intercambiar datos. Esa transferencia puede convertirse en el cuello de botella. Antes de comparar FLOPS, confirma que el modelo cabe con la longitud de contexto y concurrencia reales.
Una decisión reversible
Empieza con una prueba controlada y conserva una ruta para ejecutar una carga pequeña en CPU si la GPU no está disponible. Documenta drivers, runtime y versión del modelo. La aceleración no justifica una plataforma que el equipo no sabe actualizar.
Transferencia y memoria
La GPU debe mantener pesos y datos cerca de sus unidades de cálculo. Si la aplicación transfiere continuamente entre CPU y GPU, el tiempo de copia puede dominar la ejecución. La capacidad de memoria es tan relevante como el paralelismo.
Elegir sin generalizar
Un modelo pequeño y pocas solicitudes pueden funcionar bien en CPU. Una carga grande o concurrente puede justificar GPU. La prueba debe utilizar la precisión, contexto y formato de producción.
Repite la prueba con concurrencia normal y máxima. El dispositivo que gana con una solicitud puede perder cuando las colas y el contexto crecen.
El consumo eléctrico y la refrigeración forman parte del coste real.
Un benchmark representativo
Fija modelo, precisión, contexto y número de solicitudes. Mide tiempo hasta el primer token, tokens por segundo, throughput, memoria, consumo y errores. Repite la prueba con una carga normal y un pico.
Una pregunta corta puede ocultar el coste de una conversación larga. Conserva la configuración y los resultados para poder repetir la comparación después de una actualización.
La elección debe considerar rendimiento sostenido, energía, drivers, refrigeración, sustitución y capacidad de administración. La GPU no es automáticamente mejor para una carga pequeña, y la CPU no es automáticamente suficiente para una carga concurrente.
Una prueba con una sola solicitud no describe el comportamiento de una cola. Repite con concurrencia, contexto y duración representativos antes de comprar o reservar capacidad.