Estimador de VRAM para LLM

Funciones

• Memoria de pesos: parámetros × bytes por parámetro (FP32 / TF32 / BF16 / FP16 / FP8 / INT8 / INT4 / INT2)
• KV cache: 2 × capas × cabezas KV × dim de cabeza × secuencia × lote × bytes por elemento
• Compatibilidad con GQA: las cabezas KV se fijan aparte, y la KV cache cae en el mismo factor 1/N
• Activaciones y sobrecarga del framework estimadas con una regla empírica declarada
• Muestra GB (10⁹) y GiB (2³⁰) a la vez, sin confundirlos
• Parámetros de 0.5B a 671B, o pon tu propio valor
• Recuento de tarjetas por tramo para 8 / 12 / 16 / 24 / 40 / 48 / 80 / 141 GB

Cómo se usa

1. Elige el número de parámetros (o un valor propio) y la precisión de los pesos
2. Fija la longitud de contexto y el tamaño de lote
3. Introduce las capas, la dimensión oculta, las cabezas de atención y las cabezas KV del modelo
4. Lee pesos, KV, sobrecarga y total, y consulta luego los tramos de tarjeta

Preguntas frecuentes

¿Por qué 7B en FP16 son 14 GB?

7B son 7 × 10⁹ parámetros, y FP16 usa 2 bytes cada uno, así que 7 × 10⁹ × 2 = 14 × 10⁹ bytes = 14 GB. Aquí «B» es 10⁹, no 2³⁰ — usar 2³⁰ daría 15.03 GB, unos 1 GB más.

¿Hay diferencia entre GB y GiB?

Sí. GB son 10⁹ bytes; GiB es 2³⁰ (unos 1,074 × 10⁹) bytes, aproximadamente un 7,4 % más. El marketing de tarjetas, la facturación en la nube y `nvidia-smi` no usan todos la misma unidad, así que se muestran las dos — si no, podrías calcular con una y comparar con la otra.

¿Cuánto ahorra GQA?

Mucho. La KV cache es proporcional al número de cabezas KV: 32 cabezas de atención con 8 cabezas KV guardan un cuarto de la KV cache de la atención multicabeza completa. Eso es lo que decide si contexto largo y alta concurrencia pueden convivir.

¿Por qué la sobrecarga de activaciones es una estimación?

Depende de los kernels concretos, de la estrategia de paralelismo (tensor / pipeline) y de las versiones de CUDA y del framework — no hay una fórmula exacta universal. La herramienta usa un suelo de 0.5 GB más cerca del 10 % de pesos y KV, una regla empírica habitual; mide tu despliegue real para una cifra precisa.