Tokenizador GPT (BPE real de cl100k_base)
WebTodo se ejecuta en tu navegador: no se sube nada
Esto es tokenización BPE de verdad, no el estimador de «unos cuatro caracteres por token». Esa aproximación acierta por casualidad en prosa inglesa y falla justo en los casos que importan: chino (un carácter suele ser 1–2 tokens), código (la sangría y la puntuación se parten según el BPE) y facturación o presupuesto de contexto (los tokens que cuentas mal son el dinero que cuentas mal). Sigue las reglas oficiales de cl100k_base: parte el texto con el patrón de tiktoken, luego, para cada fragmento, fusiona repetidamente el par adyacente de menor rank, y convierte cada rank de nuevo en un id de token. Así la salida coincide con la de OpenAI: `"hello world"` da `[15339, 1917]`. El vocabulario (unos 1 MB) se carga solo en esta página y a demanda, desempaquetado con el `DecompressionStream` del propio navegador: sin bibliotecas de terceros y sin red. Todo se ejecuta en tu navegador; el texto que pegas nunca sale de la página.
Funciones
- BPE real: el patrón oficial de cl100k_base más la fusión del par de menor rank
- Lista el id y el texto de cada token, uno por línea
- Cuando un carácter chino se parte entre dos tokens, la mitad de la secuencia UTF-8 se muestra en hexadecimal en lugar de como galimatías
- Indica el número de tokens, de caracteres y de bytes UTF-8
- Calcula los bytes por token, útil para la facturación y el presupuesto de contexto
- Parte chino, inglés y código según las reglas oficiales
- El vocabulario se carga solo en esta página, así que las demás siguen ligeras
Cómo se usa
- Pega el texto que quieres tokenizar
- Los recuentos de tokens, caracteres y bytes aparecen de inmediato
- Abajo se lista el id y el texto de cada token
- Desactiva la lista por token o las filas de bytes si no las necesitas
Preguntas frecuentes
- ¿Es tokenización real o una estimación?
- Real. Carga el vocabulario BPE completo de cl100k_base (unos 1 MB) y parte y fusiona según las reglas oficiales de tiktoken, coincidiendo con OpenAI token a token. Compruébalo tú: `"hello world"` → `[15339, 1917]`.
- ¿Por qué una frase china de cuatro caracteres sale como más de dos tokens?
- Porque cl100k_base solo contiene tokens para caracteres chinos sueltos; una palabra de dos caracteres que no es un token en sí se parte en tres, como `3574 244 98220` (el primero de ellos es medio carácter, y por eso se muestra en hexadecimal). El par `[57668, 53901]` pertenece a otra entrada más corta: los dos ejemplos se confunden con facilidad.
- ¿Admite el o200k_base de GPT-4o?
- Solo se ofrece cl100k_base (el que usan GPT-3.5 / GPT-4). No dice ofrecer un vocabulario que no tiene — otro vocabulario añadiría unos 1 MB de datos, y puede agregarse cuando haya demanda.
- ¿Usa la red?
- No. El vocabulario viaja con la página y se desempaqueta en tu navegador. Tu texto se usa solo para el cálculo local y no se envía a ningún sitio.
Herramientas relacionadas
Contador de palabras
Texto¿Cuánto mide este texto? Cuenta por separado caracteres chinos y palabras inglesas, con caracteres, líneas, bytes UTF-8, tiempo de lectura y SMS.
Contador de apariciones
TextoCuenta cuántas veces aparece cada carácter, palabra, línea o cadena, ordenado por frecuencia y con porcentajes. Los espacios llevan etiqueta.
Inspección de texto
TextoEncuentra caracteres invisibles (ancho cero, BOM) y letras confundibles, y muestra normalización, finales de línea y cuatro recuentos.
Analizador de URL
WebDescompone una URL en esquema, host, puerto, ruta, parámetros y ancla, con cada parámetro en crudo y decodificado. Todo en tu navegador.
Analizador de UA
WebAnaliza un User-Agent: navegador, versión, sistema, tipo de dispositivo y motor, con las reglas que coinciden. Solo coincidencia de patrones.
Códigos de estado HTTP
WebConsulta un código de estado HTTP: significado, clase 1xx–5xx, usos típicos y trampas habituales. También busca por palabra clave. Todo local.