Etapa 2 · Qué pasa cuando le escribes
Token
¿Qué es un token?
La unidad en que el modelo lee y escribe. En texto no son palabras ni letras: son pedazos de palabra, y en español una palabra ocupa en promedio algo más de un token. Las imágenes y el audio también se convierten en tokens.
Así podría partir el modelo una frase (ilustrativo; cada modelo corta distinto):
La ventana de contexto se llena rápido.
8 palabras → 10 tokens
Una imagen para recordarlo
Las sílabas de un idioma inventado por la máquina.
El malentendido
Lee letra por letra, como yo. Ve pedazos, no letras. Por eso a veces falla contando cuántas "r" tiene una palabra.
Qué cambia en la práctica
Todo se mide en tokens: lo que cuesta, los límites de uso de tu plan y cuánto entra en la ventana de contexto. También el entrenamiento: los modelos actuales aprenden de decenas de billones de tokens, la mayoría texto en inglés. Por eso suelen rendir peor en idiomas con menos material, y con imágenes o audio, que con texto en inglés.
