# Tokenizer

- Introducción
- Instalación/Configuración
  - Requerimientos
  - Instalación
  - Configuración en tiempo de ejecución
  - Tipos de recursos
- Constantes predefinidas
- Ejemplos
- PhpToken — The PhpToken class
  - PhpToken::__construct — Returns a new PhpToken object
  - PhpToken::getTokenName — Returns the name of the token.
  - PhpToken::is — Tells whether the token is of given kind.
  - PhpToken::isIgnorable — Tells whether the token would be ignored by the PHP parser.
  - PhpToken::__toString — Returns the textual content of the token.
  - PhpToken::tokenize — Splits given source into PHP tokens, represented by PhpToken objects.
- Funciones Tokenizer
  - token_get_all — Divide la fuente dada en tokens PHP
  - token_name — Obtiene el nombre simbólico de un token PHP dado