Token to ciąg znaków, sklasyfikowanych zgodnie z regułami jako symbol (np. IDENTYFIKATOR, LICZBA, PRZECINEK). Proces tworzenia tokenów ze strumienia wejściowego znaków nazywa się tokenizacją, a lekser kategoryzuje je według typu symbolu. Token może wyglądać jak wszystko, co jest przydatne do przetwarzania wejściowego strumienia tekstowego lub pliku tekstowego.