Die erste Phase in der Verarbeitung von natürlicher Sprache oder Programmiersprachen, bei der ein Textstrom in eine Folge von bedeutungstragenden Einheiten, sogenannte Token (Wörter, Zahlen, Satzzeichen), zerlegt wird.