Lexer

Wie funktioniert ein Lexer?
Der Lexer verwandelt die bedeutungslose Zeichenfolge einfach in eine flache Liste von Dingen wie "Zahlenliteral", "Zeichenfolgenliteral", "Bezeichner"...