Lexer

hur fungerar en lexer
Lexer förvandlar bara den meningslösa strängen till en platt lista med saker som "nummerbokstav", "strängbokstavlig", "identifierare" eller "operatör"...