インターフェース Lexer

引数をトークンにトークン化するインターフェース。汎用言語パーサーには通常、字句解析と解析が含まれており、この Lexer は前者の字句解析側を表します。字句解析は、与えられた引数から要素の基本構造を分析する最初のステップを踏みます。各引数が何を表しているかは大まかにわかりますが、そのいずれかが正しいかどうかは詳しく調べません。これは、後でトークンが解析操作を通過するときに発生します。