词法解析器

词法解析器主要的工作职责就是将文本最小粒度拆分。

实现的关键在于了解有限状态机。

是的，你没有看错，听到状态机最先想到的大概是正则表达式的实现吧。

词法解析器正式这个原理，甚至一些语法高亮框架就是基于正则去做的。

不过我们为了练手，不用一点正则，一点点手撸实现。

下面我们就开始词法解析器的旅程吧。