编译原理初级入门：词法分析与状态机创建（第一讲）

本文借鉴了《从零开始写个编译器吧》《编译原理思路》《状态机实现方法》等资料。
对这些作者在知识传播方面所做出的贡献表示由衷的感谢。
通过自身的深入思考、归纳与实际操作进行学习。

编译器本质上是一种软件，其功能在于将一种编程语言（即源代码）转换为另一种形式的代码。
若单独研读《编译原理》这类书籍，多数人可能会感到难以理解，因为内容较为抽象且复杂。

通常情况下，编译原理课程会涉及以下内容：1、语法结构的表达方式（如BNF等）2、词法分析过程中所采用的有限自动机与无限自动机3、语法分析的相关方法，包括递归下降法以及LL(k)和LALR分析技术4、中间代码的表示形式5、目标代码的生成过程6、对生成代码进行优化的方法

对上述内容进行简要归纳整理如下。

1. 首先需要执行的是词法分析阶段，这一过程在英文中通常被称为Tokenizer。其主要功能是逐个读取输入中的字符，并将这些字符组合形成一个个独立的Token（即单词）。

为什么需要词法分析？

初始阶段，我们所面对的是一组由字符构成的字符串，经过处理后，依据特定的“规则”将其拆分为多个单词。
为何