词法分析器介绍
词法分析是从左到右扫描每行源程序的符号，拼成单词，换成统一的机内表示形式——TOKEN字，送给语法分析程序。
TOKEN字是一个二元式：（单词种别码，自身值）。单词自身值按如下规则给出：
1.标识符的自身值是他在符号表的入口位置。
2.常数的自身值是常数本身（或者其他二进制数值）。
3.关键字和界限符的自身值为本身。
词法分析器功能
1.输入：字符串（带进行词法分析的源程序），可从键盘直接输入或从文件读入。
输出：由（种别码，自身值）所组成的二元组序列。
单词的种别码是语法分析需要的信息，可用整数编码表示，例如：标识符的种别码为1，常数为2，保留字为3，运算符为4，界符为5。
单词的自身值是编译其他阶段需要的信息，标识符的自身是标识符在符号表入口，其他类型单词的自身值是其本身。
例如：输入：if i >= 15 then x := y ;
输出：
（3，if）
（1，0）//i符号的入口为0
（4，>=）
（2，15）
（3，then）
（1，1）//x符号的入口为1
（4，：=）
（1，2）//y符号的入口为2
（5，；）
2.功能：
a.滤过空格。
b.识别保留字：if then else while do 等。
c.识别标识符：<字母>(<字母>|<数字>)。
d.识别整数：0|(1|2|3|4|5|6|7|8|9)(0|1|2|3|4|5|6|7|8|9)。
e.识别典型的运算符和分隔符，例如：+ - * / > >= <= ( ) ;
3.具有一定的错误处理功能，例如：能检查出程序语言的字符集以外的非法字符。
源码附带注释
#include<string> #include<stdlib.h> #include<stdio.h> using namespace std; bool isLetter(char ch){//isLetter 标识符 if ((ch >= 'A' && ch <= 'Z') || (ch >= 'a' && ch <= 'z')) return true; else return false; } bool isDigit(char ch){//isDigit 常数 if (ch >= '0' && ch <= '9') return true; else return false; } bool isOperators(char ch){// isOperators 运算符 if (ch == '+' || ch == '*' || ch == '-' || ch == '/' || ch == '=' || ch == ':' || ch == '<' || ch == '>') return true; else return false; } bool isDelimiter(char ch){// isDelimiter 界符 if (ch == ',' || ch == ';' || ch == '.' || ch == '(' || ch == ')' || ch == '[' || ch == ']' || ch == '{' || ch == '}' || ch == '#') return true; else return false; } bool isBlank(char ch){ if (ch == ' ' || ch == '\t') return true; else return false; } char key[34][10] = { "main", "auto", "short", "int", "long", "float", "double", "char", "struct" , "union", "enum", "typedef", "const", "unsigned", "signed", "extern", "register" , "static", "volatile", "void", "if", "else", "switch", "case", "for" , "do", "while", "goto", "continue", "break", "default", "sizeof", "return","then"}; void main() { back: char Sourcecode[100] = ""; int number=0; int h=0; char hh[100][10]={'\0'}; //声明变量 printf("请输入程序段，标识符为1，常数为2，关键字为3，运算符4，界符5\n"); gets(Sourcecode); //读入程序段放入firstcode for (int i = 0; i < 100; i){ //char delimiter[2] = ""; int j = 0; //letter 标识符 int l = 0; //digit 常数 int k = 0; //operators 运算符 int b = 0; //类型编号 char num[10] = ""; char word[10] = ""; if (isBlank(Sourcecode[i]) == 1){ i += 1; }//去空格 else{ if (isLetter(Sourcecode[i]) == 1) //是否为字母 { //是 do { if (j < 10){ word[j] = Sourcecode[i]; j++; } } while (isDigit(Sourcecode[++i]) == 1|| isLetter(Sourcecode[i]) == 1);//常数||标识符 //*~~~* int a = 0; while (a < 34){ if (strcmp(key[a], word) == 0){ b = 3; a++; break; } else { b = 1; a++; //否 } } if (b == 3){ printf("(3,%s)\n", word); }//~~~~~~~~~~~~~~~~~~~~~~~~~~~ if (b == 1){ int q=0; for(int qq=0;strcmp(hh[qq],"")!=0;qq++){ if(strcmp(word,hh[qq])==0){ q=1;break; } } if(q==1){ printf("(1,%d)\n",qq); q=0; }else{ for(qq=0;qq<j;qq++){ hh[h][qq]=word[qq]; } printf("(1,%d)\n",h); h++; } /* int qq,yy=0; if(h==0){ for(qq=0;qq<j;qq++){ hh[0][qq]=word[qq]; } printf("(1,%d)\n",h); h++; }else{ for(qq=0;qq<h;qq++){ if(strcmp(hh[qq], word)==0){ yy=1; break; } } if(yy==0){ for(qq=0;qq<j;qq++){ hh[h][qq]=word[qq]; } printf("(1,%d)\n",h); h++; yy=0; } else{ for(qq=0;qq<h;qq++){ if(strcmp(hh[qq], word)==0) printf("(1,%d)\n",qq); yy=0; } } }*/ // } //~~~~~~~~~~~~~~~~~~~~~~~~~~~~ } else if (isDigit(Sourcecode[i]) == 1)//常数 {int c = 0; while (isDigit(Sourcecode[i])){ num[c] = Sourcecode[i]; i += 1; c++; } printf("(2,%s)\n", num); } else if (isDelimiter(Sourcecode[i]) == 1){//界符 printf("(5,%c)\n", Sourcecode[i]); i++; } else if (isOperators(Sourcecode[i]) == 1){//运算符 if (Sourcecode[i] == ':' || Sourcecode[i] == '>' || Sourcecode[i] == '<'&&Sourcecode[i + 1] == '='){ printf("(4,%c%c)\n", Sourcecode[i], Sourcecode[i + 1]); i += 2; } else{ printf("(4,%c)\n", Sourcecode[i]); i+= 1; } } else{ if(Sourcecode[i]!='\0') printf("(error,%c)\n",Sourcecode[i]); if(Sourcecode[i+1]!='\0'){ i+=1;} else i=100; } } } goto back; }
编程感悟
1.需要对是否为标识符、常数、保留字、运算符、界符进行判断，应用布尔类型完美的解决这个问题。
2.++i与i++都是i=i+1的含义，但是++i表示执行前i=i+1，而i++表示执行后i=i+1。
3.用一维数组来表示字符串，二维数组用来表示字符串的集合，并且用strcmp(string_1,string_2)来进行字符串内容的比较，相同返回0。
4.对于相同的标识符来说，入口应该相同，所以在对这里进行处理的时候，声明一个二维数组用来存放各个标识符（字符或者字符串），根据二维数组中的行下标进行入口标记。
5.好好学习一维数组、二维数组的应用场景以及应用原理。