Pok-1-wyk-Slajd6
Analiza leksykalna
Zadaniem fazy analizy leksykalnej (nazywanej również analizą liniową albo skanowaniem) jest grupowanie znaków strumienia wejściowego w symbole leksykalne (zwane również tokenami). Symbolami leksykalnymi języka źródłowego są jego elementarne konstrukcje takie, jak: słowa kluczowe, liczby, identyfikatory i operatory.
Analiza leksykalna może istotnie uprościć implementację następnej fazy kompilatora usuwając z wejścia nieistotne elementy takie, jak białe spacje (czyli spacje, tabulatory i nowe linie) oraz komentarze. Elementy te służą zwykle poprawie zrozumiałości kodu i nie mają wpływu na semantykę programu, ale od tej reguły są wyjątki – istnieją języki, w których białe spacje mają istotne znaczenie (np. Fortran i AWK), a w komentarzach czasami umieszcza się opcje kompilacji (np. Turbo Pascal) i adnotacje.
Analizę leksykalną czasami poprzedza tzw. preprocesor, który wykonuje proste operacje na programie źródłowym takie, jak np. zastępowanie tekstów, rozwijanie makr czy włączanie plików.
