Алгоритм

1. Создается корень дерева и заполняется выделенным символом грамматики
2. Вызывается процедура рекурсивного спуска, и ей передается дерево
3. Если процедура рекурсивного спуска вернула 1, то разбор успешен и дерев разбора заполнено, иначе ошибка.
Процедура рекурсивного спуска
1. Найти самый левый нетерминал.
2. Если он не найден, то п.10
3. Для i=1, до NP выполнить 4
4. Если левая часть правила i грамматики содержит текущий нетерминал, то перейти к п. 5, иначе п. 8
5. Достроить текущий нетерминал, согласно правилам
6. Если в результате подстановки 1 или несколько корней левых поддеревьев текущего узла содержат терминалы, то сравнить их с очередными символами исходной цепочки
7. Если они совпали, то эту часть цепочки считаем разобранной и возвращаем 1, иначе п.8
8. Перейти к следующей итерации цикла
9. Вернуть 0.
10. Если дерево соответствует цепочке, то вернуть 1, иначе 0.
Основным недостатком такой процедуры, является большое количество возвратов, т.е. ошибочных выводов. Теперь рассмотрим способы их исключения.
Ограниченные грамматики
Однако такой разбор не будет столь эффективным, чтобы быть применимым на практике, и будет содержать большое количество проб и ошибок. Основная проблема предсказывающего разбора – определение правила вывода, которое нужно применить к нетерминалу.
Впрочем, мож¬но определить ограниченные классы грамматик, которые поддаются более эффективному анализу в той или иной из указанных стратегий. Естественно, эти ограниченные классы грамматик являются менее гибкими как с точки зрения получаемых языков, так и по способам порождения предложений.

• LL(k) – грамматики, для которых левый нисходящий анализатор может определить какое правило использовать для вывода, если позволить ему принимать во внимание k-следующих входных символов, считая от текущей позиции просмотра.
• LR(k)-грамматики, для которых правый нисходящий анализатор работает детерминированно, если позволить ему принимать во внимание k входных символов, расположенных справа от текущей входной позиции.
• Грамматики предшествования, для которых правый анализатор может находить основу правовыводимой цепочки, учитывая только некоторые отношения между парами ее смежных символов.

Задача синтаксического анализатора

Выходом сканера является лексическая свертка транслируемой программы. Процесс дальнейшей трансляции состоит в разборе (или синтаксическом анализе) структуры вхождений понятий в лексическую свертку программы и проверке, удовлетворяет ли эта структура синтаксису языка.
То, что в качестве результата (и задачи) синтаксического анализа ниже рассматривается построение дерева разбора, ни в коей мере не означает, что в некоторый момент трансляции это дерево будет физически построено. Тем не менее, рассматривая выполнение любого алгоритма синтаксического анализа, можно всегда проследить процесс построения дерева разбора в нем.

Распознающие грамматики

Мы уже рассмотрели порождающие грамматики и способы построения сентенциальных форм, соответствующих языку с их использованием. Теперь мы попробуем применить эти грамматики к разбору сентенциальной формы.
Одним из способов разбора, является построение всех возможных сентенциальных форм, для данного языка, и отыскания среди них исходной. Но построить все формы не представляется возможным. Ниже мы рассмотрим способы разбора без построения бесконечных множеств.

Дерево разбора

Дерево разбора в грамматике G=(V, W, E, P) – это помеченное упорядоченное дерево, каждая внутренняя вершина которого помечена символом из множества W, а каждый лист символом из множества V. Если внутренняя вершина помечена символом A, а ее прямые потомки – символами X1,…,Xn, то A → X1X2…Xn – правило этой грамматики. Причем левосторонний обход листьев этого дерева дает исходную сентенциальную форму. В таком случае говорят, что дерево соответствует сентенциальной форме или наоборот.

Общая схема работы лексического анализатора такова.
• Сначала выделяем отдельную лексему (используя множества ZPR и TZ).
• Если выделенная лексема – ограничитель, то он выдается как результат лексического анализа.
• Если это идентификатор, то делается проверка на принадлежность его множеству ключевых слов. Если да, то выдается признак соответствующего ключевого слова, если нет – выдается лексема идентификатора. Сам идентификатор сохраняется в таблице имен, если его еще там нет. В лексему помещается ссылка на таблицу имен.
• Если выделенная лексема принадлежит какому-либо из других классов лексем (число, строка и т.д.), то выдается признак лексема соответствующего класса, а значение лексемы сохраняется в качестве признака или в таблице имен.
Лексический анализатор может работать или как самостоятельная фаза трансляции, или как подпрограмма, работающая по принципу “дай лексему”. В первом случае выходом лексического анализатора является файл лексем, во втором лексема выдается при каждом обращении к лексическому анализатору. Второй случай может быть предпочтительней, т.к. тогда синтаксический и лексический анализатор могут работать более слажено. Скажем синтаксический анализатор сообщает лексическому о возможности появления нового идентификатора или нет. Что улучшает обработку ошибок и позволяет проставить некоторые атрибуты лексем до контекстного анализа.
Лексический анализатор, как правило, вызывается как подпрограмма. В результате обращения к ЛА вырабатываются как минимум два результата: тип выбранной лексемы и указатель на элемент таблицы или значение – для классов лексем (идентификаторов, чисел, строк и т.д.). Само значение передается, если ЛА не ведет таблицу литералов.
Если ЛА реализован отдельным проходом, то он должен передавать сразу все лексемы программы. Например, через массив или файл. Если он возвращает по одной лексеме, то через параметры.
В некоторых языках (например, ПЛ/1 или Фортран) ключевые слова могут использоваться в качестве обычных идентификаторов. В этом случае работа ЛА не может идти независимо от работы синтаксического анализатора, т.к. только окружающего контекста зависит, является ли лексема оператором или переменной.

Классы лексем

Обычно все лексемы делятся на классы. Примерами таких классов являются:
• Служебные слова (одним типом или каждое служебное слово отдельным типом лексем, в который будет входить только одна лексема)
• Числа (целые, восьмеричные, шестнадцатиричные, действительные и т.д.),
• Идентификаторы,
• Строки.
• Другие литералы

Построение анализатора

Отдельно выделяются ключевые слова и символы пунктуации (иногда их называют символы-ограничители). Как правило, ключевые слова – это некоторое конечное подмножество идентификаторов. С точки зрения дальнейших фаз анализа лексический анализатор выдает информацию двух сортов:
На вход лексическому анализатору подается
• Текст исходной программы;
• Список зарезервированных слов языка;
• Список служебных символов и символов разделителей.

На выходе лексического анализатор выдает:
• Последовательность классов лексем. (Ограничителей, ключевых слов, идентификаторов, литералов и т.д.)
• Таблица имен, содержащая уточняющую информацию для идентификаторов и возможно литералов.

В обязанность лексического анализатора так же входит игнорирование комментариев.
Существует много способов построения лексического анализатора. Классическим является анализатор на основе автоматной модели и графа переходов. Достоинством такого подхода, является простота программы, но высокая сложность таблицы переходов. Такой подход рекомендуется при использовании ассемблера.
Мы будем рассматривать программный подход, в котором несколько усложняется программа, но нет необходимости строить и оптимизировать таблицы для автоматов.
Лексический анализатор должен самостоятельно строить таблицы объектов (идентификаторов, строк, чисел и т.д.). В лексему помещается указатель на вход в соответствующую таблицу.

Требования к таблице имен

Таблица имен должна удовлетворять следующим требованиям
• Выполнять быстрый поиск;
• Быть динамически расширяемой;
• При обнаружении искомого имени возвращать адрес элемента таблицы;
• Добавлять новый элемент, если такого еще нет в таблице (когда разрешено);
• Хранить дополнительные атрибуты для контекстного анализа (например тип переменной, принадлежность ее области видимости);
• Иметь возможность хранить переменные достаточно большой длинны и при этом экономно использовать память. Иногда ограничения на длину переменной не вводят, но в идентификации участвуют только N первых символов.
• Возможно, иметь иерархическую структуру по областям видимости;
• Может быть, иметь несколько таблиц: для переменных, типов, имен подпрограмм, литералов и зарезервированных слов языка. Причем в последнюю добавлять конечно нельзя.

Структуры данных

Можно предложить следующую структуру данных для хранения лексемы

struct TTableMember{char *Name;
TType Type;
int FormalParams[10];
int VisibleRegion;
void *Value;
};

enum TTableType{tVarName, tProcName, tLiteral};

enum TLextType{ltName, ltLiteral, ltIF, ltTHEN,
ltELSE, ltWHILE, ltFOR, …};

struct TLexema{TLexType LexType;
TTableType NameTable;
int NinTable;
};

В процессе выделения лексем ЛА может, как самостоятельно строить таблицы имен и констант, так и выдавать значения для каждой лексемы при очередном обращении к нему. В этом случае таблица имен строится совместно в нескольких фазах (например, в лексическом анализе делается попытка добавить новое имя, а синтаксический анализ разрешает или отвергает попытку и присваивает лексеме некоторые атрибуты, которые уточняются контекстным анализатором).
На этапе ЛА обнаруживаются некоторые (простейшие) ошибки (недопустимые символы, неправильная запись чисел, идентификаторов и др.).

Часть машинно-зависимой оптимизации выполняется на фазе генерации кода. Глобальная оптимизация пытается принять во внимание структуру всей программы, локальная – только небольших ее фрагментов. Глобальная оптимизация основывается на глобальном потоковом анализе, который выполняется на графе программы и представляет по существу преобразование этого графа. При этом могут учитываться такие свойства программы, как межпроцедурный анализ, межмодульный анализ, анализ областей жизни переменных и т.д.
Генерация кода
Наконец, генерация кода – последняя фаза трансляции. Результатом ее является либо ассемблерный модуль, либо объектный (или загрузочный) модуль. В процессе генерации кода могут выполняться некоторые локальные оптимизации, такие как распределение регистров, выбор длинных или коротких переходов, учет стоимости команд при выборе конкретной последовательности команд. Для генерации кода разработаны различные методы, такие как таблицы решений, сопоставление образцов, включающее динамическое программирование, различные синтаксические методы.
Интерпретация
Второй вариант вместо генерации объектного кода, выполнить иго пошаговую интерпретацию. Интерпретатор промежуточного кода работает намного быстрее интерпретатора исходной программы, к тому же прямая интерпретация большинства языков не возможна. Этот подход можно использовать при написании платформенно-независимых программ. Но скорость выполнения таких программ все же значительно ниже, чем объектного кода

Конечно, те или иные фазы транслятора могут либо отсутствовать совсем, либо объединяться. В простейшем случае однопроходного транслятора нет явной фазы генерации промежуточного представления и оптимизации, остальные фазы объединены в одну, причем нет и явно построенного синтаксического дерева.

В процессе выделения лексем ЛА может, как самостоятельно строить таблицы имен и констант, так и выдавать значения для каждой лексемы при очередном обращении к нему. В этом случае таблица имен строится совместно в нескольких фазах (например, в лексическом анализе делается попытка добавить новое имя, а синтаксический анализ разрешает или отвергает попытку и присваивает лексеме некоторые атрибуты, которые уточняются контекстным анализатором).
На этапе ЛА обнаруживаются некоторые (простейшие) ошибки (недопустимые символы, неправильная запись чисел, идентификаторов и др.).
Синтаксический анализ
Основная задача синтаксического анализа – разбор структуры программы. Как правило, под структурой понимается дерево, соответствующее разбору в
контекстно-свободной грамматике языка. В настоящее время чаще всего используется следующие виды анализа:
Рекурсивный спуск чаще используется при ручном программировании синтаксического анализатора
• LL(1)-анализ (и его вариант – рекурсивный спуск)
• LR(1)-анализ и его варианты (LR(0), SLR(1), LALR(1) и другие)., LR(1) – при использовании систем автоматизации построения синтаксических анализаторов.
• Анализ простого предшествования
Результатом синтаксического анализа является синтаксическое дерево со ссылками на таблицу имен. В процессе синтаксического анализа также обнаруживаются ошибки, связанные со структурой программы.
Контекстный анализ
На этапе контекстного анализа выявляются зависимости между частями программы, которые не могут быть описаны контекстно-свободным синтаксисом. Это в основном связи “описание-использование”, в частности анализ типов объектов, анализ областей видимости, соответствие параметров, метки и другие.
В процессе контекстного анализа строится таблица символов, которую можно рассматривать как таблицу имен, пополненную информацией об описаниях (свойствах) объектов. Основным формализмом, использующимся при контекстном анализе, являются атрибутные грамматики.
Результатом работы фазы контекстного анализа является снабженное атрибутами дерево разбора программы или.
Информация об объектах может быть, как рассредоточена в самом дереве, так и сосредоточена в отдельных таблицах символов. В процессе контекстного анализа также могут быть обнаружены ошибки, связанные с неправильным использованием объектов.

1. Примеры грамматик
2. Структура компилятора
3. Лексический анализ
4. Синтаксический анализ
5. Контекстный анализ
6. Генерация промежуточного кода
7. Оптимизация
8. Генерация объектного кода
9. Интерпретация промежуточного кода
Примеры грамматик
<выражение>::= <слагаемое>|<выражение>+<слагаемое>|
<выражение>-<слагаемое>
<слагаемое>::= <множитель>|<слагаемое>*<множитель>|
<слагаемое>/<множитель>
<множитель>::= <переменная>|<число>|(<выражение>)
<идентификатор>::= <буква>|<идентификатор><буква>|
<идентификатор><цифра>
<число>::= <натуральное число>|+<натуральное число>|
-<натуральное число>
<натуральное число>::=<цифра>|<натуральное число><цифра>
<буква>::=A|B|C|D|E|F|G|N|I|J|K|L|M|N|O|P|Q|R|S|T|U|V|W|X|Y|Z
<цифра>::=0|1|2|3|4|5|6|7|8|9