Другими примерами языков для автоматизации разработки ПО являются утилиты make и awk. Программа make была создана Стюартом Фелдманом (Stuart Feldman) в 1977 г. [13] для автоматизации сборки программ. Язык системы make является декларативным, основанным на правилах. Граф зависимостей между исходными файлами и целями выводится программой автоматически, исходя их фактов, описанных на языке make. Смещение акцента с алгоритмов обработки данных на структуры данных в сторону повышения декларативности облегчает создание и восприятие программ человеком. Так, один из разработчиков ОС Plan 9 Роберт Пайк (Robert Pike) в [26] отмечает:

«Данные доминируют. Если вы выбрали правильные структуры данных и организовали всё правильно, то алгоритмы почти всегда будут очевидными.

Структуры данных, а не алгоритмы, являются более значимыми для программирования».

Язык awk [6] был создан Альфредом Ахо, Питером Вейнбергером (Peter Weinberger) и Брайаном Керниганом в 1977 г. и развивался на протяжении 1980-х гг. Этот язык был предназначен для обработки текстовых файлов при помощи сопоставления по образцу. В качестве примеров решаемых с его помощью задач можно назвать генерацию отчётов по файлам протоколов и создание кроссссылок в текстах. Ещё одно применение awk заключалось в использовании его как средства для реализации трансляторов весьма простых языков наподобие конфигурационных файлов. Подобные языки часто планировались таким образом, чтобы для их разбора требовалась только лексическая обработка без построения синтаксического дерева. Для сопоставления по образцу в языке активно использовались регулярные выражения. В отличие от make, язык awk является императивным и достаточно общим. Полнота по Тьюрингу, являющаяся для многих маленьких языков скорее дополнительной особенностью или уловкой, активно использовалась в awk для выражения вычислений. В языке awk присутствовали классические конструкции управления потоком вычислений:

условия и циклы.

Несмотря на то, что в течение 1980-х гг. awk приобрёл большую популярность, в 1990-е гг. его вытеснили т. н. языки сценариев, речь о которых пойдёт ниже. В частности, язык Perl, фактически, заместил awk. Рэймонд в [4] говорит об awk как о негативном примере проектирования DSL. awk создавался как небольшой специализированный язык для генерации отчётов. Однако, его подмножество для описания действия весьма некомпактно для маленького языка, а общая структура на основе сопоставления по образцу, закреплённая в языке, делает его неприменимым в общем случае. Тем не менее, awk продолжает использоваться до сих пор и является элементом культурной традиции Unix.

В 1990-е гг. маленькие языки стали предметом обобщающих исследований.

Такой характер имеют, например, упоминавшиеся выше работы [8, 10, 4].

Заметными работами также стали аннотированная библиография [11] и статья [30], в которой описывается ряд шаблонов проектирования DSL. В конце 1990-х гг. состоялись и первые специализированные конференции по DSL. Они были проведены в 1997 и 1999 гг. ассоциацией USENIX. На них были представлены тезисы как по маленьким языкам, так и по многим DSL в специальных областях типа синтеза цифровых схем, а также доклады по языкам сценариев, рассматриваемым ниже. Маленькие языки оказали большое влияние на развитие области DSL. Они стали значительным этапом развития направления внешних DSL. Благодаря этим языкам развились такие приёмы и средства, как конвейер языковых процессоров, реализация DSL поверх несущего языка, лексическая обработка DSL, а также регулярные выражения и генераторы синтаксических анализаторов. Помимо этого, следует подчеркнуть значительное влияние маленьких языков как на среду Unix-подобных ОС, так и на компьютерную среду в общем. Несмотря на то, что и в 1990-е гг. продолжали создаваться языки DSL, подобные оригинальным маленьким языкам, их развитие происходило, в основном, на основе уже накопленного опыта. В свою очередь, новым активно развивающимся направлением стали языки сценариев.

3. Языки сценариев Сообщество вокруг ОС Unix стало средой развития сразу нескольких направлений программирования. Помимо уже упоминавшихся маленьких языков, такими направлениями были системное программирование (Unix теснейшим образом связана с языком C) и командные оболочки ОС. Из командных оболочек под влиянием некоторых маленьких языков в 1980-х гг.

возникло направление языков сценариев, речь о которых пойдёт в данном разделе. Языки сценариев предназначены для «склеивания» приложений. Они подразумевают наличие достаточно мощных компонентов, написанных на других языках, позволяя соединять эти компоненты для решения комплексных задач.

Языки сценариев в конце 1980-х гг. заняли нишу между специализированными и далеко не всегда обладающими свойствами Тьюринг-полноты маленькими языками и языками программирования общего назначения. К концу 1990-х гг.

языки этой группы стали постепенно отдаляться от DSL, а некоторые из них стали языками общего назначения.

Командные оболочки использовались в Unix не только для интерактивного ввода пользователем команд, но и для исполнения наборов команд, известных как сценарии. Одной из первых командных оболочек Unix, включавшей конструкции управления вычислениями, стала оболочка Bourne Shell, разработанная в 1977 г. Стивеном Борном (Stephen Bourne). Создатель одной из последующих оболочек ksh Дэвид Корн (David Korn) в работе [20] отмечает, что оболочка Борна наряду с оболочкой Мэши были первыми оболочками, в которых конструкции условий и переходов были встроены в саму оболочку, а не реализовывались как внешние программы. Эти оболочки были сравнимы по возможностям, но при решении о включении одной из них в ОС Unix Version выбор комитета разработчиков пал на Bourne Shell. Корн пишет, что благодаря включению управляющих конструкций в оболочку стало возможным создание достаточно эффективных командных файлов, не требующих длительных операций порождения внешних процессов при каждой проверке условий. Для программистов оболочка Bourne Shell и другие подобные оболочки начиная с конца 1970-х гг. стала превращаться в интерпретатор языка программирования. В своей книге [3] 1984 г. Керниган и Пайк впервые использовали в учебном руководстве Bourne Shell как язык программирования.

Основной причиной возникновения интереса к программированию на языках оболочек стала возможность связывать в вычислениях уже готовые программы, используя при этом намного меньшее число строк кода по сравнению с программированием на языках, подобных C или Pascal. Из сценариев оболочки программисты могли вызывать любые программы за одну строку кода. При этом входные и выходные данные могли быть обработаны в сценарии как текстовые строки, достаточно универсальный «нетипизированный» формат данных, удобный для обработки маленькими языками вроде awk или grep для регулярных выражений или bc для вычисления арифметических выражений. В то же время, в программе на C для этого потребовалось бы несколько системных вызовов для создания внешнего процесса программы, выделения динамической памяти, несколько переменных для хранения промежуточных значений, вызовы процедур разбора строк и т. п.

Несмотря на то, что языки сценариев позволяли создавать более короткие программы по сравнению с языками общего назначения, программы на последних были в сотни раз более производительными в связи с тем, что давали программистам больший контроль над машиной и компилировались в машинные инструкции. Языки сценариев же являются интерпретируемыми, что позволяет не тратить время на частую перекомпиляцию при разработке программ, но значительно замедляет их выполнение. Тем не менее, благодаря тенденции утроения производительности каждые два года (актуальной до сих пор и получившей название закона Мура) к концу 1980-х гг. компьютеры были уже достаточно быстрыми, а их вычислительный ресурс — достаточно дешёвым, чтобы ценить время работы программистов намного больше, чем машинное время [4]. Программирование на очень высоком уровне стало набирать популярность. Однако использование языка командной оболочки и совокупности маленьких языков для написания сценариев имело свои отрицательные стороны, что привело к созданию в конце 1980-х — начале 1990-х гг. сразу нескольких «настоящих» языков сценариев, уже не связанных с командной оболочкой.

Первым таким языком стал Perl, разработанный Ларри Уоллом (Larry Wall) в 1987 г. [5]. Этот язык предназначался для обработки текстовых файлов и генерации отчётов, что часто требуется системным администраторам. На комбинации языка программной оболочки, awk и sed такие задачи решались не особо эффективно. Несмотря на прогресс вычислительной техники, сценарии оболочки всё ещё требовали очень много времени на выполнение, что особо сказывалось при больших объёмах обрабатываемых данных. Также зачастую требовались нетривиальные алгоритмы обработки, которые было сложно выразить в awk или оболочке. В языке Perl содержались встроенные средства работы с регулярными выражениями, традиционные конструкции типа ветвлений, циклов, процедур, большое количество процедур обработки строк и процедуры вызова внешних программ. Всё это (наряду со свободным доступом к исходному коду) сделало Perl очень популярным языком в области системного администрирования. Perl демонстрирует несколько характерных черт языков сценариев. Он является интерпретируемым, динамически типизируемым языком, что экономит время программиста при разработке. Язык позволяет обращаться ко внешним программам, анализировать текстовый вывод, объединять программы для выполнения высокоуровневых задач. Как отмечается в [4], Perl является очень практичным языком: эффективным, простым в использовании, в противовес элегантности и минималистичности. В связи с этим он известен как один из наиболее некрасивых языков, но его практичность позволяет оставаться одним из самых популярных среди всех языков программирования.

Ещё одним языком, созданным в то время, стал Tcl Джона Остерхота (John Ousterhout) [24]. Tcl (Tool Command Language) был создан для решения проблемы встраивания командного языка для управления и программирования задач в сложных программах. Дополнение программ командным языком является мощным средством расширения функций программ. К тому времени подобный подход был известен, но применялся достаточно редко из-за технических сложностей. Известными примерами таких DSL были собственно командные оболочки ОС Unix и язык Emacs Lisp для текстового редактора Emacs. Остерхот отмечает, что создание командного языка DSL для программы — задача, требующая навыков разработки языков, разработки интерпретатора и проработки аспектов встраивания языка в программу (в случае внешнего DSL).

Помимо этого, изучение большого количества новых языков затруднительно для пользователей программ. Tcl задумывался им как универсальный язык для встраивания в программы на языке C самого разного плана, позволяющий избежать описанного процесса разработки и облегчающий использование таких приложений за счёт необходимости изучения только одного языка. В то время всё большее распространение приобретали персональные компьютеры с относительно большими мониторами, мышами и оконными системами. Если в 1980-х гг. файлы сценариев позволяли эффективно управлять вычислениями, то к 1990-м гг. возникла потребность в большом количестве интерактивных графических программ, сценарии для которых тоже должны были быть интерактивными. Tcl представляет собой простой язык, ориентированный на обработку строк. В нём имеется единственный тип данных — строка. И даже структуры управления вычислениями и блоки кода рассматриваются интерпретатором как строки, что даёт основание причислить его гомоиконным языкам. Остерхотом также была создана графическая библиотека Tk, позволяющая легко разрабатывать графические приложения. Эта библиотека стала очень популярной и до сих пор используется для создания простых графических интерфейсов не только на языке Tcl, но и в других языках.

В статье 1998 г. [25] Остерхот назвал языки сценариев языками программирования более высокого уровня для двадцать первого века. В ней он проанализировал причины популярности и эффективности этих языков. Остерхот условно разделяет языки на системные и языки сценариев. Основное различие между ними — в различном выборе уже упоминавшегося выше компромисса между скоростью разработки программ и скоростью их выполнения. Остерхот высказывает предположение, что в будущем число задач, требующих «склеивания» уже написанных компонентов будет только возрастать. Среди особенностей языков сценариев, которые он выделяет, — обработка строк как универсального формата данных, интерпретация, динамическая и слабая типизация. Следует остановиться на последней особенности. Безтиповые или слабо типизированные языки, по мнению Остерхота, намного больше подходят для решения задач в области интеграции компонентов, поскольку не ограничивают программиста в способах трактовки и использования данных. Это справедливо для таких языков как Bourne Shell или Tcl. Однако языки сценариев, получившие распространение к концу 1990-х — началу 2000-х гг., имели уже строгую, хотя и динамическую типизацию. Возможная причина состоит в том [27], что строгие типы позволяют предотвратить ряд ошибок, а в объектноориентированных языках с одиночной диспетчеризацией — контролировать набор методов, применимых к объекту, что упрощает изучение и использование кода. К тому же хорошо продуманные контейнерные типы с удобными конструкторами позволяют создавать требуемые структуры данных на лету во время анализа данных.

На конференции USENIX по языкам DSL 1997 г. Пол Худак (Paul Hudak) выступи с сообщением [16], в котором рассмотрел особенности языков сценариев как вида DSL. Предметной областью для языков сценариев являются компоненты компьютерной системы: элементы графического интерфейса, объекты компонентных технологий типа COM или CORBA, другие программы.

Разработка языков сценариев имеет те же особенности, что и разработка маленьких языков. Имеются возможности по созданию встраиваемых или внешних DSL, по выбору способа реализации транслятора (препроцессор, генерируемый синтаксический анализатор с интерпретатором, макросы или процедуры при встраивании и т. д.). Отличает же языки сценариев то, что они предназначаются для решения достаточно сложных задач, а следовательно должны быть полными по Тьюрингу и предоставлять достаточно развитые средства абстракции. То есть должны быть в определённой степени языками общего назначения.

Новое решение этого противоречия в языках сценариев между необходимостью соответствия предметной области (специализацией) и требованиями полноты и выразительной языков (обобщением) получило развитие в начале 2000 гг. Этим решением стали динамические языки, такие как Python, JavaScript, Ruby. В середине 1990-х гг. их ещё причисляли к языкам сценариев, но по мере появления новых программ на этих языках стало ясно, что они достаточно мощные, чтобы решать на них задачи, типичные для языков общего назначения, в том числе и для системных языков. С 2000-х гг. название «язык сценариев» используется по отношению к некоторым из этих языков лишь по традиции. Эти языки характеризуются строгой динамической типизацией и поддержкой сразу нескольких парадигм программирования: процедурного, объектно-ориентированного, функционального. Характерным примером таких языков является Python, созданный Гвидо ван Россумом (Guido van Rossum) в 1991 г. [27]. Этот язык создавался как язык сценариев, код на котором будет очень читаемым и простым (в отличие от Perl). На протяжении 1990-х гг. в язык были добавлены элементы для поддержки функционального программирования, которое, как было отмечено выше, позволяет добиться большой выразительности программ за счёт развитых средств абстракции. В версии 2.0, вышедшей в г. язык уже был мощным мультипарадигменным языком общего назначения. Тем не менее, он остаётся простым в использовании и считается одним из самых легко читаемых языков. Так, например, существовал проект [28] по обучению программированию на Python как студентов-неспециалистов в вузах, так и детей в школах. Хотя этот проект не получил необходимого финансирования и был закрыт, некоторые вузы начали применять язык как первый при обучении программистов. Будучи языком общего назначения, Python сохраняет основные особенности языков сценариев: он является интерпретируемым, динамически типизируемым, имеющим развитые средства разбора строкового вывода.

Языки сценариев позволили уменьшить разрыв между языками общего назначения, позволяющими писать эффективные программы, но сложными в применении и доступными лишь профессиональным программистам, и языками DSL, специфичными для узких предметных областей, простыми в освоении даже для незнакомых с программированием, но неэффективными и не приспособленными для решения задач за рамками узкой ниши. Благодаря этой группе языков, стало доступным создание командного интерфейса к системам, «склеивание» программ для решения комплексных задач на очень высоком уровне. Также разработчики языков сценариев нашли возможности эффективного сочетания нескольких парадигм программирования в одном языке, что позволило современным динамическим языкам начать вытеснять языки общего назначения вроде C и Java из областей создания больших программ и системного программирования.

Заключение В этой работе был рассмотрен примерно тридцатилетний период развития языков DSL. Эти языки развивались вместе с языками общего назначения, часто заимствуя у них перспективные идеи. В 1960-е гг. вокруг языка Lisp сформировалось сообщество исследователей, развивших методы функционального программирования и создавших первые языки DSL. 1970-е гг.

стали началом эпохи современных ОС, уходящих корнями в ОС Unix. В среде разработчиков Unix возникли многочисленные маленькие специализированные языки, прекрасно дополнившие системные языки и средства ОС. В 1980-е гг.

благодаря развитию маленьких языков и созданию языков сценариев удалось заметно повысить отношение числа полезных машинных инструкций к числу строк исходного кода. Это способствовало росту производительности программистов, сокращению сроков разработки и повышению сложности функций ПО. К 1990-м гг. стало заметно и обратное влияние DSL на языки общего назначения, выразившееся в развитии и популяризации языков сценариев как динамических языков. Создание специализированных языков стало общепризнанным мощным методом абстракции. Этот подход позволил выражать решения задач в терминах предметной области, фиксировать в языке знания об области способом, который допускает повторное использование и валидацию и оптимизацию на более высоком уровне, упрощает использование языка людьми, не являющимися специалистами в области информатики и вычислительной техники.

Подходы к созданию DSL продолжают применяться в новых предметных областях. Одной из наиболее заметных является область веб-программирования и языки на основе XML, расширяемого языка разметки текста. За последние десять лет было создано большое количество таких языков для разметки и обработки текста, математических формул, хранения и обмена данными между приложениями. Во многом эти языки повторяют качества маленьких языков Unix, но добавляют использование универсального синтаксиса и пространств имён, что определяет их высокую интероперабельность. Ещё одной заметной областью является применение DSL для решения задач программирования крупного масштаба. В области разработки ПО на основе моделей получили развитие DSL с графической нотацией, приёмы трансформации кода, а также DSL описания элементов программной архитектуры. Относительное новое направление архитектуры ПО начинает приобретать формальную основу, в том числе и благодаря применению DSL. Наконец, динамические языки породили новую волну интереса к языкам программирования в целом и к DSL в частности. В отличие от 1990-х гг., когда распространённых языков общего назначения было менее пяти, на данный момент широко используются около десяти языков, а современные проекты всё чаще ведутся с использованием целого набора языков, применяемых для эффективного решения задач в предметных областях проекта.

Список использованных источников 1. Абельсон Х., Сассман Д. Структура и интерпретация компьютерных программ. — Добросвет, 2006. — urn:isbn:5-8459-0192- 2. Ахо А., Сети Р., Ульман Д. Компиляторы: принципы, технологии и инструменты. — Вильямс, 2003. — urn:isbn:5-8459-0189- 3. Керниган Б., Пайк Р. Unix. Программное окружение. — Символ-Плюс, 2003. — urn:isbn:5-9328-6029- 4. Реймонд Э. Искусство программирования Unix. — Вильямс, 2005. — urn:isbn:5-8459-0791- 5. Уолл Л., Кристиансен Т., Орвант Д. Программирование на Perl (3-е издание). — Символ-Плюс, 2008. — urn:isbn:5-9328-6020- 6. Aho A., Kernighan B., Weinberger P. Awk — A Pattern Scanning and Processing Language // Software — Practice and Experience. — 1979. — Vol.

9, No. 4. — Pp. 267-280. — http://www.cs.buap.mx/~dpinto/ri/awk.pdf 7. Backus J. Can Programming Be Liberated from the Von Neumann Style?: A Functional Style and Its Algebra of Programs // Communications of the ACM.

— ACM Press New York, 1978. — Vol. 21, No. 8. — Pp. 613-641. — http://www.stanford.edu/class/cs242/readings/backus.pdf 8. Bentley J. Programming Pearls: Little Languages // Communications of the ACM. — ACM Press New York, 1986. — Vol. 29, No. 8. — Pp. 711-721. — http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.16. 9. Computing Curricula 2001. Computer Science: Final Report. — Association of Computer Machinery, 2001. — http://www.sigcse.org/cc2001/cc2001.pdf 10. Van Deursen A., Klint P. Little Languages: Little Maintenance? // Journal of Software Maintenance. — 1998. — Vol. 10, No. 2. — Pp. 75-92. — http://www.st.ewi.tudelft.nl/~arie/papers/domain.pdf 11. Van Deursen A., Klint P., Visser J. Domain-Specific Languages: An Annotated Bibliography // ACM SIGPLAN Notices. — 2000. — Vol. 35, No. 6. — Pp. 26-36. — http://www.st.ewi.tudelft.nl/~arie/papers/dslbib.pdf 12. Dick Gabriel on Lisp [Electronic Resource] / M. Vlter // Software Engineering Radio. — 2008. — No. 84. — http://www.se-radio.net/podcast/2008- /episode-84-dick-gabriel-lisp 13. Feldman S. Make — A Program for Maintaining Computer Programs // Software — Practice and Experience. — 1979. — Vol. 9, No. 4. — Pp. 255-265. — http://www.memi.umss.edu.bo/~softcons/feldman79make.pdf 14. Graham P. On Lisp. — Prentice Hall, 1994. — urn:isbn:0-1303-0552- 15. Hewitt C. Description and Theoretical Analysis (Using Schemata) of PLANNER: A Language for Proving Theorems and Manipulating Models in a Robot: Ph. D. dissertation. — Artificial Intelligence Laboratory, MIT, 1971. — http://handle.dtic.mil/100.2/AD 16. Hudak P. The Promise of Domain Specific Languages: Keynote Address // USENIX Conference on Domain-Specific Languages 1997. — 1997. — http://cs-www.cs.yale.edu/homes/hudak/hudak-dir/dsl/index.htm 17. Johnson S. Yacc — Yet Another Compiler Compiler: Computing Science Technical Report 32. — AT&T Bell Laboratories, 1975. — http://www.cs.rpi.edu/courses/fall01/modcomp/yacc.pdf 18. Kay A. The Reactive Engine: Ph. D. dissertation. — University of Utah, 1969.

— http://portal.acm.org/citation.cfm?id= 19. Kernighan B., Cherry L. A System for Typesetting Mathematics // Communications of the ACM. — 1975. — Vol. 18, No. 3. — Pp. 151-157. — http://doi.acm.org/10.1145/360680. 20. Korn D. ksh — An Extensible High Level Language // Proceedings of the USENIX 1994 Very High Level Languages Symposium. — 2004. — http://www.cs.princeton.edu/~jlk/kornshell/doc/vhll.ps.gz 21. Lesk M., Schmidt E. Lex — A Lexical Analyzer Generator: Computing Science Technical Report 39. — AT&T Bell Laboratories, 1975. — http://wolfram.schneider.org/bsd/7thEdManVol2/lex/lex.pdf 22. McCarthy J. et al. A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence. — 1955. — http://www-formal.stanford.edu/jmc/history /dartmouth.html 23. McCarthy J. History of Lisp // History of Programming Languages. — ACM Press New York, 1978. — Vol. I. — Pp. 173-185. — http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.16. 24. Ousterhout J. Tcl: An Embeddable Command Language // Proceedings of the 1990 Winter USENIX Conference. — 1990. — Pp. 133-146. — http://www.eecs.berkeley.edu/Pubs/TechRpts/1989/CSD-89-541.pdf 25. Ousterhout J. Scripting: Higher Level Programming for the 21st Century // IEEE Computer. — 1998. — Vol. 31, No. 3. — Pp. 23-30. — http://doi.ieeecomputersociety.org/10.1109/2. 26. Pike R. Notes on Programming in C [Electronic Resource]. — 1989. — http://www.lysator.liu.se/c/pikestyle.html 27. Pilgrim M. Dive Into Python. — Apress, 2004. — urn:isbn:1-5905-9356- 28. Van Rossum G. Computer Programming for Everybody: CNRI Proposal #90120-1a [Electronic Resource]. — 1999. — http://www.python.org /doc/essays/cp4e/ 29. Seibel P. Practical Common Lisp [Electronic Resource] // Google Tech Talks.

— 2006. — http://video.google.com/videoplay?docid= 30. Spinellis D. Notable Design Patterns for Domain-Specific Languages // The Journal of Systems and Software. — 2001. — Vol. 56, No. 1. — Pp. 91-99. — http://www.spinellis.gr/pubs/jrnl/2000-JSS-DSLPatterns/html/dslpat.pdf 31. Steele G. Growing a Language [Electronic Resource] // OOPSLA’98. — 1998.

— http://video.google.com/videoplay?docid=- 32. Sussman G., Steele G. Scheme: An Interpreter for Extended Lambda Calculus:

AI Lab Memo AIM-349. — Artificial Intelligence Laboratory, MIT, 1975. — http://repository.readscheme.org/ftp/papers/ai-lab-pubs/AIM-349.pdf 33. Winograd T. Procedures as a Representation for Data in a Computer Program for Understanding Natural Language: MAC-TR-84. — MIT Project MAC, 1971. — http://hci.stanford.edu/~winograd/shrdlu/AITR-235.pdf