» создание компилятора

Для решения одной задачи встала задача создания собственного макро-языка. Нужна возможность создания макросов которые затем компилируются в бинарный код. Как к такой задаче подступиться?

1. Пересмотреть задачу
2. Многое зависит от макросов.
3. Переводить в какой-нибудь существующий яву и юзать его компилятор.
4. Можно начать с классики, например знаменитой книжки Вирта "Алгоритмы+структуры данных=программы".
5. Копать в сторону yacc, lex,edg и иже с ними
6. Взять сырцы какого-нибудь гнутого компилятора
7. Использовать ActiveX Scripting Engine. Не компилятор, но достаточно шустер.
8. Использовать .NET. Там компиляция в run-time не вызывает проблем.

Вариантов много. Все зависит от задачи...

Более конкретно - обработка файлов в сответствии с командами, написанными на макро-языке. Поиск. Удаление. Замена. Вставка. Сравнение. И т.д. Точнее говоря пишутся процедуры на макро-языке, затем компилируются в бинарный код, и уже он работает над файлом.

Что лучше подойдёт для такой задачи? Свой компилятор необходим или можно воспользоваться каким-то стандартным средством?

Посмотри в сторону PHP, Perl и иже сними, везьде где есть регулярные выражения. По моему один из этих языков ориетирован на обработку текстов в файлах. И конечно читать и разбираться с регулярными выражениями.

odl455
Может дл я начала проще написать интерпретатор макроязыка?

UncoNNecteD

Вообще интерпретатор похоже и не нужен. Это несколько отличная от компилятора вещь.
Ну в принципе умных слов мне подкинули немало - буду разбираться

odl455

Цитата:

Более конкретно - обработка файлов в сответствии с командами, написанными на макро-языке.

Цеж AWK чистой воды. Тулза, которой впору уже 25 летие праздновать. Специально предназначена для деформации некоторого входного файла с использованием командного файла. Простенький "язык программирования" - как раз то, что надо для текстовых файлов плюс где-то валялись трансляторы его командных файлов в си. Хотя тулза и юниксовая, проблем с поиском портов под вынь быть не должно. В крайнем случае, берешь исходники и вперед. И можно обойтись без велосипеда. А если очень хочется, но нельзя, то здесь скорее не транслятор/компилятор, а state machine. Вполне возможно, что теория автоматов поможет.

Guderian

А можно написать на AWK некие процедуры обработки, затем сделать из них бинарный код. Затем тосовать этим бинарным кодом как угодно? То есть например затем просто писать такие макросы: если 3-й байт файла равен 33h, то выполнить над файлом процедуру 1, иначе выполнить процедуру 3. Далее такой макрос нужно преобразовать опять же в бинарный код, и он уже обрабатывает весь объём данных.

Вообще сейчас для людей существует XML,X-Link,X-Pointer,X... Советую полистать в книжном магазине. Это уже ориентированные txt-формы, иерархии контекстов. Парсером заниматься нынче нет смысла. В дельфи это можно читать как файл, даже как пакет данных (смотри ТРarser).
Ориентированные трансформы для создания новых языков, а по книге - база данных с иерархией.

odl455
Как я уже говорил, есть конвертеры вроде awk2c, awka, awkcc, a2p для конвертации в c, perl. Возможно есть и другие. Только компилятор тебе самому надо будет запускать. Полной гибкости он тебе не даст, но уже что-то. Хотя с бинарными файлами могут быть проблемы. Это я уже лопухнулся. Думал, о текстовых речь. Мое имхо подсказывает, что если задача "реальная", т.е. нуждается в выполнении, а не просто искуства ради, то здесь как всегда нужен копромис между сложностью реализации и возможностями. Для этого, как мне кажется, надо ответить на несколько вопросов.
1. Насколько важно наличие компилятора. И если важно, то подойдет ли внешний компилятор от третьего производителя.
2. Сформулировать минимум и максимум "языка". Достаточно ли будет, например, регулярных выражений.
3. Есть ли привязка к среде разработки.
Это вкратце, что первым в голову пришло.

Pinocchio

Цитата:

А чем не устраивает синтаксис CRK файлов

Вопрос прочитай "Поиск. Удаление. Замена. Вставка. Сравнение.". Как ты будешь все это делать (за исключением замены) с помощью crk. А если человеку надо замену по условию. Как в crk реализовать, например, регулярные выражения?


Цитата:

уже ориентированные трансформы

Трансформ там один - xslt, который почему-то и не был упомянут. Все остальные к трансформации отношения не имеют. Это раз. Два - как с помощью того же xslt трансформировать текстовый файл, который не well-formed? Три. Посоветуй, где мне несведущему библиотеки с нормальной реализацией x-link, x-pointer найти? Или так просто, слова умные где-то услышал? Четыре. С каких пор xml, x-link и x-pointer стали парадигмами?


Цитата:

Результат семантическая иерархия объектов поддерживаемых системой.

Я плакалъ

Теперь понятно, почему "развитых" было взято в кавычки...

Pinocchio

Похоже на очень разумную мысль. Но я её не понял. Можно чуть подробнее по поводу "ориентированные трансформы для создания новых языков" и "парсером заниматься нынче нет смысла" - только чтобы я понял можно простейший пример для моей задачи. И ещё можно без ориентации на Delphi. Если возможно, то с ориентацией на VC++ 6.0

odl455

Цитата:

ориентированные трансформы для создания новых языков

Это п.5.

Guderian


Цитата:

1. Насколько важно наличие компилятора. И если важно, то подойдет ли внешний компилятор от третьего производителя.
2. Сформулировать минимум и максимум "языка". Достаточно ли будет, например, регулярных выражений.
3. Есть ли привязка к среде разработки.

Задача действительно требует реального выполнения. Ресурсов не много, но если для правильного решения задачи они будут необходимы - это не вопрос. То есть пока для меня стоит задача "сформулировать задачу" и оценить её сложность и требуемые знания.

1. Компилятор необходим потому что будет просто огромное количество написанных макросов. Чтобы их не пришлось все переписывать в случае некоторых изменений в системе. Это одна из целей решаемой задачи.

2. Минимум я сформулировал. Это базовые операции над блоками данных (над кусочками файлов). По условиям. Простейшие математичечские выражения.

3. Наверное нет. Но пока я не представляю целиком все аспекты, утверждать не могу.

1. Их не надо будет переписывать и в случае интерпретатора.
С остальным пунктами все понятно. В первом приближении изложу свою последовательность действий при данной задаче.

- Различие между компилятором и транслятором суть - скорость. При оплате в 10уе/час и трудоемкости гораздо более 500 человеко-часов получается стоимость хорошего сервера с 2xXeon 2.8, который будет "интерпретировать" десятками гигабайт в час. Разница в скорости между ними измеряется не порядками, к тому же в большей степени определяется возможностями системы ввода вывода. Вывод - что интерпретатор, что компилятор - в данном случае большой разницы нет.
- Что есть из существующего для платформы Win (поскольку используем vc++). Это ActiveX Script Engine. Вполне зарекомендовавшая себя техника (используется в asp,dts,wsh и... список длинный).
- Что получается? Некий ActiveX контейнер (суть класс), который регламентирует методы и свойства управления потоками данных. Грубо говоря, есть, например, IStream InputStream, IStream OutputStream, byte readByte(), void writeByte(byte), void Copy(int size), и т.д. В зависимости от потребностей. Одновременно, этот контейнер является и ActiveX Scripting host. Т.е. выполняет сценарии, написанные на vbscript, jscript (при желании PascalScript, rexx и многое другое) внутри себя, давая им доступ к сервисным свойствам и методам. Т.е. конструкции вида:

Код:
if (InputStream.getByte() == 0x32) InputStream.Copy(128);

Guderian
На счёт умных слов не согласен:

Цитата:

Или так просто, слова умные где-то услышал?

Высказал отнють не собственную мысль, а усвоенную, т.к. являюсь тоже автором.
Парадигма - недосягаемо.

Цитата:

А если человеку надо замену по условию. Как реализовать, например, регулярные выражения?

Условием в Прологе является непротиворечивость высказывания.

odl455
Мне трудно учить видеть во всём иерархию.


Добавлено
Guderian

Цитата:

последовательность действий при данной задаче.

Вам что делать нечего?

Pinocchio

Цитата:

Высказал отнють не собственную мысль, но хорошо усвоенную, т.к. являюсь автором одного из формализованных мета-языков. Парадигма абсолютно недосягаемая для моего Pentium 100.

Там было как минимум три вопроса, уж коль все усвоил, ответь на них, будь любезен. А то ведь несведущий человек, внимая твоему совету, начнет такое городить, несмотря на все авторства и прочие понты. И заодно разницу между мета-языками и языками разметки поясни. А то никак в голову не придет, каким образом здесь первые появились. Я, конечно, понимаю, что аббревиатуры идентичные, но все же...


Цитата:

section(header) :-
...

Это что, crk-файлы так нынче выглядеть стали? Да, отстал я от жизни. Всегда думал, что они выглядят как строки адрес: байт-до байт-после.


Цитата:

Что я могу скачать по интернету зарубежного, такого чтобы там было Ваше авторство и чтобы это было на пользу синтаксиса/трансляции?

Я где-то написал, что пишу трансляторы для буржуев? Увольте, я занимаюсь реальными задачами в реальных областях. Финансовый менеджмент, планирование поставок/производства, бухучет, кадровый менеджмент, системы принятия решения, data mining & warehouse, content managment, etc...


Цитата:

В соседней комнате сидит мужичёк...

Цитата:

Писать на C++ высоко сложные вычислительные задачи нужно в большом коллективе и с приличной оплатой. У меня впечатление, что делать Вам нечего, либо мы в разных странах живём.

Я плакалъ второй раз. Просто от умиления. Связи с обсуждаемым опять таки не понял, поскольку описанное решение поднимается одним человеком за пару дней.


Цитата:

И можно я похвастаюсь уже?

А кто-то уже успел до тебя? Покамест ты первый. Имхо только этим и занимаешься. Хотя, учитывая приведенный пример, стыдно должно быть. Если уж очень хочется, могу в пм такого нахвастать, что мало не покажется И вообще, какой же ты зануда Либо говори по существу, либо нечего меня на бессмысленную полемику толкать, а то я на это дело, каюсь, падок

Guderian

Цитата:

Да, отстал я от жизни. Всегда думал, что они выглядят как строки адрес: байт-до байт-после.

Кто говорил что нужно использовать интерпретаторы а не их синтаксис? Использование синтаксиса ещё не обязывает интерпретировать. Ты не отстал , а просто не оценил.

Цитата:

Там было как минимум три вопроса, уж коль все усвоил, ответь на них, будь любезен.

1. XSLT очевидно объявлен трансформом.
2. Лично я за xml.
3. Не знаю, чем тебе неподходит faq?
4. Парадигма? Отринь свои помыслы и посмотри на богатство и многообразие тэгов!

Цитата:

разницу между мета-языками и языками разметки поясни.

Если действительно интересует, то мета-язык это любой язык у котогоро есть язык-объект. На мета-языке строится описание объекта. XML, X-... это формализованные мета-языки, имеющие объектом размеченные данные.

Цитата:

Финансовый менеджмент, планирование поставок/производства, бухучет, кадровый менеджмент, системы принятия решения,

Pinocchio

Цитата:

Я что, говорил что нужно использовать интерпретаторы CRK? По моему я имел ввиду использование синтаксиса CRK.

Ты вообще текст опонента читаешь? Или выборочно? Каждую третью букву пятого слова. Я вообще-то про синтаксис и говорил.

1. Для каких "более широких целей" пригоден x-link, например, по сравнению с xslt. И чем определяется ширина этих целей?
2. К сведению месье, я уже второй год использую xml в продакшн проектах. И напрягать апач я не собираюсь по двум причинам. Во-первых, я апач не пользую, а во-вторых, он понятия не имеет о существовании xml, а я понятия не имею, как его "баловать на предмет создания xml". Для этого есть другие инструменты.
3. Вообще не понял, откуда взялось...
4. Нет слов. Только тему в начале подучи. А пока садись - двойка

Все, устал я от тебя

Guderian
Это я устал от Вас сударь

Цитата:

Вопрос прочитай "Поиск. Удаление. Замена. Вставка. Сравнение.". Как ты будешь все это делать (за исключением замены) с помощью crk.

Цитата:

Это что, crk-файлы так нынче выглядеть стали? Да, отстал я от жизни.

Цитата:

Я где-то написал, что пишу трансляторы для буржуев?

Цитата:

Я вообще-то про синтаксис и говорил.

Когда нужно использовать синтаксис используют разные символы, особые энтузиасты заменяют исходные, на свои изобретённые. Я учусь быть пользователем своего компьютера, как то - помешаю информацию в эксел и не волнуюсь за цифры.

Ты в начале ответь хотя бы на один заданный вопрос по xml и смежным ml, потом будешь учить меня, кем мне надо "быть"... Либо приводи конкретные примеры решения поставленной задачи. Вся остальная патетика игнорируется.

Guderian
моё плохое настроение не может служить оправданием...

Те кто ставил и конфигурировал Apache наверняка знакомы с PHP. Можно представить альтернативу - IIS + ASP. PHP скрипты выполняются на сервере и выдают клиенту динамически созданный HTML. Наверно нетрудно представить на его месте Xml. Надеюсь понятно, почему правила тегов (находились в контенте) для состоятельного документа (валидного) более приемлимы в случае с PHP нежели с txt?

На вопросы по XML я отвечал. В детали углубляться не вижу смысла.

Добавлено
К сожалению учебник языкознания у меня дома, но если у Вас имеется аналог, то хочу предложить посмотреть на метод парадигм.

Моим аргументом в пользу Xml, является лёгкость в использовании задачь локализации. Однако для создания компилера я выбрал TРarsеr, так как оно знакомее и интуитивно понятнее.

Добавлено
Вопросы надо формульровать чётче, на риторические отвечаю реже.

1. А такая альтернатива как IIS+ASP.NET не рассматривается? Или asp.net без iis?
2. Что такое "состоятельный документ" ?
3. Что такое "правила тэгов"? Или термины вроде well-formed, dtd и xml-схемы уже утратили смысл?
4. Чем "более приемлемо" с использованием php, а не, например того же asp, jsp, coldfusion? А если я вообще не веб-проект делаю, то xml использовать нельзя. Для, например, detached dataset или ie+xml isles?
5. С каких пор xml - это html созданный ручками? Точнее, здесь два вопроса. С каких пор это html? И что мне мешает формировать его автоматически из базы, получать от веб-сервисов, систем вроде BizTalk сервер или рисовать в том же XmlSpy? Или мне обязательно всю базу надо ручками в текстовом редакторе вколотить в виде xml?
Из старых вопросов, на которые как бы получены ответы.
6. как с помощью того же xslt трансформировать текстовый файл, который не well-formed? Или бинарный файл?
7. где мне несведущему найти библиотеки с нормальной реализацией x-link, x-pointer?
8. Для каких "более широких целей" пригоден x-link, например, по сравнению с xslt. И чем определяется ширина этих целей?
9. Ну и, главный вопрос треда. Как ты собирался xml+xlink+xpointer использовать для решения поставленной задачи.

Как я уже говорил, без патетики. Спокойно, с толком, с расстановкой, вопрос за вопросом. И еще раз повторюсь. У меня уже под десяток веб-проектов, активно использующих xml, так что не надо мне рассказывать, что это такое.

1. В ASP для объединения (конкатенации) строк надо использовать знак сложения '+'. Спросил бы по джаве...
2. Состоятельный документ сопутствует хорошо оформленному, но не одно и тоже.
3. Правила теэгов - моя сентенция.
4. Не читай, если уже генеришь скриптами.
5. Про PHP - это была попытка напрячь твою фантазию. Посмотри к чему это привело - ты собираешься транслятор писать с помощью автоматов базы BizTalk.
6. Без знаний программирования - никак, скорее всего проблемма в этом.
7. А они существуют? (пасибочки ссылку получил).
8. xml, а не X-Link. Читай внимательнее. xslt - объявлен как транс. а xml необъявлен, X-Link тоже необъявлен, но это что-то более конкретное.
9.(a+b+c)*(x+y)=
|mul
+--sum1
+--a
+--b
+--c
+--sum2
+--x
+--y (это дерево соответствует высказыванию 9. смотри пункт 6.)

Главной трудностью программиста является - программирование. %
Не имел ввиду XML. Тебе компонент TPageProducer кажется знаком?
Я не вижу разницы в скорости HTML и PHP хотя последний выполнял и лексикографический разбор скриптов и сами скрипты. Кто-то уже выше советоват, кстати.
Можешь объяснить какое отношение имеет семантическая иерархия к XML/XSLT (рас ты спец)?

1. Тогда не надо рассказывать, как в php это все хорошо. Да простят меня его фанаты, но в .net, особенно то, что касается поддержки xml, все гораздо лучше.
2. Ну так используй нормальные термины. Я этот справочник не читал. На w3c никакой информации по "состоятельным" документам тоже нет.
3. Я что - телепат, расшифровывать твои сентенции. Пользуйся нормальными, устаканенными терминами. Либо приводи расшифровку.
4,5 Это я пропущу. Вообще мимо тазика + неумение читать оппонента уже по третьему разу.
6. Хорошо, добавь знание программирования, хотя бы теоретически, и попробуй использовать xslt для поставленной задачи.
7. Вообще-то это ты предложил их использовать. Уже свои спичи забываются?
8. "XSLT очевидно объявлен трансформом, остальные не объявляются, не потому, что непригодны, а потому, что пригодны для более широких целей." Я что должен напоминать тебе твои же фразы?
9. Где ты в задаче видел фразу "вычислить арифметическое выражение"? Упрощу задачу. Тебе надо заменить букву "ы" на букву "й" в каждом втором слове нечетной строки если оно заканчивается на "ь". Пример на xml+x-link+x-pointer+xslt. Естественно без использования скриптовых расширений вроде msxml.


Цитата:

Главной трудностью программиста является - программирование.

Ну если это является главной задачей, то нам не по пути.


Цитата:

Теперь объясни пожалуйста, почему я должен отчитываться по XML, когда из тебя информацию клешнями не вытянешь. Объясни мне неучу какое отношение имеет семантическая иерархия к XML/XSLT (рас ты спец)?

Объясню. Потому что не я предложил использовать вышеозначенное для решения поставленной задачи. И никаких вопросов по xml ты мне не задавал, так что клешнями из меня вытягивать было нечего. Что же касается поставленного вопроса, то отвечаю. Поставлен он неправильно. Во-первых, семантическая иерархия ничего общего не может иметь с xml, поскольку язык разметки сам по себе не может нести семантики. Оно может быть заключена только в реализациях xml. Во-вторых, семантически это может быть совершенно не иерархия, а, например, многомерный olap-куб. И в-третьих, этот вопрос не имеет никакого отношения к профессионализму в использовании xml и смежных технологий.

Ладно, надо завязывать. Аругментацию ты не воспринимаешь, а время тратить впустую я не имею никакого желания. Моя задача - либо помочь другим, либо самому чему-либо научиться. От тебя ни того, ни другого. Бай...

зы. отвечу, только если увижу решение поставленной задачи предложенным тобой методом.

Guderian
Соглашусь, что в пункте 8 действительно совершил ошибку. "Аругментацию ты не воспринимаешь" - отчего такой печальный вывод. Наверное нестоило налетать на непрофессионала в XML, только из-за того, что ты в нём круче?

Изучал приведённый мной линк на модификатор? - Нет.
Вопросов по методу у тебя и не должно быть.
Дабы продемонстрировать вред наездов предлагаю поразмыслить, что есть семантическая иерархия объектов. Что однако не поможет моим объектам, т.к. обращения к данным пишу дедовским способом - позиции, начальная и конечная, b) методы конвертации, последовательности id, вычисления.

Pinocchio

Цитата:

Наверное нестоило налетать на непрофессионала в XML, только из-за того, что ты в нём круче?

Не стоило советовать его использовать там, где он использованию не подлежит.

Что касается решения, то я не понимаю, как банальный statemachine "наполовину решает" поставленную задачу. А описание трансформа в html - далеко не самый лучший способ. Как впрочем и xml. Синтаксический граф, который является результатом трансляции плохо укладывается в его структуру.


Цитата:

б) Методы конвертации данных в шестнадцатиричный вид (тут без XML вообще труба).

Xml как то помогает конвертировать в шестнадцатиричное представление?


Цитата:

Неувидеть решение это...

Как я уже и говорил, решение для банальной statemachine, которое я уже упоминал. Никакой связи этого решения с предложенными тобой же xml, x-link и x-pointer я не увидел.


Цитата:

Ну вобщем жду объяснений, или адью.

жди, asta...

Цитата:

То есть например затем просто писать такие макросы: если 3-й байт файла равен 33h, то выполнить над файлом процедуру 1, иначе выполнить процедуру 3. Далее такой макрос нужно преобразовать опять же в бинарный код, и он уже обрабатывает весь объём данных.

xml не связан воспроизведением mp3. Очень крутая задача однако. Что такое statemachine и почему он не подходит для обработки данных? Небольшие макросы можно редактировать графически, а сохранять в ini. Что можно сделать с файлом кроме чтения/записи? (- вопрос из серии про sm). Какие такие низкоуровневые операции с файлом? Их много? (- операций). "Полной гибкости он тебе не даст" - ну ладно.

Guderian
Моя старющая программка - полное гвн тоже заметил?
Конфиги с помощью xml это мой глюк...
конф менять нельзя...
readonly... не увижу...

Pinocchio
Ты где такую траву берешь? Человеку компилятор был нужен, а ты бред какой-то несешь про winamp'ы, апачи и прочую чепуху. Бросай свою дельфи и пиши на xml. И в экзешники тебе компилировать не надо, потому что надо отказываться от бинарников. Пускай тебе твоя ось прям их и выполняет. Все, бесполезно разговаривать. Ничего не слышишь

Про устаканенные определения. Хорошо оформленный - который обязательно весь заключён в один "коренной" тэг. Состоятельный документ должен соответсвовать всем требованиям DTD (тут подразумевался не одноимённый тэг).

По задаче. Имеется ли в задаче выполнение макросов работающих с файлами? По объекту с названием "модификатор" было много непоняток. Не буду компилировать объект, которому больше 5 лет. Новый напишу.

Из топика определение (употребление, деннотация, степень его необходимости в контексте) "statemachine" мне неясно. Если это нечто вроде запускаемого файла (3mb) к данным конфигурации модификатора (15mb). И решает вопрос по statemachine, то тогда как не компилируй - дело за названием.

Не пиши накаких извинений, потому что тут мне хотелось очень страшно ругаться.

Цитата:

Хорошо оформленный - который обязательно весь заключён в один "коренной" тэг.

Определенние wellformed не знаешь.


Цитата:

Состоятельный документ должен соответсвовать всем требованиям DTD.

Документ валидируемый xml-схемой не "состоятелен"?


Цитата:

Определение "statemachine" мне неясно

У тебя какое образование? Если ты не знаешь теорию автоматов, то что тут вообще обсуждать.


Цитата:

Пожалуйста не доставай меня ерундой

Если бы ты знал, как меня достал. Хотя, для меня это уже как развлечение, своеобразное сафари...