English    Українська


Иллюстрации. Литература. Дополнительные материалы Список печатных работ академика АН СССР В.М.Глушкова Компьютеры.Периферийные устройства.Сети.Использование компьютеров в системах Виктор Михайлович Глушков. Жизнь и творчество. Содержание Виктор Глушков - основоположник информкционных технологий в Украине и бывшем СССР
Об одной идее академика В.М. Глушкова, опередившей время
Компьютер "Киев"
Иллюстрации


В статье представлена одна из идей в области искусственного интеллекта, впервые сформулированная академиком В.М.Глушковым, а именно, об обучении компьютера распознаванию осмысленности предложений на естественном языке. Представление идеи и машинных экспериментов выполнено, в основном, с помощью цитат из научных трудов В.М.Глушкова.

In the article the idea firstly formulated in the field of artificial intellect by Academician V.M. Glushkov to teach the computer to recognize the meaning of natural language sentences is presented together with the computer experiments results. In particular, presentation is widely illustrated by citation from V.M. Glushkov's scientific papers.

Об одной идее академика В.М. Глушкова, опередившей время

Н.М.Мищенко. 2013

Изобретение первых электронных вычислительных машин (ЭВМ) во второй половине 30-х и первой половине 40-х годов прошлого столетия, предназначенных для решения задач математики и математической физики, было стимулировано, в основном, потребностями военно-морских ведомств стран-участниц Второй мировой войны. Переход к мирному времени ознаменовался началом применения ЭВМ в других областях деятельности человека. Так, в средине 50-х годов в Москве начались интенсивные работы по машинному переводу в Институте прикладной математики АН СССР (О.С.Кулагина), в Институте языкознания АН СССР (И.А.Мельчук). В 1-ом Московском государственном педагогическом институте иностранных языков в мае 1958 года состоялась Всесоюзная конференция по машинному переводу (340 делегатов), короткая информация о которой представлена в сборнике "Проблемы кибернетики" вып. 2 за 1959 год.

В июне 1959 года в Париже состоялась Международная конференция по обработке информации ([1]). В разделе Трудов конференции "Распознавание образов и обучающиеся машины" представлено 17 статей различной тематики: машинное распознавание образов, символов, речи, доказательство теорем в исчислении предикатов, в геометрии и др.

Виктор Михайлович Глушков, доктор физико-математических наук, директор образованного в Киеве в конце 1957 года Вычислительного центра АН УССР (далее - ВЦ), к этому времени был уже известным специалистом в абстрактной области математики - топологической алгебре, однако, он сразу оценил возможности ЭВМ быть помощником человека во всех сферах его деятельности, в том числе и в области искусственного интеллекта (ИИ). Такая возможность появилась в ВЦ после установки в 1958 году двух универсальных ЭВМ - "Урал-1" и "Киев". О раннем начале работ по созданию ИИ в ВЦ свидетельствует отрывок из монографии В.М.Глушкова [2] (здесь и далее цитаты приводятся курсивом):

"...автор еще в 1958 году успешно использовал универсальную электронную вычислительную машину "Урал" для проверки правильности доказательства теорем в одной алгебраической теории (которая, кстати сказать, в целом является алгоритмически неразрешимой)".

Изначально ЭВМ "Киев" ориентировалась на решение задач вычислительной математики, но начиная с 1959 года, на ней решались также задачи, относящиеся к ИИ: построение автоматического словаря для перевода (Л.А.Калужнин, А.А.Стогний, Л.С.Стойкова); статистическое исследование печатных текстов (Л.А.Калужнин, С.Н.Якименко); статистика флексий на материале русского языка 1-го уровня (И.П.Севбо); автоматическое распознавание букв и цифр методом анализа направления (В.А.Ковалевский, А.Г.Семеновский); морфологический анализ текстов на русском языке (Н.М.Грищенко - девичья фамилия автора этой статьи). Эти и другие результаты освещались на Второй научной конференции по вычислительной математике и вычислительной технике, которая проводилась в ВЦ 6-9 июня 1960 года ([3]).

Приоритет развития искусственного интеллекта в деятельности В.М.Глушкова подтвердился во время его визита в США в составе советской делегации в апреле-мае 1959 года, состоявшегося в рамках обмена делегациями ученых между США и СССР ([4]). Среди заявленных им в анкете интересов был и такой, переведенный на английский язык, как machine learning - термин, обозначающий способность программ к самосовершенствованию в процессе их исполнения.

В Нью-Йорке в Вычислительном центре фирмы IBM была продемонстрирована игра с ЭВМ в шашки, которую, кстати, делегат В.А.Диткин, заместитель директора ВЦ в Москве, выиграл. В отдельной аудитории для участников советской делегации была прочитана краткая лекция по обучающимся машинам. Авторы статьи [4] называют лишь В.М.Глушкова, который задал несколько вопросов по теме лекции.

В отделе В.М.Глушкова систематически проводились семинары под его непосредственным руководством. Однажды на семинаре в 1961 году В.М. поручил мне прореферировать статью [5], в которой достаточно детально была описана программа под названием General Problem Solver (GPS), в дословном переводе на русский - "Общий решатель проблем". Работа программы продемонстрирована в статье на примерах доказательства тождеств в общей алгебре. В то время я только начала изучать английский язык под руководством опытного учителя Цукермана, которого В.М. пригласил в ВЦ специально для обучения сотрудников английскому языку. Рассказывая содержание статьи, удивлялась, когда В.М., опережая докладчицу, делал выводы, совпадающие с выводами в статье.

Создание в компьютере ИИ, сравнимого с человеческим, представляет собой чрезвычайно сложную задачу. В статье "Искусственный интеллект", помещенной в сборнике [6], В.М.Глушков описывает путь к реализации ИИ, на котором следует, в первую очередь, алгоритмизировать процесс мышления человека, создать модель мира, содержащую начальное представление о мире, и средства общения человека с компьютером для развития модели. В.М. приводит критерий, сформулированный английским математиком Тьюрингом (1912-1954), по которому можно установить, может ли представленная для тестирования информационно-программная система принадлежать ИИ. Согласно Тьюрингу ответ будет положительным, если в течение достаточно длительного времени человек, который ведет диалог с двумя партнерами, находящимися за стенкой, не сможет уверенно различить, кто его партнер по диалогу: человек или компьютер.

Поставленная задача создания ИИ, сравнимого с человеческим, вряд ли выполнима в обозримом будущем, но создание ИИ для отдельных специализированных областей вполне осуществимо. Создаются модели таких областей. Одна из них, по времени первая - автоматический перевод текстов на естественных языках - после начальных, не совсем удачных экспериментов, стал довольно квалифицированным помощником человека. Цитирую В.М. из [6]:

"Расширение круга таких специализированных моделей значительно приближает нас к возможности удовлетворения тесту Тьюринга. Правда, полное соответствие тесту может быть достигнуто лишь тогда, когда модель обнаружит способности к обучению".

В данной статье рассматривается предложенный В.М.Глушковым алгоритм обучения компьютера распознавать осмысленность фраз на естественном языке, расширять словарь, создавать новые понятия на примере русских фраз. Мне было поручено в январе 1961 года программировать этот алгоритм и проводить эксперименты на ЭВМ "Киев".

В.М.Глушков в монографии [2] объяснил, как следует понимать осмысленность фраз в предлагаемом им алгоритме обучения машины:

"...Понятие осмысленности фразы точно не определяется. Предполагается просто, что "учитель" каким-то способом, придерживаясь, однако, обычного житейского понятия о смысле или бессмысленности, произвел разбиение всех фраз на два непересекающиеся класса: класс осмысленных фраз и класс бессмысленных фраз. В процессе обучения каждой фразе, подаваемой на вход алгоритма, сопоставляется признак ее принадлежности одному из этих двух классов..."

Самое раннее из найденных мной печатных свидетельств В.М.Глушкова об обучении машины относится к июлю 1960 года, когда В.М. рассказывал об этой идее американскому делегату международного конгресса IFAC (International Federation of Automatic Control), который состоялся с 27 июня по 7 июля 1960 года в Москве. В американском журнале [7] была напечатана статья-отчет, озаглавленная "Soviet Cybernetics and Computer Sciences - 1960", в которой автор, делегат конгресса из США Edward A.Feigenbaum, представил информацию о конгрессе. Он имел разрешение на посещение нескольких городов СССР для ознакомления с вычислительными центрами и ведущими учеными. В его планы входило посещение Киева, как главного центра кибернетических исследований в Советском Союзе. Из публикаций он знал о нескольких исследовательских проектах, которые проводились в Киеве: моделирование деятельности высшей нервной системы; распознавание образов; математические основы конструирования машин для диагностики сердечных заболеваний; проверка правильности математических доказательств; экономическая кибернетика и другие.

Прибыв в Киев, он позвонил в ВЦ АН УССР из аэропорта, сразу получил ответ и немедленно был доставлен в ВЦ машиной. Он пишет (в переводе с английского):

"Я был встречен тепло и с энтузиазмом доктором Глушковым, директором Центра, выдающимся теоретиком. Он рассказывал о своей работе в деталях. Говорил по-английски, иногда запинаясь, но понимал все, о чем я говорил".

В ходе беседы В.М. рассказал делегату конгресса о своих результатах в теории абстрактных автоматов, а также о начатых работах в области ИИ и, в частности, о проблеме обучения компьютера распознавать осмысленность фраз естественного языка. Привожу фрагмент из рассказа В.М. в русском переводе с английского:

"...Наша цель состоит в том, чтобы задать машине определенное число осмысленных предложений, и после их обработки попросить машину ответить, осмысленно или нет новозаданное предложение. Если машина ошиблась, то указать на ошибку. Идея состоит в том, чтобы машина сформировала классы из тех осмысленных предложений, которые были уже поданы. Например, пусть сформирован класс объектов, которые могут стоять - дом, мальчик, человек, ребенок. Если предложение с глаголом "думать" будет подано впервые, машина правильно ответит, что "мальчик думает", "мужчина думает", "ребенок думает", а "дом думает" - ошибка. Тогда она должна сформировать новый класс объектов, которые "стоят, но не думают". Число классов может быть очень большим, но намного меньше множества всех осмысленных предложений, которые можно построить из слов заданного словаря. Этот процесс расщепления и формирования классов можно инициировать и для предложений "имя существительное - глагол - предлог - имя существительное".

Выводы американского делегата - автора отчета о его встречах с учеными СССР в переводе с английского:

"Поскольку роль компьютеров в современных науках и технологиях возрастает, то нет сомнения в том, что вскоре СССР будет изготавливать столько компьютеров, сколько ему нужно. Насколько эффективно они будут использоваться, сказать невозможно, но поездка автора убедила его в следующем: ...Появилась группа ученых и математиков, особенно в Москве и Киеве, а, возможно, и в других местах, которые проинформированы, заинтересованы и активны в таких областях как теоретическая кибернетика, модели мозга, обучающиеся машины, компьютерный контроль информации и использование компьютеров для планирования экономики. Если читатель хочет сам убедиться в этом, автор отчета предлагает просмотреть содержание пятитомной серии "Проблемы кибернетики" под редакцией А.А.Ляпунова, который сегодня является одним из величайших математиков мира. ...Исследования в области ИИ и других применений компьютеров становятся перспективными, чего нельзя было заметить еще год тому назад".

И в заключение отчета автор отметил, что США имеют определенные преимущества над СССР в проектировании и изготовлении компьютеров, но в СССР нет отставания в развитии фундаментальных идей в этой области.

В феврале 1961 года я начала программировать алгоритм В.М.Глушкова обучения машины, имея некоторый опыт программирования для ЭОМ "Киев": с 1959 года училась программировать в отделе программирования, которым руководила Е.Л.Ющенко. До середины 1960-го года мною был запрограммирован и опробован на ЭВМ "Киев" на анализе отдельных слов русского языка алгоритм морфологического анализа (МА), предложенный И.А.Мельчуком, тогда младшим научным сотрудником Института языкознания АН СССР, Москва. По свидетельству И.А.Мельчука, эта программа была первой такого назначения в СССР. Моя статья о программе МА была напечатана в сб. "Проблемы кибернетики", вып. 6 за 1962 год вместе со статьей И.А.Мельчука.

ЭВМ "Киев" и все машины того поколения не были приспособлены к вводу-выводу и обработке текстовой информации, поэтому программирование и отладка программ ИИ были достаточно трудоемкими. Для программы МА вводились числа - закодированные вручную слова, ЭВМ печатала результат в виде чисел, которые следовало перекодировать в слова. Работа над алгоритмом МА помогла мне освоить программирование текстовых задач и вызвала определенный резонанс в ВЦ, что, очевидно, поспособствовало приглашению меня в отдел В.М.Глушкова в конце 1960 года для программирования алгоритма обучения машины.

Привожу постановку задачи по обучению компьютера распознавать осмысленность простых предложений русского языка из монографии В.М. Глушкова [2].

"...Точная постановка задачи об обучении распознаванию смысла фраз состоит в следующем: необходимо построить самосовершенствующуюся систему алгоритмов, которая, после сообщения ей некоторого числа N1 случайно выбираемых фраз из общего числа N осмысленных фраз данной конструкции, научилась бы правильно распознавать осмысленность любой фразы этой же конструкции, то есть относить эту фразу либо к числу осмысленных, либо к числу бессмысленных фраз.

В процессе обучения различают два режима: режим обучения и режим экзамена. В режиме обучения системе подают некоторое число (не все) осмысленных фраз. Затем в режиме экзамена подают фразы, а система должна отвечать, они имеют смысл или бессмысленны. В случае неправильного ответа можно делать подсказку и таким образом обучать в режиме экзамена. Если в режиме обучения подать все осмысленные фразы, то машина всегда будет отвечать правильно. Такой процесс ("зубрежка") называется тривиальным. Заслуживает внимания нетривиальный процесс, когда системе подается часть осмысленных фраз, а она начинает правильно отвечать на все поданные ей во время экзамена осмысленные фразы.

...Предлагаемая самосовершенствующаяся система для распознавания смысла фраз, которую будем называть смысловым дискриминатором, основывается на идее фиксации связей между различными осмысленными фразами посредством введения новых понятий. Применительно к фразам простейшей конструкции "подлежащее - сказуемое" целесообразно вводить новые слова (понятия) для обозначения классов существительных, сочетаемых с теми или иными множествами глаголов".

Именно в таком виде алгоритм был запрограммирован. Однако, в программе разрешались и конструкции фраз типа подлежащее - сказуемое - дополнение (с предлогом или без). Программа состояла из 400 команд ЭВМ "Киев".

Во время работы над программированием алгоритма обучения машины и проведением экспериментов моим непосредственным руководителем был Анатолий Александрович Стогний (1932-2007), в то время аспирант В.М.Глушкова. Он подал мне алгоритм обучения машины устно (алгоритм тогда еще не был опубликован), ему я передавала результаты машинных экспериментов, которые он обсуждал с В.М. без моего участия.

По окончанию работы с программой обучения все материалы об экспериментах, в том числе и программа были переданы А.А.Стогнию. В моем архиве хранится лишь черновик одной таблицы с итоговыми результатами нескольких серий экспериментов (40 имен существительных, 50 глаголов и несколько предлогов) без указания времени их проведения. Подаю результаты двух серий экспериментов без пояснений. Машине поданы 333 предложения, получено 12 классов, в которых зафиксировано 31 связь существительных с глаголами. После самообучения - 48 связей, из них неправильных 14. После увеличения числа предложений вдвое получено: 11 классов, 43 связи, после самообучения - 50 связей, из них 3 неправильных. В экспериментах использован тривиальный алгоритм экстраполяции опыта, поскольку новый алгоритм экстраполяции В.М.Глушкова тогда мне не был известен.

5-6 мая 1961 года в Киеве состоялся симпозиум "Принципы построения самообучающихся систем", были изданы тезисы докладов [8]. На симпозиуме В.М.Глушков сделал доклад "Об обучении распознаванию осмысленных предложений на ЭВМ", содокладчики А.А.Стогний и Н.М.Грищенко. В докладе В.М. приведены новые факты по сравнению с теми, которые были уже запрограммированы. Доклады о конкретных результатах В.М. всегда сопровождал рассказом о перспективах дальнейших исследований.

После симпозиума программа обучения компьютера была расширена в связи с новыми фактами, озвученными В.М. в докладе.

На симпозиуме состоялись еще два доклада c ВЦ: В.М.Глушков, В.А.Ковалевский, В.И.Рыбак "Об одном алгоритме обучения распознаванию образов"; А.А.Летичевский, А.А.Дородницына "Моделирование естественного отбора", эксперименты по моделированию впоследствии демонстрировались в ВЦ на дисплее, присоединенном к машине "Киев".

В сборнике "Проблемы кибернетики", Вып. 7 1962 года издания в разделе "Хроника" были опубликованы названия и аннотации докладов этого симпозиума.

Сборники "Проблемы кибернетики" под редакцией А.А.Ляпунова были интересны и для ученых США. Очевидно, этому поспособствовал делегат конгресса IFAC в Москве в 1960 году Edward A.Feigenbaum, посетивший в Киеве В.М.Глушкова. В 1963 году в США появился меморандум под названием "Soviet Cybernetics Technology: 1. Soviet Cybernetics, 1959-1962". Редакторы Willis H.Ware и Wade B.Holland. Кстати, Willis H.Ware возглавлял американскую делегацию, которая посетила СССР, в частности, и Киев 28 мая 1959 года в рамках обмена делегациями ученых между США и СССР. Он был редактором и соавтором отчета об этом визите. В отчете кратко описаны и сфотографированы ЭВМ "Киев", СЭСМ З.Л.Рабиновича, аналоговая машина Е.Г.Пухова, читающее устройство В.А.Ковалевского.

Меморандум содержит переводы на английский язык большинства статей из сборников "Проблемы кибернетики" за 1959-1962 годы. В частности, из Вып. 7 этого сборника в меморандуме приведена информация о симпозиуме в Киеве в 1961 году. Выражено сожаление о том, что они не смогли найти трудов симпозиума, в то время как в сборнике утверждается, что они уже изданы. На самом деле, в сборнике напечатано "тезисы изданы". Тезисы были опубликованы в 1961 году к началу симпозиума, а в 1962 году вышел в Киеве сборник [9], содержащий текст доклада В.М. Глушкова об обучении машины.

В Ленинграде (ныне С.-Петербург) 3-12 июля 1961 года состоялся 4-й Всесоюзный математический съезд. На съезд из ВЦ было командировано рекордное число математиков и программистов (до 20 человек). Все летели в одном самолете с В.М.Глушковым. В пути он показывал через иллюминаторы разные выдающиеся места, в частности, озера Чудское, Ладожское. Чтобы увидеть, сотрудники ВЦ бегали от одного иллюминатора к другому, вызывая беспокойство стюардесс. Кажется, в самолете была только наша делегация.

На съезде В.М.Глушков выступал на пленарном заседании с докладом "Алгебраическая теория автоматов". Сотрудники ВЦ выступали в секции "Вычислительная математика". В.М.Глушков сделал доклад "Некоторые математические проблемы теории обучающихся автоматов", А.А.Стогний, Н.М.Грищенко выступили с докладом "Обучающаяся алгоритмическая система для распознавания осмысленных предложений".

В связи с расширением нечисловых областей применения компьютерной техники возникла необходимость в усовершенствовании компьютеров. Перечень требований по усовершенствованию и их обоснование были темой кандидатской диссертации А.А.Стогния. В феврале 1962 года состоялась успешная защита его диссертации под названием "Исследование рациональных принципов построения универсальных цифровых машин для преобразования буквенной информации". В диссертации рассмотрены несколько логических задач, выполненных на ЭВМ "Киев" под руководством А.А.Стогния. В том числе рассмотрен алгоритм и експерименты по обучению машины распознавать смысл простых предложений на естественном языке.

В конце мая 1962 года произошло знаменательное событие - Вычислительный центр АН УССР был преобразован в Институт кибернетики АН УССР (далее - ИК). В.М. Глушков - директор ИК и заведующий отделом теории цифровых автоматов с 25.05.1962 года.

Однажды на своем рабочем столе среди прочих бумаг я случайно обнаружила написанную В.М.Глушковым записку с надписью рукой Стогния Наде. Подаю ее текст:

"Тривиальный алгоритм обучения распознаванию осмысленных фраз. Алгоритм с экстраполяцией опыта. Выработка понятий. Корреляционные связи между понятиями и эффективность обучения. Поиск эффективных алгоритмов обучения на основе статистических испытаний".

Что означала эта записка, состоящая из первых фраз тезисов доклада на симпозиуме [8]? Ответ А.А.Стогния уже забыт. Алгоритм обучения машины, поданный А.А.Стогнием для программирования устно, по содержанию соответствовал первому и третьему предложениям записки с тривиальным алгоритмом экстраполяции опыта. Статья В.М.Глушкова, содержащая ряд нетривиальных алгоритмов обучения, была напечатана в сборнике [9] в апреле-мае 1962 года. Тогда оказалось, что программу необходимо совершенствовать, но я уже получила новое задание по другой теме.

Позже из монографий В.М.Глушкова стало известно, что работе по обучению машины В.М. придавал большое значение. А в 1962 году пойти к В.М. с вопросом о продолжении работы по обучению автор, тогда еще молодой специалист, не могла и подумать. Стогний в то время был очень занят. Уже тогда было правило - докладывать результаты В.М. должны его непосредственные подчиненные в соответствии с принципом децентрализации управления, который вынужден был учредить В.М. из-за отсутствия времени для работы с непосредственными исполнителями. О том, в каком цейтноте постоянно работал В.М., можно узнать из статьи его помощника В.В.Мойсеенка [10].

Так и хранится у меня записка В.М., напоминающая о неоконченной работе.

С 27 августа по 1 сентября 1962 года в Мюнхене состоялся конгресс IFIP-62 (International Federation for Information Processing). В рамках конгресса был организован симпозиум по ИИ, где было представлено 5 докладов. Тему симпозиума озвучил М.Минский (MIT, Cambridge, USA) (в переводе на русский язык):

"...Машины уже доказывают теоремы, сочиняют музыку, играют в игры (не очень хорошо, но лучше чем обычный человек). Производительность машин сегодня позволяет надеяться, что завтра мы сможем увидеть творческую работу машин. Многие считают, что это невозможно, и что машины не способны к инновациям (innovations). Этот вопрос предлагаем для обсуждения на симпозиуме".

В докладах рассматривались различные подходы и условия для получения инноваций с помощью машины. В.М.Глушков выступил с докладом (в переводе на русский язык) "Некоторые вопросы теории самообучения машин" ([11]). Среди нескольких тем, представленных в докладе, главное внимание В.М. сосредоточил на эксперименте по самообучению компьютера распознавать осмысленные предложения естественного языка. Эксперимент показал возможность получать новую информацию от машины после ее обучения на ограниченном числе предварительно поданных ей осмысленных предложений. В.М.Глушков представил на симпозиуме усовершенствованный алгоритм обучения за счет введения в алгоритм экстраполяции осмысленности коэффициентов: "терпения" и "осторожности". Вероятно, усовершенствование алгоритма было выполнено после анализа результатов по итогам первых экспериментов на ЭВМ "Киев". Предлагаю сокращенное описание усовершенствованного алгоритма обучения, помещенное в сборнике [6].

"...Рассматриваются осмысленные фразы простейшей конструкции: подлежащее-сказуемое. Для этого используется ограниченный словарь существительных и глаголов. Эти фразы сначала вводятся в машину, которая запоминает их без всякого изменения ("голая зубрёжка"). Когда число фраз с одним и тем же сказуемым превосходит некоторую фиксированную величину - так называемый коэффициент терпения (КТ - Н.М.), характер запоминания изменяется. Пусть КТ=2, а машине после двух осмысленных фраз "профессор думает" и "студент думает" была сообщена новая осмысленная фраза "мальчик думает". Тогда машина вводит новое понятие для обозначения всех думающих и запоминает, что все трое людей относятся к этому классу.

...Принципиально новый эффект достигается введением так называемого процесса экстраполяции осмысленности, управляемого неким коэффициентом, который называется коэффициентом осторожности (КО - Н.М.). Предположим, что КО=2, а машиной уже образован класс думающих. Если теперь сообщить, что, скажем, профессор и мальчик могут также и говорить, то машина экстраполирует заключение, что все думающие являются вместе с тем и говорящими. В результате машина сделает правильный вывод о том, что фраза "студент говорит" является осмысленной фразой, хотя она и не содержалась в числе поданных осмысленных фраз во время обучения машины.

Разумеется, в процессе экстраполяции машина может придти и к неверным выводам. Чтобы уменьшить число ошибок, перед экстраполяцией машина составляет несколько фраз с глаголом говорить, выбирая случайным образом существительные из класса стоящих. Сообщив эти фразы учителю, машина спрашивает, осмысленны ли они? И лишь получив на вопрос утвердительный ответ, машина производит экстраполяцию".

В тексте доклада в Мюнхене есть ссылка на публикацию по обучению в сборнике [9].

На конгрессе в Мюнхене был также представлен доклад [12], автор А.Newell из Carnegie Institute of Technology, USA - один из авторов программы GPS, о которой упоминалось выше. Доклад посвящен обобщению опыта работы с программой GPS, подробному рассмотрению эвристик, используемых в программе, обзору работ других авторов. В докладе также предложено уточнение термина "machine learning". По мнению автора термин "самообучение машины" более всего подходит к случаю, когда положительный опыт, накапливаемый машиной, передается к следующему сеансу ее работы. Этот термин вполне применим к алгоритму В.М.Глушкова обучения машины.

Вскоре после конгресса В.М.Глушкову пришло письмо из США от Саула Амареля (Saul Amarel ), выдержку из которого подаю в переводе на русский язык:

"...Во время вашей интересной презентации на симпозиуме по искусственному интеллекту в Мюнхене в рамках конгресса IFIP-62 вы вспомнили статью, посвященную вашим исследованиям по искусственному интеллекту, которые были представлены на симпозиуме по самоорганизующимся системам в Киеве.

Поскольку я очень заинтересован в исследованиях по искусственному интеллекту, то был бы очень благодарен вам за получение препринта вашего доклада на Киевском симпозиуме, а также других материалов о ваших последних работах. Особенно интересуюсь механизмами формирования понятий и хотел бы также узнать больше о вашем проекте машинного распознавания осмысленности фраз, составленных из ограниченного языка".

Подпись: Sincerely Saul Amarel - Head of Computer Theory Group in the Radio Corporation of America (RCA) Laboratories (Princeton).

Справка: Saul Amarel (1928-2002) был профессором университета Ратгерс (Rutgers University). Он известен благодаря своим пионерским работам по ИИ с начала 1960-х годов.

Был ли послан ответ на письмо Saul Amarel, неизвестно.

Представленный в докладе на конгрессе в Мюнхене в 1962 году алгоритм обучения машины с экстраполяцией осмысленности стал известен мне в 2003 году, когда удалось найти Труды конгресса в Мюнхене, изданные после конгресса - в 1963 году.

Очень жаль, если этот интересный алгоритм не будет реализован. Реализовать его эффективно на машинах того времени вряд ли было возможно. Вспоминается опыт Чарльза Бэббиджа, который разработал в 1840-х годах проект Аналитической машины со многими свойствами нынешних компьютеров и при жизни не смог ее построить из-за отсутствия технических средств и финансирования. Его проект опередил время больше чем на сто лет - мечта Бэббиджа сбылась лишь в 1950-х годах в США (машина MARK I Говарда Айкена).

С июня 1962 года наряду с экспериментами по обучению машины я выполняла по заданию А.А.Стогния новое актуальное задание - моделирование машины "МИР" сначала на ЭВМ "Киев", а позже на М-20.

В мае 1963 года в Каневе состоялся Симпозиум-2 "Принципы построения самообучающихся систем". На Симпозиуме был представлен доклад: В.М.Глушков, Н.М.Грищенко, А.А.Стогний "Об экспериментах по распознаванию осмысленных предложений".

Идее обучения машины распознавать осмысленность фраз естественного языка (в экспериментах - русского) В.М. придавал большое значение, о чем свидетельствует ее представление на конференциях, симпозиумах, в воспоминаниях, в статьях, монографиях, например, в [13], [14], [15], [16], [17] со ссылками на статью в сборнике [9].

Статья [15] посвящена общей формулировке проблемы обучения языку на основе исследований, проведенных В.М.Глушковым по этой теме.

В монографии [16], где ИИ посвящена отдельная глава, В.М. связывает проблему понимания текстов на естественных языках с помощью компьютеров с проблемой осмысленного диалога человека с машиной.

"...Проблема понимания текстов на естественных языках не может считаться до конца решенной, если предназначенная для этих целей автоматическая система не способна вести осмысленный диалог с человеком и, самое главное, обучаться в результате диалога.

При ведении такого диалога важно уметь осуществлять автоматический перевод с внешнего языкового представления на язык семантической сети и обратно. С этой целью удобно использовать аппарат формальных семантических грамматик с процедурами классификации и объединения языковых оборотов, равнозначных по смыслу.

...Следует заметить, что построение семантических грамматик в значительной мере облегчается применением процедур, строящих семантическую классификацию в результате анализа предъявляемых системе правильных и неправильных фраз (как с точки зрения синтаксиса, так и с точки зрения семантики). Один из способов такой классификации был предложен автором еще в 1961 году..."

Остановимся на воспоминании В.М. в последние дни его жизни на тему ИИ о распознавании смысла фраз на естественном языке из книги Б.Н.Малиновского [17, с.71].

"...Одновременно мы начали работы по распознаванию смысла фраз на русском языке, т.е. в области семантических сетей, как теперь это называется. Этим занимался А.А.Стогний и частично А.А.Летичевский. Впрочем алгоритм делал я, а А.А.Стогний подготовил хорошие программы. По потоку предложений на входе этот алгоритм строил семантическую сеть, т.е. определял, какие слова с какими корреспондируются. Были сделаны зачатки картины мира, причем было придумано экономное кодирование, затем А.А.Стогний переключился на распознавание дискретных образов, тематику Ю.И.Журавлева, да и я оставил это дело, и у нас оно захирело. Надо было его с машинным переводом связать, но опять не хватило людей, а я не мог заниматься лишь семантической алгоритмикой. И все-таки, когда я сделал в 1962 году в Мюнхене на конгрессе IFIP доклад на эту тему, это было сенсацией - у американцев ничего подобного не было. Тогда же меня избрали в программный комитет Международной федерации по обработке информации".

Начав широким фронтом развивать идеи создания систем ИИ на машинах первых поколений, В.М.Глушков, очевидно, надеялся достичь видимых результатов на протяжении ближайшего десятилетия или двух. Вопреки ожиданиям, получилось не все. В.М. достаточно быстро пришел к заключению о том, что сложные кибернетические системы требуют многолетнего труда. Чтобы правильно организовать эту работу, В.М. выдвинул принцип "единства ближних и дальних целей", касающийся времени, необходимого для создания сложных кибернетических систем. Лучше всего этот принцип изложен в его воспоминаниях, которые он продиктовал в последние дни своей жизни. Цитирую из книги [17, с.45]:

"Дело заключается в том, что в кибернетике есть одна особенность. Когда развивались другие науки, которые не имели дела со столь большими системами, как кибернетика, то обычно возникновение идеи о том, как решить задачу (особенно в математике), являлось главным. Это было 90% дела. Если идея была верной, то ее оформление занимало 10%. ...А в кибернетике получается так, что в некоторых случаях идея составляет около 0,01%, а все остальное - 99,9% - это ее реализация. Объясню это на примере.

...Я поручил своему аспиранту А.А.Стогнию работу по искусственному интеллекту, в частности, обучению машины русскому или украинскому, в общем естественному человеческому языку, чтобы она понимала смысл предложений. И мы довольно быстро добились потрясающих вроде бы успехов. ...И оказалось, что первые попытки давали обнадеживающие результаты: идея уже есть, остается только ее реализовать, а исходя из старого опыта, считали, что идея это уже 40% дела. Если на разработку идеи потребовалось два года, значит, на ее реализацию потребуется в полтора раза больше, и через пять лет мы сделаем такую машину, которая будет по пониманию языка и смысла хорошим собеседником на уровне человека и т. д. Но оказалось, что это далеко не так.

К сожалению, такая недооценка сложности кибернетических задач типична для периода становления любой науки. ...Особенность больших систем в том, что от идей по их построению до их реализации очень длительный путь. Отсюда и появился важный управленческий принцип - единства дальних и ближних целей.

Я этот принцип формулирую так: в новой науке, какой является кибернетика, не следует заниматься какой-то конкретной ближней задачей, не видя дальних перспектив ее развития. И наоборот, никогда не следует предпринимать дальнюю перспективную__ разработку, не продумав, нельзя ли ее разбить на такие этапы, чтобы каждый отдельный этап, с одной стороны, был шагом в направлении этой большой цели, а вместе с тем он сам по себе смотрелся как самостоятельный результат и приносил конкретную пользу".

Отметим, что В.М.Глушков был не одинок в переоценке возможностей ЭВМ. В этом можно убедиться, обратившись в Интернет с темой "Семантические сети - искусственный интеллект", где в разделе "Столкновение с реальностью (период с 1966 года по 1973 год)" представлен анализ возможностей ЭВМ того времени для решения некоторых задач ИИ.

В 1960-х годах начали развиваться представления знаний научно-технических текстов в виде семантических сетей. Остановимся лишь на двух исследованиях в этом направлении, начатых в 1960-х годах сотрудниками ИК АН УССР под влиянием идей В.М.Глушкова.

Результаты исследований в отделе В.М.Глушкова его сотрудниками-лингвистами Э.Ф.Скороходько и Л.Э.Пшеничной, опубликованы в монографии [18]. Цитирую из предисловия к монографии:

"Данная работа посвящена одному из наиболее важных и перспективных направлений в современной лингвистической семантике - сетевому моделированию языка. Подобная тема впервые является объектом монографического исследования в советской науке. Этот метод исследования основывается на построении семантических сетей, моделирующих смысловую сторону лексики и текста. ...Семантическая сеть оказалась особенно полезной при решении многих теоретических и практических задач, особенно связанных с проектированием лингвистического обеспечения систем искусственного интеллекта".

Введение в компьютер лексической семантики терминосистемы есть, по существу, обучением машины (но без самообучения машины), хотя и не в прямом диалоге "человек - машина", что было бы весьма неэффективным, учитывая объем информации для ввода. Диалог становится актуальным в двух случаях: 1) в режиме экзамена сети на примерах, о которых известно, являются они осмысленными или нет; 2) в режиме использования сети для проверки правильности определения терминов в терминологических словарях и для оценки словарных параметров.

В конце 1960-х годов сотрудник Института кибернетики АН УССР В.П.Гладун (с 1983 года - доктор технических наук) ввел понятие растущих семантических сетей и их представление графами специального вида - пирамидальными семантическими сетями, предназначенными для исследований и компьютеризации процессов мышления. В монографии В.П.Гладуна [19] предлагаются семантические модели естественноязыкового текста, представляющие семантическую связь типа "часть - целое". Цитирую из монографии [19]:

"...Предусмотрено два режима формирования семантической модели языка: 1) путем непосредственного ввода в систему всей информации, образующей модель языка; 2) путем обучения системы на примерах осмысленных словосочетаний".

На основании исследований В.П.Гладуна им предложены компьютерные средства формирования знаний в нескольких тематических областях.

Заключение. В 1960 году В.М.Глушков впервые в практике использования ЭВМ сформулировал концептуальную возможность и предложил алгоритм обучения машины распознавать основную смысловую связь в предложениях на естественном языке "субъект - действие", реализованный на ЭВМ на примере простых предложений русского языка.

В последующие годы потребности поиска и обмена информацией в Интернете привели к проблеме универсального представления знаний. В настоящее время (2012 год) в Интернете накоплен большой объем информации в виде семантических сетей, где отражены смысловые связи объект-действие, причина-следствие, часть-целое и др., охватывающие почти все полнозначные слова тематических текстов. Семантические сети стали средством представления информации и объектом исследований во многих областях знаний. Смысловой диалог компьютера с человеком становится одной из главных частей программного обеспечения компьютера.

На завершение статьи выражаю искреннюю благодарность В.В.Глушковой за моральную поддержку во время написания воспоминаний о В.М.Глушкове и его идее обучения машины распознавать осмысленность предложений на естественном языке.

1. Proc. of the International Conference on Information Processing, UNESCO, Paris, 15-20 june, 1959. Published in 1960. - 498 с.

2. Глушков В.М. Теория алгоритмов. - Киев: Изд-во КВИРТУ, 1961. - 167 с.

3. Тезисы докладов 2-ой научной конференции по вычислительной математике и вычислительной технике (6-10 июня). - Киев: Изд. ВЦ АН УССР, 1960. - 60 с.

4. Zaitzeff E.M., Astrahan M.M. Russian Visit to U.S. Computers // IRE Transactions on electronic computers. - Vol. EC-8. - Dec., 1959. - Numb. 4.

5. Newell A., Show J.C., Simon H.A. Report on a General Problem Solver // Proc. of the Intern. Conf. on Information Processing. - 1959.

6. В.М. Глушков. Кибернетика. Вопросы теории и практики. М. - "Наука", 1986. - 477 с.

7. IRE Transactions on Electronic Computers. - Oct., 1961. - 776 с.

8. "Принципы построения самообучающихся систем". Тез. докладов, ВЦ АН УССР, К., 1961. - 11 с.

9. Принципы построения самообучающихся систем: Сборник. - Киев: Гос. издат. техн. лит. УССР, 1962. 119 с.

10. Мойсеенко В.В. "К портрету ученого и организатора академика В.М. Глушкова". Математичн_ машини _ системи. - №2. - 2003.

11. Glushkov V.M. Certain Questions of the Theory of Machine Self-learning // Proc. IFIP Congress. - Munich, 1962.

12. Newell A. Learning, Generality and Problem-Solving // Proc. IFIP Congress - Munich, 1962.

13. Глушков В.М. Введение в теорию самосовершенствующихся систем. - Киев: Изд-во КВИРТУ. - 1962. - 109 с.

14. Глушков В.М. Введение в кибернетику. - Киев: Изд-во АН УССР, 1964. - 324 с.

15. Глушков В.М. Некоторые проблемы теории автоматов и искусственного интеллекта. Тр. семинара "Теория автоматов и методы формализованного синтеза вычислительных машин и систем", вып 6. Киев, 1968.

16. Глушков В.М. Основы безбумажной информатики. - Москва: Наука, 1982. - 552 с.

17. Малиновский Б.Н. Академик В. Глушков. - Киев: Наук. думка, 1993. - 142 с.

18. Скороходько Э.Ф. Семантические сети и автоматическая обработка текста. - Киев: Наук. думка, 1983. - 213 с.

19. Гладун В.П. Процессы формирования новых знаний. - София, 1994. - 189 с.

Об авторе.

Мищенко Надежда Михайловна, кандидат физ.-мат. наук, старший научный сотрудник.

Работала в Институте кибернетики им. В.М.Глушкова НАНУ с 1956 по 2002. Статья печатается с разрешения автора.


Илюстрации

Встреча Норберта Виннера с учеными Киева
Норберт Виннер с супругой
Программисты и вычислители Игра в волейбол