Прогнозирование на основе аппарата нейронных сетей

	Загрузить архив:
	Файл: hc.zip (60kb [zip], Скачиваний: 142) скачать

                           ВВЕДЕНИЕ

     Целью данной работы является разработка методов  прогнозиро-

вания основанных на нейронных сетях (НС), которые может бытьис-

пользованы в прогнозирующих системах. На основе этих методов воз-

можно предсказание значения переменных, важных в процессеприня-

тия решений. Эти методы анализируют исторические данныео  пере-

менной с целью оценить ее будущее изменение.

     Для достижения указанной целинеобходиморешить  следующие

задачи:

     - провести анализ проблемы прогнозирования;

     - провестисравнительный анализ известных моделей НС;

     - выбрать модель, обеспечивающую эффективное решение задачи

       прогнозирования;

     - провести исследование предложенной модели;

     - реализовать тестовый пример для выбранной модели.

     Основное содержание работы:

     Во введении сформулирована цель и основные задачи исследова-

ния, изложены основные положения разделов работы.

     В первой главе мы обсуждаем некоторые общие  аспектыразра-

ботки прогнозирующих систем: понятиепрогноза  ицелиего  ис-

пользования, основные понятия и определения в области прогнозиро-

вания, методы прогнозирования, модели временных последовательнос-

тей, критерии производительности прогнозирующих системи  другие

общие вопросы касающиеся разработки прогнозирующих систем.

     Во второй главе мы обсуждаемизвестныемодели  НС:модель

Маккалоха и Питтса; модель Розенблата; модели Хопфилда и Больцма-

на;модельна  основеобратногораспространения.Рассмотрена

структура и особенности каждой из моделей.Перечислены  основные

задачи решаемые на основе НС, описаны способы реализации НС. Про-

веден анализ известных моделей НС с точки зрения решениярешения

задачи прогнозирования.

     В третьей главе описан способ прогнозирования с помощью  НС,

основанный на методе окон. Также приведен обзор примененияНСв

финансовой сфере.

     В четвертой главе мы приводим детальное описание метода  об-

ратного распространения - способа обучения многослойных НС.Под-

робно описана НС для распознавания рукописных цифр и и процесс ее

обучения. В главе также проведена современная оценкаметода  об-

ратного распространения.

     В пятой главе описаны эксперименты по прогнозированию  курса

американского  долларапоотношению  кукраинскомукарбованцу

(UKB/USD). Сначала описаны задачи исследования и общаяструктура

экспериментов. Далее описаны проделанные эксперименты,приэтом

подробно перечислены особенности каждого из них. Дляэксперимен-

тов,которыепоказали  удовлетворительные  результатыобучения

(сеть распознала не менее 80% образов, накоторых  обучалась)в

приложениях приведены таблицы с подробнымописанием  результатов

по каждому образу, который распознавался.

     Завершается работа заключением, в котором  сделаныосновные

теоретические и практические выводы, указана перспектива дальней-

ших исследований, а также приведены список использованной литера-

туры и приложения.

        1. ПРОГНОЗИРУЮЩИЕ СИСТЕМЫ. СОСТОЯНИЕ ПРОБЛЕМЫ

     В данной главе мы обсуждаем некоторые общие  аспектыразра-

ботки прогнозирующих систем: понятиепрогноза  ицелиегоис-

пользования, основные понятия и определения в области прогнозиро-

вания, методы прогнозирования, модели временных последовательнос-

тей, критерии производительности прогнозирующих системи  другие

общие вопросы касающиеся разработки прогнозирующих систем.

     1.1. Прогноз и цели его использования

     Прогнозирование -это ключевой момент при принятиирешений

в управлении. Конечная эффективность любогорешения  зависитот

последовательности событий, возникающих уже после принятияреше-

ния. Возможность предсказать неуправляемые аспектыэтих  событий

перед принятием решения позволяет сделать наилучший выбор,кото-

рый, в противном случае, мог-бы быть не такимудачным.  По-этому

системы планирования  иуправления,обычно,  реализуютфункцию

прогноза. Далее перечислены примеры ситуаций [44], в которыхпо-

лезно прогнозирование.

     Управление материально-производственными запасами. В  управ-

лении запасами запасных частей на предприятии по ремонтусамоле-

тов совершенно необходимо оценить степеньиспользуемостикаждой

детали. На основе этой информации определяется необходимоеколи-

чество запасных частей. Крометого,  необходимооценитьошибку

прогнозирования. Эта ошибка может быть оценена, например, наос-

нове данных о времени, которое понадобилось для доставки деталей,

которых не было на складе.

     Планированиепроизводства.Для  того,чтобы   планировать

производство семейства продуктов, возможно, необходимо спрогнози-

ровать продажу для каждого наименования продукта, с учетом време-

ни доставки, на несколько месяцев вперед. Эти прогнозы для конеч-

ных продуктов могут быть потом преобразованы в требования к полу-

фабрикатам, компонентам, материалам, рабочим и т.д.Таким  обра-

зом на основании прогноза может быть построен графикработы  це-

лой группы предприятий.

     Финансовое планирование.Финансовогоменеджера  интересует

как будет изменяться денежный оборот компании с течением времени.

Менеджер, может пожелать узнать, в какой период временивбуду-

щем оборот компании начнет падать, с тем, чтобы принятьсоответ-

ствующее решение уже сейчас.

     Разработка расписания персонала. Менеджер почтовой  компании

должен знать прогноз количества обрабатываемых писем, с темчто-

бы обработка производилась в соответствии с расписаниемперсона-

ла и производительностью оборудования.

     Планирование нового продукта. Решениеоразработке  нового

продукта обычно  требуетдолговременного прогноза  того,каким

спросом он будет пользоваться. Этот прогноз не менееважен,  чем

определение инвестиций необходимых для его производства.

     Управление технологическим процессом. Прогнозирование  также

может быть важной частью систем управления технологическимипро-

цессами. Наблюдая ключевые переменные процесса и используя их для

предсказания будущего поведения процесса, можно определитьопти-

мальное время и длительность управляющего воздействия.Например,

некоторое воздействие в течениечаса  можетповышатьэффектив-

ность химического процесса, а потом оно можетснижать  эффектив-

ность процесса. Прогнозирование производительностипроцесса  мо-

жет быть полезно при планировании времениокончания  процессаи

общего рассписания производства.

     На основании вышеизложенного можно сказать, что  прогнозиро-

вание - это предсказание будущих событий.Целью  прогнозирования

является уменьшение риска при принятиирешений.  Прогнозобычно

получается ошибочным, но ошибка зависит от используемой прогнози-

рующей системы. Предоставляя прогнозу больше ресурсов,мыможем

увеличить точность прогноза и уменьшить убытки, связанные с неоп-

ределенностью при принятии решений. Эти соображения отображены на

рис.1.1. На рисунке показано что стоимость прогнозаувеличивает-

ся по мере того, как уменьшаются убытки от неопределенности.При

некотором уровне ошибки прогнозирования затраты напрогнозирова-

ние минимальны.

Затраты │                               Общая

          │                               стоимость

          │

          │

          │

          │

          │ Потери       |

          │ из-за        |

          │ неопре-      |

          │ деленности   |

          │              |    Стоимость

          │              |    прогнозирования

          └───────────────────────────────────────────────

                      Оптимум

                                                   Уровень

                                                   ошибки

     Рис. 1.3. График иллюстрирующий соотношение и  эффективность

затрат на прогнозирование.

     Заметим, что концептуальная модель, изображенная на  рис.1.1

основана на асимптотическом сниженииубытков  прииспользовании

результатов  прогнозирования.Такимобразом,  каждый   дополни-

тельный доллар, потраченный на прогнозирование дает меньшеесни-

жение риска убытков, чем предыдущий. За некоторой точкой,допол-

нительные затраты на прогнозирование могут вовсе неприводить  к

снижению потерь. Это связано с тем, что невозможно снизитьсред-

нюю ошибку прогнозирования ниже определенного уровня, вне зависи-

мости от того насколько сложен примененный метод прогнозирования.

     Поскольку прогнозирование никогда не сможет полностью  унич-

тожить риск при принятии решений, необходимо явно определятьне-

точность прогноза. Обычно, принимаемое решениеопределяется  ре-

зультатами прогноза (при этом предполагается,что  прогнозпра-

вильный) с учетом возможной ошибки прогнозирования.

     Сказанное выше предполагает, что прогнозирующая система дол-

жна обеспечивать определение ошибки прогнозирования, также каки

само  прогнозирование.Такойподход  значительноснижаетриск

объективно связанный с процессом принятия решений.

     Необходимо отметить, чтопрогнозированиеэто  неконечная

цель. Прогнозирующая система это часть большой системы менеджмен-

та и как подсистема, она взаимодействует сдругими  компонентами

системы, играя немалую роль в получаемом результате.

1.2. Основные понятия и определения проблемы прогнозирования

     Необходимо отметить, что мы рассматриваем прогнозирование  в

целях планирования производства илиуправления  запасами.Таким

образом, наш интерес лежит в определении будущих продаж продукта,

или использовании материалов. Обычно мы будем ссылаться наинте-

ресующую нас переменную, как на "требование". Конечно, только та-

кое применение предложенных методов не обязательно ипрогнозиро-

вание быть проведено для каких-либо других целей и включатьдру-

гие типы переменных. Однако, предполагая именно такуюнаправлен-

ность, мы сформулируем специальные комментарии описывающиеобщие

принципы решения проблемы прогнозирования. Сформулированные прин-

ципы могут быть применены при прогнозировании в других целях.

     Для того, чтобы определитьпроблемупрогнозирования, рас-

смотрим ее подробнее. Результаты прогнозирования используются для

поддержки принятия решений.Следовательно,природа  принимаемых

решений определяет большинство желаемыххарактеристик  прогнози-

рующей системы. Изучение решаемой проблемыдолжно  помочьотве-

тить на вопросы о том, что нужно прогнозировать, какую форму дол-

жен принять прогноз, какие временные элементы включаются икако-

ва желательная точность прогноза.

     При определении того, что нужно  прогнозировать,мыуказы-

ваем переменные, которые анализируются ипредсказываются.Здесь

очень важен требуемый уровень детализации.Система  проектирова-

ния производства может требоватьпрогноз  требуемогоколичества

продукции в единицах по каждому виду конечного продуктапроизво-

димого предприятием и прогноз по запасным частямдля  оборудова-

ния предприятия. С другой стороны, менеджер по продаже может пот-

ребовать только прогноз общей суммы продажи продукта вдолларах,

для определения вклада в бюджет. В первом случаепрогнозирование

построено на единичном базисе, во второмслучае  прогнозирование

построено на обобщенном базисе. Пока от настребуется  результи-

рующая информация первого или второго типа нельзя однозначно выб-

рать анализируемые переменные. При планированиипроизводства  мы

можем прогнозировать на некотором обобщенном уровне, например, на

уровне семейства продуктов и потом разбить обобщенный прогноздо

единичного уровня, используя дополнительные расчеты. Припрогно-

зировании общей суммы продаж в долларах, мы можемпрогнозировать

продажу по каждому из продуктов, скажем того же семейства продук-

тов, результат преобразовать в доллары,используя  предсказанные

цены и потом оценить общий уровень продаж в долларах.

     На используемый уровень детализации влияет множествофакто-

ров: доступность и точность данных, стоимость анализа ипредпоч-

тения менеджера. В ситуациях, когданаилучший  наборпеременных

неясен, можно попробовать разные альтернативы и выбратьодиниз

вариантов, дающий наилучшие результаты. Обычно такосуществляет-

ся выбор при разработке прогнозирующих систем, основанных на ана-

лизе исторических данных.

     Второй важный этап при построении прогнозирующей  системы-

это определение следующих трех параметров: периодапрогнозирова-

ния, горизонта прогнозирования и интервалапрогнозирования.Пе-

риод прогнозирования - это основная единица времени,на  которую

делается прогноз. Мы можем пожелать знать требованиена  продукт

через неделю. В этом случае период - неделя. Горизонт прогнозиро-

вания - это число периодов в будущем, которые покрываетпрогноз.

То есть, нам может понадобиться прогноз на 10недель  вперед,с

данными по каждой неделе. В этом случае период - неделя, агори-

зонт - 10 недель. Наконец, интервал прогнозирования - частота,с

которой делается новый прогноз.Часто  интервалпрогнозирования

совпадает с периодом прогнозирования. В этом случаепрогноз  пе-

ресматривается каждый период, используя требованиеза  последний

период и другую текущую информацию в качестве базисадля  перес-

матриваемого прогноза. Если горизонт всегда имеет однуи  туже

длину (Т-периодов) и прогноз пересматривается каждый период,го-

ворят что мы работаем на основе движущего горизонта. В этомслу-

чае, мы репрогнозируем требование для Т-1 периода и делаем ориги-

нальный прогноз для периода Т.

     Выбор периода и горизонта прогнозированияобычнодиктуется

условиями принятия решений вобласти  длякоторойпроизводится

прогноз. Для того, чтобы прогнозированиеимело  смысл,горизонт

прогнозирования должен быть не меньше, чем время, необходимое для

реализации решения принятого наоснове  прогноза.Такимобразом,

прогнозирование очень сильно зависит от природы принимаемогоре-

шения. В некоторых случаях, время, требуемое на реализациюреше-

ния не определено, например, как в случае поставки запасныхчас-

тей для пополнения запасов ремонтных предприятий. Существуетме-

тоды работы в условиях подобной неопределенности,но  ониповы-

шают вариацию ошибки прогнозирования. Поскольку с увеличением го-

ризонта прогнозирования  точностьпрогноза,обычно,  снижается,

часто мы можем улучшить процесс принятия решения, уменьшив время,

необходимое на реализацию решения и, следовательно, уменьшивго-

ризонт и ошибку прогнозирования.

     Интервал прогнозирования часто определяется операционным ре-

жимом системы обработки данных, которая обеспечивает информацию о

прогнозируемой переменной. Втом  случае,еслиуровень  продаж

сообщается ежемесячно, возможно для еженедельногопрогноза  про-

даж этих данных недостаточно и интервал прогнозированиямесяц-

является более обоснованным.

     Хотя различие не велико, мы хотели бы обратить  вниманиена

различие между данными за период и точечными данными.Данныеза

период характеризуют некоторый периодвремени.  Например,общий

уровень продаж за месяц, и средняя температура за день,характе-

ризуют период времени. Точечные данные представляют значениепе-

ременной в конкретный момент времени, например, количество запас-

ных частей на конец месяца и температура в полдень. Различие меж-

ду этими двумя типами данных важнов  основномдлявыбора  ис-

пользуемой системы сбора данных, процесса измеренийи  определе-

ния ошибки прогнозирования.

     Третьим аспектом прогнозированияявляетсятребуемая  форма

прогноза. Обычно при прогнозировании проводится оценкаожидаемо-

го значения переменной, плюс оценка вариации ошибки прогнозирова-

ния или промежутка, на котором сохраняетсявероятность  содержа-

ния реальных будущих значений переменной. Этотпромежуток  назы-

вается предсказуемым интервалом.

     В некоторых случаях нам не так важно  предсказаниеконкрет-

ных значений прогнозируемой переменной, какпредсказание  значи-

тельных изменений в ее поведении. Такая задача возникает,напри-

мер, при управлении технологическими процессами, когда намнеоб-

ходимо предсказывать момент, когда процесс перейдет в неуправляе-

мое состояние.

     Точность прогноза, требуемая для конкретной проблемы  оказы-

вает огромное влияние на прогнозирующую систему. Мы ужепоказали

это на рис. 1.1. Важнейшей характеристикой системы управления яв-

ляется ее способность добиваться оптимальности при работе с неоп-

ределенностью.

     До сих пор, мы обсуждали набор проблем связанныхспроцес-

сом принятия решения. Существуетряд  другихфакторов,которые

также необходимо принимать во внимание при рассмотрениипроблемы

прогнозирования. Один из них связан с процессом генерирующимпе-

ременную. Если известно, чтопроцесс  стабилен,илисуществуют

постоянные условия, или изменения во времени происходитмедленно

- прогнозирующая система длятакого  процессаможетдостаточно

сильно отличаться от системы, которая должна производитьпрогно-

зирование неустойчивого процесса с частыми фундаментальными изме-

нениями. В первом случае, необходимо активное использование исто-

рических данных для предсказания будущего, в то время как во вто-

ром лучше сосредоточиться на субъективной оценке ипрогнозирова-

нии для определения изменений в процессе.

     Другой фактор это доступностьданных.Исторические  данные

необходимы для построения прогнозирующих процедур; будущие наблю-

дения служат для проверки прогноза. Количество, точность и досто-

верность этой информации важны при прогнозировании.Кроме  этого

необходимо исследовать представительность этих данных. Классичес-

ким примером, является  прогнозированиетребованияклиентов  на

производимый продукт, когда компания хранит записи озаказах  по

времени их доставки.

     Такой учет не отражает фактического требования,  таккакв

нем не учитываются заказы, поставленные раньшесрока,  изаказы

отмененные из-за неудовлетворительного срокапоставки.  Компания

должна установить специальную процедуру сбора данных, если ее ин-

тересует информация о том, сколько же ее клиентына  самомделе

желают приобрести продукции. Проблемыподобного  типавозникают

также, когда не учитываются потери продаж из-за ограниченных воз-

можностей производства.

     Источником ошибок при прогнозировании продаж является разли-

чие между прогнозом "того, что может быть продано"и"тем,  что

будет продано". Первая задача оценивает реальную возможностьдля

компании продать свой продукт, без учета ограниченийпо  объему.

Такой прогноз необходим при определениидоли  продуктавобщем

производстве. Вторая задача отражает ограничения объема производ-

ства, решение менеджеров, а также план или цель.Такой  прогноз,

скорее, следует назвать  бюджетом.Здесьмы  предполагаем,что

прогноз продажи, в большинствеслучаев,  будеткоррелироватьс

бюджетом продажи - ведь цель менеджера бороться за то, чтобыпо-

высить уровень продаж.

     Необходимо отметить вычислительные ограничения  прогнозирую-

щих систем. Если изредка прогнозируется несколько переменных,то

в системе возможно применение болееглубоких  процедуранализа,

чем если необходимо часто прогнозировать большоечисло  перемен-

ных. В последней ситуации, необходимобольшое  вниманиеуделить

разработке эффективного управления данными.

     И, наконец, два важных факторапроблемыпрогнозирования-

возможности и интерес людей, которые делают и используют прогноз.

В идеале, историческая информация анализируетсяавтоматически  и

прогноз представляется менеджеру для возможной модификации.Вве-

дение эксперта в процесс прогнозирования являетсяочень  важным,

но требует сотрудничества опытных менеджеров. Далее прогноз пере-

дается менеджерам, которые используют его при принятии решений. И

даже если они говорят, что прогноз это всего-лишьболтовня,  они

могут получить реальную пользу от его использования.

                  1.3. Методы прогнозирования

     Методы прогнозирования можно разделить на два класса  квали-

тативные и квантитативные, в зависимости от того, какие математи-

ческие методы используются.

     Квалитативные процедуры производят субъективную оценку,  ос-

нованную на мнении экспертов. Обычно,это  формальнаяпроцедура

для получения обобщенного предсказывания, на основеранжирования

и обобщения мнения экспертов (например на основе методовДелфи).

Эти процедуры основываются на опросах, тестах,оценке  эффектив-

ности продаж и исторических данных, но процесс с помощьюкоторо-

го получается прогноз остается субъективным.

     С другой стороны,квантиативныепроцедуры  прогнозирования

явно объявляют - каким образом получен прогноз. Четко видна логи-

ка и понятны математические операции. Эти методыпроизводят  ис-

следование исторических данных для того, чтобы определить глубин-

ный процесс, генерирующий переменную и предположив,что  процесс

стабилен, использовать знания о нем для того, чтобы экстраполиро-

вать процесс в будущее. К квантитативным процедурам прогнозирова-

ния относятся методы основанные на статистическом анализе, анали-

зе временных  последовательностей,  байесовскомпрогнозировании,

наборе фрактальных методов, нейронных сетях.

     Сейчас используется два основных типа моделей:  моделивре-

менных последовательностей и причинные модели.

     Временная последовательность - это упорядоченная во  времени

последовательность  наблюдений(реализаций)переменной.  Анализ

временных последовательностей использует для прогнозированияпе-

ременной только исторические данные о ее изменении.Таким  обра-

зом, если исследование  данныхоежемесячных  продажахавтомо-

бильных шин, показывает, что они линейно возрастают -для  пред-

ставления данного процесса можетбыть  выбраналинейнаямодель

тренда. Наклон и смещение этой прямой могут быть оценены на осно-

ве исторических данных. Прогнозирование можетбыть  осуществлено

путем экстраполяции подходящей модели, как показано на рис. 1.2.

Месячная │                               Прогноз

продажа │                                  *

      шин │

          │

          │

          │

          │

          └───┴───┴───┴───┴───┴───┴───┴───┴───┴───┴───┴───

              Сегодня                     Будущее

                                                    Месяцы

     Рис. 1.2. Прогноз на основе линейного тренда. Иллюстрация  к

прогнозированию на основе временной последовательности.

     Причинные модели используютсвязьмежду  интересующейнас

временной последовательностью и одной или более другими временны-

ми последовательностями. Если эти другие переменные коррелируют с

интересующей нас переменной и если существуютпричины  дляэтой

корреляции, модели прогнозирования, описывающие эти отношения мо-

гут быть очень полезными. В этом случае, знаязначение  коррели-

рующих переменных, можно построить модель прогноза зависимойпе-

ременной. Например, анализ может указать четкую корреляциюмежду

уровнем ежемесячной продажи шин и уровнем месячной продажиновых

автомобилей 15 месяцев назад. В этом случае информацияопрода-

жах новых автомобилей 14 месяцев назад будет полезнойдлятого,

чтобы предсказывать продажу шин в следующем месяце. Этопоказано

на рис. 1.3.

Месячная │

продажа │

      шин │

          │

          │

          │

          │

          └───┴───┴───┴───┴───┴───┴───┴───┴───┴───┴───┴───

                      Продажа автомобилей 15 месяцев назад

     Рис. 1.3. Иллюстрация к прогнозированию на основе  причинной

модели.

     Серьезным ограничением использования причинных  моделейяв-

ляется требование того, чтобы независимая переменная былаизвес-

тна ко времени, когда делается прогноз.Факт,  чтопродажашин

коррелирует с продажей новых автомобилей 15 месяцев назад, беспо-

лезен при прогнозировании уровня продаж шин на 18 месяцев вперед.

Аналогично, знание о том, что уровень продажшин  коррелируетс

текущими ценами на бензин, нам ничего не дает - ведь мы незнаем

точных цен на бензин на месяц, для которогомы  делаемпрогноз.

Другое ограничение причинных методов - большое количествовычис-

лений и данных, которое необходимо сравнивать.

     Практически, прогнозирующие системы часто используют  комби-

нацию квантитативных и квалитативных методов. Квантитативныеме-

тоды используются для последовательного анализа исторических дан-

ных и формирование прогноза. Это придает системе объективностьи

позволяет эффективно организовать обработку историческихданных.

Данные прогноза далее становятся входными данными длясубъектив-

ной оценки опытными  менеджерами,которыемогут  модифицировать

прогноз в соответствии с их взглядами на информацию и их восприя-

тие будущего.

     На выборсоответствующегометода  прогнозирования,влияют

следующие факторы, большинство которых было описано впредыдущем

разделе.

     - требуемая форма прогноза;

     - горизонт, период и интервал прогнозирования;

     - доступность данных;

     - требуемая точность;

     - поведение прогнозируемого процесса;

     - стоимость разработки, установки и работы с системой;

     - простота работы с системой;

     - понимание и сотрудничество управляющих.

           1.4. Модели временных последовательностей

     Используемые для нашихцелейвременные  последовательности

представляют собой последовательность наблюдений заинтересующей

переменной. Переменная наблюдаетсячерез  дискретныепромежутки

времени. Анализ временных последовательностейвключает  описание

процесса или феномена, который генерирует последовательность. Для

предсказания временных последовательностей,необходимо  предста-

вить поведение процесса в виде математической модели, которая мо-

жет быть распространена в будущем. Дляэтого  необходимо,чтобы

модель хорошо представляла наблюдения в любом локальномсегменте

времени, близком к настоящему. Обычно нет необходимости иметь мо-

дель, которая представляла бы очень старыенаблюдения,  таккак

они скорее всего не характеризуютнастоящий  момент.Такженет

необходимости представлять наблюдения в далеком будущем, т.е. че-

рез промежуток времени,  большийчемгоризонт  прогнозирования.

После того, как будет сформирована корректная модель для обработ-

ки временной  последовательности,можноразрабатывать  соответ-

ствующие средства прогнозирования.

│                                │

Xt│                              Xt│

│                                │

│                                │

  └───────────────────────────     └───────────────────────────

              (a)            t                 (b)t

│                                │

Xt│                              Xt│

│                                │

│                                │

  └───────────────────────────     └───────────────────────────

              (c)t                 (d)t

│                                │

Xt│                              Xt│

│                                │

│                                │

  └───────────────────────────     └───────────────────────────

              (e)t                 (f)t

     Рис. 1.4. Примеры временных  последовательностей.(a)кон-

стантный процесс; (b) линейный тренд; (c) сезонныйпроцесс;  (d)

импульс; (e) шаговое изменение; (f) рамп.

    Образцы временных последовательностей показаны на рис.1.4,

где Хi это наблюдения за период t. На рис. 1.4а, показан процесс,

остающейся с течением времени на постоянном уровне,но  обладаю-

щий разной вариацией в разные периоды. На (b) изображентрендс

изменяющимся уровнем процесса. На (c) приведен пример циклическо-

го процесса, как например в случаепродажи  сезонныхпродуктов.

Сезонные изменения могут возникать из-за таких причин как:пого-

да (и, следовательно, потребностьв  прохладительныхнапитках);

обычаи (Рождественские открытки) и т.д. Большинство моделей прог-

нозирования  временных  последовательностей  разрабатываютсядля

представления этих  вариантов  последовательностей:константных,

тренда, периодических (циклических), или их комбинаций.

     Кроме этих моделейсуществуютих  варианты,появляющиеся,

когда в процессе, генерирующемпеременную,  возникаютглубинные

изменения. Образец импульсной модели показан на (d). На одинпе-

риод процесс перешел на более высокий уровень, а потомввернулся

на предыдущий уровень. Примером может быть кратковременное увели-

чение продаж из-за забастовки на заводеконкурентов.  Впримере

(e), переход на новый уровень остается постоянным, отаком  про-

цессе мы будем говорить, как опроцессе  сшаговымизменением.

Причиной такого изменения, например, может быть приобретениено-

вого клиента. И, наконец, (f) показывает пример последовательнос-

ти, которая некоторое время находилась напостоянном  уровне,а

потом неожиданно перешла в тренд. Так как эти три типаизменений

достаточно часто встречаются на практике, мыхотим,  чтобынаша

прогнозирующая система идентифицировалапостоянные  измененияи

подстраивала модель прогнозирования под изменения в процессе.

               1.5. Критерии производительности

     Существуют ряд измерений, которыемогутбыть  использованы

для оценки эффективности прогнозирующей системы. Среди них наибо-

лее важными являются: точность прогнозирования, стоимостьсисте-

мы, результирующая польза, свойства стабильности и отзывчивости.

     Точность метода прогнозирования определяется на основе  ана-

лиза возникшей ошибки прогнозирования. Если Xt это реальноенаб-

людение за период t и Xt  этосделанныйранее  прогноз,ошибка

прогнозирования за период t

                    et = Xt - Xt                           (1.1)

     Для конкретного процессаиметода  прогнозированияошибка

прогнозирования рассматривается как случайная величинасосред-

ним E(e) и вариацией Ge.  Еслиприпрогнозированииотсутствует

систематическая ошибка, то E(e) = 0. Поэтому для определения точ-

ности прогнозирования используется ожидаемая квадратичная ошибка

               E [|et|] = E [|Xt-Xt|]                      (1.2)

или ожидаемая квадратичная ошибка

   E [et2] = E [(Xt-Xt)2]                      (1.3)

     Заметим, что ожидаемая квадратичная ошибка обычно  называет-

ся средней квадратичной ошибкой, и соответствует Ge2, если сущес-

твует систематическая ошибка прогнозирования.

     При анализе ошибки прогнозирования, общепринято  каждыйпе-

риод использовать так называемый тест пути сигнала.Целью  этого

теста является определение, присутствуют ли систематическая ошиб-

ка прогнозирования. Путевой сигнал вычисляется путем деления оце-

ненной предполагаемой ошибки прогнозирования на измеренную вариа-

цию ошибки прогнозирования, определенную каксреднее  абсолютное

отклонение. Если в прогнозе отсутствует систематическая ошибка-

путевой сигнал должен быть близок к нулю.

     Конечно, стоимость является важным элементом  приоценкеи

сравнении методов прогнозирования. Ее можно разделить наоднора-

зовые затраты на разработку и установку системы и затратынаее

эксплуатацию. Что касаетсязатрат  наэксплуатацию,то  разные

прогнозирующие процедуры могут очень сильно отличатьсяпостои-

мости получения данных, эффективности вычисленийи  уровнюдей-

ствий, необходимых для поддержания системы.

     Польза прогноза в улучшении принимаемых решений  зависитот

горизонта прогнозирования и формы прогноза такжекак  иотего

точности. Прибыль должна измеряться для всейсистемы  управления

как единого целого и прогнозирование - только одинэлемент  этой

системы.

     Мы можем также сравниватьметодыпрогнозированиясточки

зрения реакции на постоянные измененияво  временнойпоследова-

тельности, описывающей процесс, и стабильностипри  случайныхи

кратковременных изменениях.

                            ВЫВОДЫ

     При определении интервала прогнозирования  необходимовыби-

рать между риском не идентифицировать изменения впрогнозируемом

процессе и стоимостью прогноза. Если мыиспользуем  значительный

период прогнозирования, мы можем работатьдостаточно  длительное

время в соответствии с планами,основанными  на,возможно,уже

бессмысленном прогнозе.С другой стороны, если мыиспользуем  бо-

лее короткий интервал, нам приходиться оплачивать не только стои-

мость прогнозирования, но и затраты на изменение планов,стем,

чтобы они соответствовали  новомупрогнозу.Наилучший  интервал

прогнозирования зависит от стабильности процесса, последствий ис-

пользования неправильного прогноза, стоимостипрогнозированияи

репланирования.

     Посредством данных, необходимых для прогнозирующей  системы,

в систему может подаваться и ошибка, поэтому необходиморедакти-

ровать входные данные системы для того, чтобыустранить  очевид-

ные или вероятные ошибки. Конечно, небольшие ошибки идентифициро-

вать будет невозможно, но они обычно неоказывают  значительного

влияния на прогноз. Более значительные ошибки легче найтии  ис-

править. Прогнозирующая система также недолжна  реагироватьна

необычные, экстраординарные наблюдения.

     Если мы прогнозируем требование на продукт - любые  продажи,

которые рассматриваются как нетипичные или экстремальные,конеч-

но должны быть занесены в записи, но не должны включаться вдан-

ные используемые для  прогнозирования.Например,производитель,

который обслуживает ряд  поставщиков,получаетнового  клиента.

Первые заказы этого клиента, скорее всего, не будут типичными для

его более поздних заказов, так как в начале он находился наэта-

пе исследования нового товара.

     Симуляция является полезным средством при  оценкеразличных

методов прогнозирования. Метод симуляции основан на ретроспектив-

ном использовании исторических данных. Для каждого метода прогно-

зирования берется некоторая точкав  прошломиначиная  снее

вплоть до текущего момента времени проводится симуляция прогнози-

рования. Измеренная ошибка прогнозирования может быть использова-

на для сравнения методов  прогнозирования.Еслипредполагается,

что будущее отличается от прошлого, может быть созданапсевдоис-

тория, основанная на субъективном взгляде на будущую природу вре-

менной последовательности, и использована при симуляции.

Исторические данные

           │

    ┌─────────────┐

    │Генерация  │<───────────────┐

    │прогноза   │                │

    └─────────────┘                │

           │               ┌──────────────┐

           │               │Управление │

        Прогноз ──────────>│прогнозом   │<───────Текущие

           │               └──────────────┘          наблюдения

           │

    ┌─────────────┐

    │   Мнение    │

    │менеджера  │

    └─────────────┘

           │

           │

   Модифицированный

        прогноз

     Рис. 1.5. Соотношения между генерацией прогноза  иуправле-

нием прогнозом.

     На основании анализа материала даннойглавыможно  сделать

вывод, что прогнозирующая система должна выполнятьдве  основные

функции: генерацию прогнозаи  управлениепрогнозом.Генерация

прогноза включает получение данных для уточнения модели прогнози-

рования, проведение прогнозирования, учет мнения экспертов и пре-

доставление результатов прогноза пользователю. Управление прогно-

зом включает в себя наблюдение процесса прогнозирования для опре-

деления неконтролируемых условий и поиск возможности дляулучше-

ния производительности прогнозирования. Важнымкомпонентом  фун-

кции управления является тестирование путевогосигнала,  описан-

ное в разделе 1.5. Функция управления прогнозом также должнапе-

риодически определять производительность прогнозированияипре-

доставлять  результатысоответствующемуменеджеру.  Соотношения

между генерацией прогноза иуправлением  прогнозомпоказанона

рис. 1.5.

                              -   -

              2. НЕЙРОННЫЕ СЕТИ. СОСТОЯНИЕ ПРОБЛЕМЫ

     В данной главе мы обсуждаем известные модели НС: модель Мак-

калоха и Питтса;  модель Розенблата; модели Хопфилда и Больцмана;

модель на основе обратного распространения. Рассмотрена структура

и особенности каждой из моделей.Перечислены основные задачи ре-

шаемые на основе НС, описаны способы реализации НС. Проведен ана-

лизизвестныхмоделей  НС с точки зрения решения решения задачи

прогнозирования.

      2.1. Нейронные сети - основные понятия и определения

     В основу искусственных нейронных сетей [2-4, 8]положены сле-

дующие черты живых нейронных сетей,позволяющие им хорошо справ-

ляться с нерегулярными задачами:

     - простой обрабатывающий элемент - нейрон;

     - оченьбольшое число нейронов участвует в обработке инфор-

       мации;

     - одиннейрон связан с большим числом других нейронов (гло-

       бальные связи);

     - изменяющиеся по весу связи между нейронами;

     - массированная параллельность обработки информации.

     Прототипом длясоздания нейрона послужил биологический ней-

рон головного мозга.  Биологический нейрон имеет  тело,совокуп-

ность отростков - дендридов,по которым в нейрон поступают вход-

ные сигналы,и отросток - аксон, передающий выходной сигнал ней-

рона другим клеткам. Точка соединения дендрида и аксона называет-

ся синапсом [13,47].  Упрощеннофункционированиенейрона  можно

представить следующим образом:

     1) нейрон получает от дендридов набор (вектор) входных  сиг-

налов;

     2) в теле нейронаоцениваетсясуммарное  значениевходных

сигналов.Однако входы нейрона неравнозначны. Каждый вход харак-

теризуется некоторым весовым коэффициентом, определяющим важность

поступающей по нему информации.Таким образом,нейрон не просто

суммирует значения входных сигналов, а вычисляет скалярное произ-

ведение вектора входных сигналов и вектора весовых коэффициентов;

     3) нейрон формирует выходной сигнал,интенсивность которого

зависитотзначения вычисленного скалярного произведения.Если

                              -   -

оно не превышает некоторого заданного порога,то выходной сигнал

не формируется вовсе - нейрон "не срабатывает";

     4) выходной сигнал поступает на аксон и передается дендридам

других нейронов.

     Поведение искусственной нейронной сети зависит как от значе-

ния весовых параметров,  так и от функциивозбуждениянейронов.

Известнытри основных вида [17] функции возбуждения:  пороговая,

линейная и сигмоидальная.  Для пороговых элементов выход устанав-

ливаетсяна одном из двух уровней в зависимости от того,  больше

или меньше суммарный сигнал на входе нейрона некоторого порогово-

го значения. Для линейных элементов выходная активность пропорци-

ональна суммарному взвешенному входу нейрона.Для  сигмоидальных

элементоввзависимости от входного сигнала,выход варьируется

непрерывно, но не линейно, по мере изменения входа. Сигмоидальные

элементы имеют больше сходства с реальными нейронами,чем линей-

ные или пороговые,  но любой из этихтиповможно  рассматривать

лишь как приближение.

     Нейронная сеть представляет собой совокупность большого чис-

ла сравнительно простых элементов - нейронов,топология соедине-

ний которых зависит от типа сети.Чтобы создать  нейроннуюсеть

для решения какой-либо конкретной задачи,мы должны выбрать, ка-

ким образом следует соединять нейроны друг с другом,и соответс-

твующим  образомподобратьзначения  весовых параметров на этих

связях.Может ли влиять один элемент на другой, зависит от уста-

новленных соединений. Вес соединения определяет силу влияния.

                  2.2. Модели нейронных сетей

     2.2.1. Модель Маккалоха

     Теоретические основынейроматематики были заложены в начале

40-х годов. В 1943 году У. Маккалох и его ученик У. Питтс сформу-

лировали  основныеположениятеории деятельности головного моз-

га[9]. Ими были получены следующие результаты:

     - разработанамодельнейрона как простейшего процессорного

элемента, выполняющего вычисление переходной функции от скалярно-

гопроизведения вектора входных сигналов и вектора весовых коэф-

фициентов;

                              -   -

     - предложена конструкция сети таких элементов для выполнения

логических и арифметических операций;

     - сделаноосновополагающеепредположение о том,что такая

сеть способна обучаться, распознавать образы, обобщать полученную

информацию.

     Несмотря на то,что за прошедшие годы нейроматематикаушла

далеко вперед, многие утверждения Макклоха остаются актуальными и

поныне.В частности,при большом разнообразии моделейнейронов

принцип их действия, заложенный Макклохом и Питтсом, остается не-

изменным.

     Недостатком данноймоделиявляется  самамодель нейрона -

"пороговой" вид переходной функции.В формализме У.Маккалоха и

У. Питтса нейроны имеют состояния 0, 1 и пороговую логику перехо-

да из состояния в состояние.Каждый  нейронвсети  определяет

взвешенную сумму состояний всех других нейронов и сравнивает ее с

порогом,чтобы определить свое собственное состояние.Пороговый

видфункции не предоставляет нейронной сети достаточную гибкость

при обучении и настройке на заданную задачу. Если значение вычис-

ленного скалярного произведения, даже незначительно, не достигает

до заданного порога,  то выходной сигнал не формируется  вовсеи

нейрон "не срабатывает".Это значит,  что теряется интенсивность

выходного сигнала (аксона) данного нейрона и, следовательно, фор-

мируется невысокое значение уровня на взвешенных входах в следую-

щем слое нейронов.

     2.2.2. Модель Розенблата

     Серьезное развитие нейрокибернетика получила в работах  аме-

риканского  нейрофизиолога Френсиса Розенблата (Корнелльский уни-

верситет).В 1958 году он предложил свою модель нейронной  сети.

Розенблатввел в модель Маккаллока и Питтса способность связей к

модификации,что сделало ее обучаемой.Эта модель быланазвана

персептроном [11, 12, 46, 47]. Первоначально персептрон представ-

лял собой однослойную структуру с жесткой пороговой функцией про-

цессорного элемента и бинарными или многозначными входами. Первые

персептроны были способны распознавать некоторые буквы латинского

алфавита.  Впоследствиимодель персептрона была значительно усо-

вершенствована [47].

                              -   -

     Персептрон применялсядля задачи автоматической классифика-

ции,которая в общем случае состоитвразделении  пространства

признаков между заданным количеством классов. В двухмерном случае

требуется провести линию на плоскости, отделяющую одну область от

другой.  Персептронспособенделить пространство только прямыми

линиями (плоскостями) [6, 11].

     Алгоритм обучения персептрона выглядит следующим образом:

     1) системе предъявляется эталонный образ;

     2) если выходы системы срабатывают правильно,весовые коэф-

фициенты связей не изменяются;

     3) если выходы срабатывают неправильно,весовым коэффициен-

там дается небольшое приращение в сторону повышения качества рас-

познавания.

     Серьезным недостатком персептрона является то, что не всегда

существует  такаякомбинация весовых коэффициентов,при которой

имеющееся множество образов будет распознаваться даннымперсепт-

роном. Причина этого недостатка состоит в том, что лишь небольшое

количество задач предполагает,что линия,  разделяющаяэталоны,

будет прямой. Обычно это достаточно сложная кривая, замкнутая или

разомкнутая.Если учесть,что однослойный персептронреализует

только линейную разделяющую поверхность,применение его там, где

требуется нелинейная,  приводит кневерномураспознаванию  (эта

проблема называется линейной неразделимостью пространства призна-

ков).Выходом из этого положения является использование  многос-

лойного  персептрона,способногостроить  ломаную границу между

распознаваемыми образами.

    Описанная проблема не является единственной трудностью, воз-

никающей при работе с персептронами -также  слабоформализован

метод обучения персептрона. Персептрон поставил ряд вопросов, ра-

бота над решением которых привелак  созданиюболее"разумных"

нейронных  сетейиразработке  методов,нашедших применение не

только в нейрокибернетике (например, метод группового учета аргу-

ментов, применяемый для идентификации математических моделей).

                              -   -

     2.2.3. Модель Хопфилда

     В 70-е годы интерес к нейронным сетям значительно упал,  од-

нако работы по их исследованию продолжались.Был  предложенряд

интересных разработок,  таких, например, как когнитрон, способный

хорошо распознавать достаточно сложные образы (иероглифы ит.п.)

независимо от поворота и изменения масштаба изображения.Автором

когнитрона является японский ученый И. Фукушима.

     Новый виток быстрого развития моделей нейронных сетей, кото-

рый начался 8-9 лет тому назад, связан с работами Амари, Андерсо-

на,  Карпентера,Кохена [24,28, 29] и других, и в особенности,

Хопфилда [17,  37-40], а также под влиянием обещающих успехов оп-

тических технологий [1,  26] и зрелой фазы развития СБИС [29] для

реализации новых архитектур.

     Начало современномуматематическому моделированию нейронных

вычислений было положено работами Хопфилда в 1982 году, в которых

была сформулирована математическая модель ассоциативной памяти на

нейронной сети с использованием правила Хеббиана [36]для  прог-

раммирования сети.  Но не столько сама модель послужила толчком к

появлению работ других авторов наэту  тему,скольковведенная

Хопфилдом функция вычислительной энергии нейронной сети. Это ана-

лог функции Ляпунова в динамических системах.Показано,  что для

однослойной  нейроннойсети со связями типа "все на всех" харак-

терна сходимость к одной из конечного множестваравновесных  то-

чек,которые являются локальными минимумами функции энергии, со-

держащей в себе всю структуру взаимосвязей в сети.Понимание та-

кой динамики в нейронной сети было и у других исследователей. Од-

нако,Хопфилд и Тэнк [17] показаликакконструироватьфункцию

энергиидля конкретной оптимизационной задачи и как использовать

ее для отображения задачи в нейронную сеть.Этот подход  получил

развитиеидля решения других комбинаторных оптимизационных за-

дач.  Привлекательность подхода Хопфилда состоит в том,что ней-

роннаясетьдля  конкретной задачи может быть запрограммирована

без обучающих итераций. Веса связей вычисляются на основании вида

функции энергии, сконструированной для этой задачи.

     Развитием модели Хопфилда для решения комбинаторных  оптими-

зационных задач и задач искусственного интеллекта является машина

Больцмана,  предложенная и исследованная Джефери Е. Хинтоном и Р.

Земелом [20-23]. В ней, как и в других моделях, нейрон имеет сос-

тояния 1, 0 и связь между нейронами обладает весом. Каждое состо-

яниесети характеризуется определенным значением функции консен-

                              -   -

суса (аналог функции энергии).Максимум функции консенсуса соот-

ветствует оптимальному решению задачи.

     Имеется следующая информация о результатах моделированияна

ЭВМ работы нейронной сети. Моделировалась асинхронная работа сети

Хопфилда.Сеть работает хорошо,т.е. без ошибок восстанавливает

эталонныеобразы из случайных,если в нее записывается не более

15 %эталонных образов.Испытания проводились для 30 нейронов и

для100 нейронов в сети.Бралось некоторое количество случайных

векторов в качестве эталонных и строилась соответствующая матрица

весов связей. Моделирование при 100 нейронах было существенно бо-

лее медленным процессам,  чем при 30 нейронах,хотя качественная

картинаи в том и в другом случаях была одна и та же.  Приблизи-

тельно 88 %  испытаний заканчивались в эталонных состояниях, 10 %

- в устойчивых состояниях, близких к эталонным. При расстоянии <=

5 между начальным и эталонным векторами, эталонное состояние дос-

тигалось в 90 %  случаев.С увеличением расстояния,вероятность

попадания в наиболее близкое эталонное состояниегладко  падала.

При расстоянии 12 вероятность была равна 0.2.Устойчивые состоя-

ния,слишком близкие друг к другу,имеют тенденцию "сливаться",

они попадают в одну впадину на энергетической поверхности.Прог-

раммировалась задача коммивояжера на основе сети Хопфилда.Сетью

из100нейронов  для 20 различных случайных начальных состояний

были определены маршруты, 16 из которых были приемлемыми, 50% по-

пытокдали 2 пути 2.83 и 2.71 (цифры приводятся,чтобы показать

как они близки) при кратчайшем 2.67. Это результаты моделирования

работысети с непрерывной моделью нейрона.  Моделировалась также

задача коммивояжера,  но для сети типа машина Больцмана, проводи-

лась при следующих значениях управляющих параметров:A = 0.95, L

= 10, M = 100 (A - положительное число меньше единицы, но близкое

к ней, L - число испытаний, которые проводятся без изменений, M -

число последовательных испытаний,не приводящих к изменению сос-

тояния машины,как критерия завершения процесса). Процесс запус-

кался 100 раз для n = 10 (всего в сети N = n^2 нейронов) и 25 раз

дляn = 30 при различных нормальных состояниях машины Больцмана.

Для n = 10 получился оптимальный результат,для n = 30 - решение

на 14 %хуже оптимального.Отметим,что вероятностный механизм

функционирования машины Больцмана даетвозможность  получитьна

нейнесколько лучшие результаты оптимизации,чем на модели Хоп-

филда.

                              -   -

     2.2.4. Модель сети с обратным распространением

     Способом обратногораспространения (back propogation) назы-

вается способ обучения многослойных НС.В таких НС  связимежду

собой имеют только соседние слои, при этом каждый нейрон предыду-

щего слоя связан со всеми нейронами последующего слоя [5,8, 16,

27,30,42, 48, 49]. Нейроны обычно имеют сигмоидальную функцию

возбуждения.  Первый слой нейронов называется входным исодержит

число нейронов соответствующее распознаваемому образу.Последний

слой нейронов называется выходным исодержит  стольконейронов,

сколько  классовобразов распознается.Между входным и выходным

слоями располагается один или более скрытых (теневых) слоев.Оп-

ределениечисла скрытых слоев и числа нейронов в каждом слое для

конкретной задачи является неформальной задачей.

     Принцип обучения такой нейронной сети базируется на вычисле-

нии отклонений значений сигналов на выходных процессорных элемен-

тах от эталонных и обратном "прогоне" этих отклонений до породив-

ших их элементов с целью коррекции ошибки.Еще в 1974 годуПоль

Дж.Вербос[5]  изобрел значительно более эффективную процедуру

для вычисления величины,  называемой производной ошибки по  весу,

когдаработалнад  своейдокторской диссертацией в Гарвардском

университете.  Процедура, известная теперь как алгоритм обратного

распространения,  сталаоднимиз наиболее важных инструментов в

обучении нейронных сетей [5, 16, 27, 30, 42, 48, 49]. Однако это-

муалгоритму свойственны и недостатки,главный из которых - от-

сутствие сколько-нибудь приемлемых оценок времени обучения. Пони-

мание,что сеть в конце концов обучится,мало утешает,если на

это могут уйти годы. Тем не менее, алгоритм обратного распростра-

ненияимеет широчайшее применение.Например,успех фирмы NEC в

распознавании букв,  был достигнут именно благодаря алгоритму об-

ратного распространения.  Подробнее метод обратного распростране-

ния описан в главе 3.

                              -   -

        2.3. Задачи, решаемые на основе нейронных сетей

     В литературе [33,41,  43] встречаетсязначительноечисло

признаков,  которыми должна обладать задача,  чтобы применение НС

было оправдано и НС могла бы ее решить:

     - отсутствуеталгоритм или не известны принципы решения за-

       дач, но накоплено достаточное число примеров;

     - проблемахарактеризуется большими объемами входной инфор-

       мации;

     - данные неполны или избыточны, зашумлены, частично противо-

       речивы.

     Таким образом,НС хорошо подходят для распознавания образов

и решения задач классификации, оптимизации и прогнозирования. Ни-

жеприведен перечень возможных промышленных применений нейронных

сетей,на базе которых либо уже созданы  коммерческиепродукты,

либо реализованы демонстрационные прототипы [7,10,  18, 25, 35,

45, 50].

     Банки и страховые компании:

     - автоматическое считывание чеков и финансовых документов;

     - проверка достоверности подписей;

     - оценка риска для займов;

     - прогнозирование изменений экономических показателей.

     Административное обслуживание:

     - автоматическое считывание документов;

     - автоматическое распознавание штриховых кодов.

     Нефтяная и химическая промышленность:

     - анализ геологической информации;

     - идентификация неисправностей оборудования;

     - разведка залежей минералов по данным аэрофотосъемок;

     - анализ составов примесей;

     - управление процессами.

     Военная промышленность и аэронавтика:

     - обработка звуковых сигналов(разделение,идентификация,

       локализация, устранение шума, интерпретация);

     - обработка радарных сигналов (распознавание целей, иденти-

       фикация и локализация источников);

     - обработка инфракрасных сигналов (локализация);

     - обобщение информации;

     - автоматическое пилотирование.

     Промышленное производство:

                              -   -

     - управление манипуляторами;

     - управление качеством;

     - управление процессами;

     - обнаружение неисправностей;

     - адаптивная робототехника;

     - управление голосом.

     Служба безопасности:

     - распознавание лиц, голосов, отпечатков пальцев.

     Биомедицинская промышленность:

     - анализ рентгенограмм;

     - обнаружение отклонений в ЭКГ.

     Телевидение и связь:

     - адаптивное управление сетью связи;

     - сжатие и восстановление изображения.

     Представленный перечень далеко не полон. Ежемесячно западные

средства  массовойинформации сообщают о новых коммерческих про-

дуктах на базе нейронных сетей. Так, фирма LIAC выпускает аппара-

туру для контроля качества воды.Нейросистемы фирмы SAIC находят

пластиковые бомбы в багаже авиапассажиров. Специалисты инвестици-

онного банка Citicomp (Лондон) с помощью программного нейропакета

делают краткосрочные прогнозы колебаний курсов валют.

          2.4. Способы реализации нейронных сетей

     Нейронные сети могут быть реализованы двумя путями: первый -

это программная модель НС [2,3,  15,34],второй - аппаратная

[14, 31, 34, 45, 50]. На современном рынке изделия, основанные на

использовании  механизмадействия НС,первоначально появились в

виде нейроплат.В качестве типичногопримеранейроплаты  можно

назвать плату МВ 86232 японской фирмы Fujitsu. На плате размещены

процессор цифровой обработки сигналов иоперативная  памятьем-

костью 4 Мбайт, что позволяет использовать такую плату для реали-

зации НС, содержащих до тысячи нейронов. Есть и более совершенные

платы.

     Основными коммерческими аппаратными изделиями на  основеНС

являются и,  вероятно,в ближайшее время будут оставаться нейро-

БИС.Сейчас выпускаются более 20 типов нейроБИС, параметры кото-

рыхпорой различаются на несколько порядков.Среди них - модель

                             -    -

ETANN фирмы Intel.  Эта БИС, выполненная по микронной технологии,

является реализацией НС с 64т нейронами и 10240 синапсами. Ее це-

на 2000 долл.

     К числусамых  дешевых нейроБИС (41 долл.) относится модель

MD 1220 фирмы Micro Devices. Эта БИС реализует НС с 8 нейронами и

120 синапсами.

     Среди разрабатываемых в настоящее время нейроБИС  выделяются

модели фирмы Adaptive Solutions (США) и Hitachi (Япония).Нейро-

БИС фирмы Adaptive Solutions,вероятно,  станет однойизсамых

быстродействующих:  объявленная скорость обработки составляет 1,2

млрд.соединений / с. (НС содержит 64 нейрона и 262144 синапса).

НейроБИС  фирмыHitachi позволяет реализовать НС,содержащую до

576 нейронов. Эти нейроБИС, несомненно, станут основой новых ней-

рокомпьютеров и специализированных многопроцессорных изделий.

     Большинство сегодняшних нейрокомпьютеров представляют  собой

просто персональный компьютер или рабочую станцию, в состав кото-

рых входит дополнительная нейроплата.К их числу относятся, нап-

ример,  компьютерысерии FMR фирмы Fujitsu.Такие системы имеют

бесспорное право  насуществование,поскольку  ихвозможностей

вполне достаточно для разработки новых алгоритмов и решения боль-

шого числа прикладных задач методами нейроматематики. Однако наи-

большийинтерес представляют специализированные нейрокомпьютеры,

непосредственно реализующие принципы НС. Типичными представителя-

митакихсистем  являютсякомпьютерысемейства Mark фирмы TRW

(первая реализация персептрона,разработанная Розенблатом, назы-

валась Mark I).  Модель Mark III фирмы TRW представляют собой ра-

бочую станцию,  содержащую до 15 процессоров  семействаMotorola

68000 с математическими сопроцессорами. Все процессоры объединены

шиной VME.  Архитектура системы,  поддерживающая до 65 000 вирту-

альных  процессорныхэлементов с более чем 1 млн.настраиваемых

соединений,позволяет обрабатывать до 450 тыс.  межсоединений/с.

Mark IV - это однопроцессорный суперкомпьютер с конвейерной архи-

тектурой.Он поддерживает до 236 тыс.  виртуальныхпроцессорных

элементов,что позволяет обрабатывать до 5 млн. межсоединений/с.

Компьютеры семейства Mark имеют общую программнуюоболочкуANSE

(Artificial Neural System Environment),обеспечивающуюпрограмм-

ную совместимость моделей.Помимо указанныхмоделей  фирмыTRW

предлагает также пакет Mark II - программный эмулятор НС.

                             -    -

     Другой интересной модельюявляетсянейрокомпьютерNETSIM,

созданный  фирмойTexas Instruments на базе разработок Кембридж-

ского университета.  Его топология представляет собой  трехмерную

решетку  стандартныхвычислительныхузлов  набазе процессоров

80188.Компьютер NETSIM используется для моделирования таких мо-

делей НС,как сеть Хопфилда - Кохонена и НС с обратным распрост-

ранением.Его производительность достигает 450 млн.  межсоедине-

ний/с.

     Фирма Computer Recognitiion Systems (CRS) продает серию ней-

рокомпьютеров WIZARD/CRS 1000,предназначенных для обработки ви-

деоизображений.  Размер входной изображения 512 x  512пикселей.

МодельCRS 1000 уже нашла применение в промышленных системах ав-

томатического контроля.

     Сегодня нарынке  представлено много моделей нейрокомпьюте-

ров. На самом деле их, видимо, гораздо больше, но наиболее мощные

иперспективные модели по-прежнему создаются по заказам военных.

К сожалению, не имея достаточной информации о моделях специально-

го назначения, трудно составить представление об истинных возмож-

ностях современных компьютеров.

                            ВЫВОДЫ

     НС принадлежатклассуконнекционистскихмоделей обработки

информации.  Основная их черта -  использоватьвзвешенныесвязи

между  обрабатывающими элементами как принципиальное средство за-

поминания информации. Обработка в таких сетях ведется одновремен-

но большим числом элементов,благодаря чему они терпимы к неисп-

равностям и способны к быстрым вычислениям.

     Задать НС,способную решить конкретную задачу, - это значит

определить модель нейрона, топологию связей, веса связей. Нейрон-

ные сети различаются между собой меньше всего моделями нейрона, а

в основном топологией связей и правиламиопределения  весовили

правилами обучения, программирования.

     По структуре связей сети делятся на два больших класса:  од-

нослойные и многослойные. К однослойным относятся модель Хопфилда

[1,21, 30, 42-44] и последующие разработки [38], некоторые типы

модели нейронной сети, известной под названием "машина Больцмана"

[28,29].Многослойная сеть имеет входной,выходной и  скрытые

слои,на входной подается информация,с выходного снимается от-

                             -    -

вет, скрытые слои участвуют в обработке [31].

     В настоящеевремясуществует  два подхода к решению задачи

обучения НС решению задачи распознавания образов,оптимизации  и

т.д.Один, исторически более ранний, состоит в постепенной моди-

фикации весовых коэффициентов в процессе обучения.

     Подходы кобучению однослойных и многослойных сетей различ-

ны.Обучение многослойных сетей состоит в том, что на основе на-

бора примеров {входное состояние -> выходное состояние} постепен-

но подбираются веса всех связей так, чтобы каждое входное состоя-

ние вызывало соответствующее выходное. Обучающие алгоритмы предс-

тавляют собою итерационные процедуры с медленнымприближением  к

окончательным значениям весов связей. Этот способ впервые был ре-

ализован в персептроне Розенблата и локальныхправилах  обучения

наосновемодели Хебба.  В последующие годы этот подход получил

дальнейшее развитие в алгоритмах типа обратногораспространения.

     В однослойных сетях часто удается выразить веса связей через

параметры задачи (так обстоит дело с моделью Хопфилда и однослой-

ной машиной Больцмана).  Подход состоит в вычислении значений си-

наптический весов на основе заданногоописания  функционирования

нейронной сети как "черного ящика".Если сеть должна реализовать

заданную функцию,  ее рассматривают как набор элементов пороговой

логикиизадача  сводится к кусочно-линейной аппроксимации этой

зависимости и синтезу соответствующего автомата.

     Для общегослучая,когда  описание поведения сети задано в

виде набора векторов возможных состояний, поиск синаптических ве-

сов сводится к решению соответствующей системы нелинейных уравне-

ний. Такое решение было впервые найдено Хопфилдом. Появление этой

работы около 10 лет назад продемонстрировало эффективность приме-

нения аналитических методов для интерпретации поведения нейронных

сетей и привело к разработке проекционного алгоритма, позволяюще-

го вычислять значения синаптическихвесов,  сокративтемсамым

затраты времени на обучение.

     Исследования проекционногоалгоритмапоказывают,  чтопри

очевидных  достоинствах ему свойственен ряд недостатков,в част-

ности склонность сети к ложным реакциями  низкаяэффективность

при доучивании, когда необходимо ввести новые данные, не разрушая

информации,  запомненной ранее. Кроме того, до настоящего времени

принято считать, что данный алгоритм пригоден лишь для полносвяз-

                             -    -

ных нейронных сетей и неприменим в сетях другой архитектуры. Ука-

занные недостатки и малая изученность таких вопросов,как струк-

тура и частота появления ложных реакций,реализация  итеративных

процедур доучивания и применение в неполносвязных сетях,затруд-

няет использование проекционногоалгоритма  висследованияхпо

нейробионикеи при проектировании нейропроцессоров.  Недостатком

проекционного алгоритма с точки зрения решения задачи прогнозиро-

вания является то, что при обучении необходимо с начала сформиро-

вать эталоны распознаваемых образов. В задаче прогнозирования это

либо вовсе невозможно, либо чрезвычайно затруднено. Эталоны долж-

ны формироваться в самой сети на основе анализа исторических дан-

ных.

     Исходя из вышеизложенного,можно заключить, что для решения

задач прогнозирования наиболее подходит сеть с обратным распрост-

ранением. Она позволяет формальным образом обучить сеть прогнози-

роватьизменение требования на основе исторических данных о тре-

бовании.

          3. ПРОГНОЗИРОВАНИЕ НА ОСНОВЕ НЕЙРОННЫХ СЕТЕЙ

     В даннойглаве  описан способ прогнозирования с помощью НС,

основанный на методе окон.Также приведен обзор применения НСв

финансовой сфере.

     3.1. Общий подход к прогнозированию с помощью нейронных

                             сетей

     На НС задача прогнозирования формализуется через задачу рас-

познавания образов. Данных о прогнозируемой переменной за некото-

рый промежуток времени образуют образ, класс которого определяет-

ся значением прогнозируемой переменной в некоторый момент времени

запределами данного промежутка т.е.значением переменной через

интервал прогнозирования.  Метод окон предполагает  использование

двухокон Wi и Wo с фиксированными размерами n и m соответствен-

но.Эти окна, способны перемещаться с некоторым шагом по времен-

ной  последовательности  историческихданных,начиная с первого

элемента,и предназначены для доступа к данным временного  ряда,

причем первое окно Wi,  получив такие данные, передает их на вход

нейронной сети,а второе - Wo - на выход. Получающаяся на каждом

шаге пара

                            Wi -> Wo                        (3.1)

используется как элемент обучающей выборки (распознаваемый образ,

или наблюдение).

     Например, пусть есть данные о еженедельных продажах режущего

инструмента (k = 16):

100 94 90 96 91 94 95 99 95 98 100 97 99 98 96 98        (3.2)

Весь ряд смотри приложение 1.Зададим n = 4, m = 1, s = 1. С по-

мощьюметода окон для нейронной сети будет сгенерирована следую-

щая обучающая выборка:

                100 94 90 96   ->   91

                 94 90 96 91   ->   94

                 90 96 91 94   ->   95                    (3.3)

                 96 91 94 95   ->   99

                 91 94 95 99   ->   95

                 и т.д.

     Каждый следующийвектор получается в результате сдвига окон

Wi и Wo вправо на один элемент (s =1).  Предполагаетсяналичие

скрытых зависимостей во временной последовательности как множест-

ве наблюдений. Нейронная сеть, обучаясь на этих наблюдениях и со-

ответственно  настраивая свои коэффициенты,  пытается извлечь эти

закономерности и  сформироватьврезультате  требуемуюфункцию

прогноза P.

     Прогнозирование осуществляется по тому жепринципу,  чтои

формирование  обучающей выборки.При этом выделяются две возмож-

ности: одношаговое и многошаговое прогнозирование.

     МНОГОШАГОВОЕ ПРОГНОЗИРОВАНИЕ. Используется для осуществления

долгосрочного прогноза и предназначено для определенияосновного

тренда и главных точек изменения тренда для некоторого промежутка

времени в будущем. При этом прогнозирующая система использует по-

лученные (выходные) данные для моментов времени k+1, k+2 и т.д. в

качестве входных данных для прогнозированияна  моментывремени

k+2, k+3 и т.д.

     Предположим, система обучилась навременнойпоследователь-

ности (3.2). Затем она спрогнозировала k+1 элемент последователь-

ности,например, равный 95, когда на ее вход был подан последний

из известных ей образов (99,98,  96,98). После этого она осу-

ществляет дальнейшее прогнозирование и на вход подается следующий

образ (98,  96,98, 95). Последний элемент этого образа является

прогнозом системы. И так далее.

     ОДНОШАГОВОЕ ПРОГНОЗИРОВАНИЕ.Используется для краткосрочных

прогнозов,обычно - абсолютных значений последовательности. Осу-

ществляется  прогнозтолько на один шаг вперед,но используется

реальное, а не прогнозируемое значение для осуществления прогноза

на следующем шаге.

     Для временной последовательности 3.2.На шагеk+1  система

прогнозирует требование 95, хотя реальное значение (смотри прило-

жение 1) должно быть 96. На шаге k + 2 в качестве входного образа

будет использоваться образ (98, 96, 98, 96).

     Как было сказано выше,результатом прогноза на НСявляется

класс к которому принадлежит переменная,а не ее конкретное зна-

чение.  Формирование классов должно проводиться в зависимостиот

того каковы цели прогнозирования. Общий подход состоит в том, что

область  определенияпрогнозируемойпеременной  разбиваетсяна

классывсоответствии  с необходимой точностью прогнозирования.

Классы могут представлять качественный иличисленный  взгляд на

изменение переменной.

       3.2. Применение нейронных сетей в финансовой сфере

     Характерный пример успешного применения нейронных вычислений

в финансовой сфере - управление кредитными рисками. Как известно,

до выдачи кредита банки проводят сложныестатистическиерасчеты

пофинансовойнадежности  заемщика,чтобыоценить вероятность

собственных  убытковотнесвоевременноговозврата   финансовых

средств.Такие расчеты обычно базируются на оценке кредитной ис-

тории,динамике развития компании,стабильности ее основных фи-

нансовых  показателейи многих других факторов.Один широко из-

вестный банк США опробовал метод нейронных вычислений и пришелк

выводу,чтотаже задача по уже проделанным расчетам подобного

рода решается быстрее и точнее.Например,  водномиз  случаев

оценки 100 тыс.  банковских счетов новая система,  построенная на

базе нейронных вычислений,определила  свыше90%потенциальных

неплательщиков.

     Другая очень важная область применения нейронных  вычислений

вфинансовойсфере  -предсказание ситуации на фондовом рынке.

Стандартный подход к этой задаче базируется на жестко фиксирован-

ном наборе "правил игры",которые со временем теряют свою эффек-

тивность из-за изменения условий торгов на фондовой бирже.Кроме

того,системы, построенные на основе такого подхода, оказываются

слишком медленными для ситуаций,требующих мгновенногопринятия

решений.Именно поэтому основные японские компании,  оперирующие

на рынке ценных бумаг,  решили применить метод нейронных вычисле-

ний.Втипичную систему на базе нейронной сети ввели информацию

общим объемом в 33 года деловой активностинескольких  организа-

ций,включая оборот, предыдущую стоимость акций, уровни дохода и

т.д.Самообучаясь на реальных примерах,система нейроннойсети

показала  большуюточность предсказания и лучшее быстродействие:

по сравнению со статистическим подходом дала улучшениерезульта-

тивности в целом на 19%.

     Следующий пример,довольно близкийк  областифинансового

рынка, - оценка стоимости недвижимости. Решение этой задачи зави-

сит в основном от опыта сотрудника риэлтерской фирмы, учитывающе-

го множество таких неравноценных факторов,как доля собственнос-

ти,качество постройки, окружающая обстановка и т.д. Группа исс-

ледователейиз университета г.Портсмут (Великобритания) заложила

в вычислительную систему на базе нейронной сети данные пооценке

недвижимости  изобзоров риэлтеровских фирм и списков аукционных

цен.Результат показал,что самообучившаяся система дает оценки

стоимости, хорошо коррелируемые с экспертными заключениями специ-

алистов этого профиля.

     Пример удачногопрогнозирования динамики биржевых курсов по

заказу Chemical Bank продемонстрировала фирма Logica.Натехни-

ческойбазеSun  SPARCstation LX с помощью нейронных вычислений

моделировались рынки валютных курсов доллар/швейцарскийфранки

немецкая марка/швейцарский франк.Выбор именно этих валют объяс-

нялся высоким уровнем подвижности первого соотношения ималым  -

второго (до кризиса в 1993 году).Данные о динамике кросс-курсов

этих валют собирались с 1 октября 1992 года по 1 октября 1993 го-

да,при этом ценовые прогнозы характеризовались пятью категория-

ми:большой рост, малый рост, без изменений, малый спад, большой

спад. В итоге нейронная система предсказала за вышеупомянутый го-

довой период 55 %  реальных данных по первому соотношению валют и

23 % - по второму.

     Лондонская фондовая биржа (ЛФБ) начала внедрение автоматизи-

рованной  системыс элементами искусственного интеллекта на базе

нейронных вычислений для  контролявнутреннегодилинга.  Первый

этап  инсталляцииэтой системы,разработанной лондонской фирмой

SearchSpace и получившей кодовое наименованиеMonITARS  (Monito-

ring Insider Trading and Regulatory Surveillance), успешнозавер-

шен.

     По оценкамэкспертов,бум вокруг систем искусственного ин-

теллекта в финансовой индустрии пришелся на период1984  -1989

гг.Восновном он затронул США и в меньшей степени Великобрита-

нию,где разработчики сложных имитационных  системдлявоенных

(типа  программы"Звездныевойны")  решилипопытать счастья на

Уолл-стрит.Многие разработчики действительно обогатились,  чего

нельзясказать о финансовых структурах,чьи завышенные ожидания

эффекта от внедрения подобных систем неоправдались.  Так,один

крупный  инвестиционныйбанк на Уолл-стрит потратил более 1 млн.

долл.на разработку системы искусственного интеллекта для финан-

совых операций,но спустя некоторое время вынужден был вернуться

к старой,  "неинтеллектуальной".  Одной из причин неудачи был не-

достаточный  посравнению с ожидаемым уровень производительности

системы, полученный в результате ее внедрения.

     Американская фондовая биржа в Нью-Йорке пошла по аналогично-

му пути,запустив в 1987 году автоматизированную систему  Stock-

watch Alert Terminal (SWAT) II.Ее расширенная версия - SWAT III

- сейчас проходит бета-тестирование и,видимо,  будет внедрена в

начале года.  Правда,фирма SearchSpace утверждает,что выбрала

другую технологию (в отличие от SWAT),называемую "генетическими

алгоритмами",  и ведет переговоры о ее внедрении с рядом бирж Ев-

ропы и Дальнего Востока.

     В настоящее время банки пришли к выводу, что прикладные сис-

темы,  разработанные на базе нейронных сетей,  могут принестиим

пользу.На рынке уже предлагаются продукты подобного рода, опре-

деляющие вероятность риска при выдаче кредита, а также пакеты мо-

делирования и прогнозирования банкротства,анализа портфеля цен-

ных бумаг и торговли акциями.Нейронные сети заменяют традицион-

ные системы в таких научно-технических областях, как статистичес-

кие методы,  распознавание образов, линейный и нелинейный матема-

тический анализ.

     Mellon equity Associates - подразделение Mellon Bank в Питт-

сбурге(США)-  достаточнодавно применяло собственную систему

анализа линейной регрессии для распределения фондов и специальной

селекции акций. В ходе работы они обнаружили, что между различны-

ми оценочными параметрами существуют нелинейные связи, не поддаю-

щиеся точному учету с помощью имеющегося у них инструментария.

     Поскольку данное направление работ составляет примерно поло-

винувсего бизнеса компании (под управлением находится около 2.5

млрд.долл. инвестиций), то поиск более точных средств стал жиз-

ненноважнойзадачей.  Послетщательного анализа разных систем

разработок ПО с помощью нейронных сетей Mellon EquityAssociates

выбралапакет Neural-Works Professional II/Plus 5.0 фирмы Neural-

Ware (Питтсбург).  Основанием для этого послужило наличие у  него

таких возможностей,  как усиленный темп самообучения на базе "ге-

нетического алгоритма", очень важного для моделирования систем "с

шумом".

     По мнению руководителей NeuralWare Inc.,методика линейного

статистического анализа имеет следующие недостатки.При финансо-

вых расчетах существует сильная взаимосвязь между отношениемце-

на/доходы  одинаковых рынков и темпами изменения дивидендов крат-

косрочных инвестиций. Когда на кривой, отображающей динамику пос-

ледних,есть точки экстремума, то линейные методы могут дать пе-

реоценку первых.

     Neural-Works ProfessionalII/Plus5.0,  инсталлированный в

компании Mellon Equity Associates,ориентирован на IBM-совмести-

мый ПК с 486-м процессором (правда,в качестве препроцессора там

используется мэйнфрейм VAX) и содержит компилятор языка C и стан-

дартные  электронныетаблицы.Пакет  внедрялсяв течение четы-

рех-пяти месяцев и в рабочем режиме функционирует сянваря  1994

года.

     Гораздо болеераспространеныслучаи,  когда вфинансовых

структурах  применяютсяуже готовые приложения на базе нейронных

сетей, например для автоматического распознавания чеков. Подобная

системаQuickStrokes-IFPS фирмы Mitek Systems (Сан-Диего,шт.

Калифорния) была установлена в 1993 году в Федеральномрезервном

банкеЧикаго.Она позволяет оперативно распознавать сканируемые

чеки, используя среду обработки данных на базе мэйнфрейма.

     Департамент торговлии индустрии правительства Великобрита-

нии спонсирует две программы,направленные на развитие нейронных

вычисленийв финансовой сфере.Это "Клуб нейропрогнозирования",

созданный Лондонской школой бизнеса совместнос  университетским

колледжем Лондона (UCL), и "Нейронные сети для финансовых услуг",

продвигаемый фирмой TBS Bank Technology с UCL и Центром прогнози-

рования Henley.  Вместе с тем среди множества финансовых институ-

тов,известных как пользователи или исследователи этой  техноло-

гии,фигурируют такие гиганты,как Chemical Bank,Citibank, JP

Morgan и др.

     Начав работу в этом направлении сравнительно недавно,  прог-

раммисты Великобритании уже добились ощутимых результатов. Группа

специалистов,  входящихв"Клуб нейропрогнозирования",создала

нейронную систему для выработки тактики распределенияфондовна

глобальных рынках облигаций.Она охватывает семь отдельных геог-

рафических регионов:  Великобританию,Францию, Германию, Японию,

США,Канаду,Австралию, и каждый из них моделируется особой ло-

кальной сетью нейронов.  Все онипроходятсвоеобразный  процесс

обучениянаисторических данных с целью получения краткосрочных

прогнозов ситуации на этом рынке за каждый месяц.Все  локальные

предсказаниязатем объединяются в Центре управления единым порт-

фелем ценных бумаг.

     Вышеописанная система с ноября 1992 года поступила на воору-

жение Североамериканской страховой компании вБостоне  (США).В

итогекапиталэтой  компаниибыстро увеличился с 25 до 50 млн.

долл.,а портфель ценных бумаг показал доходность свыше 25  %в

первый же год внедрения системы. В этом нет ничего удивительного,

так как нейронная сеть представляет собой универсальноесредство

аппроксимации, способное решить любую задачу.

     Одна из наиболее передовых методик  нейронныхвычислений-

генетические  алгоритмы,имитирующиеэволюцию живых организмов.

Поэтому они могут быть использованыкак  оптимизаторпараметров

нейронной сети.  Подобная система для прогнозирования результатов

контрактов по долгосрочным ценным бумагамповышенной  надежности

была разработана и инсталлирована на рабочей станции Sun в компа-

нии Hill Samuel Investment Management. При моделировании несколь-

кихстратегийторгов она достигла точности 57 %в предсказании

направления движения рынка.В страховой фирме TSB GeneralInsu-

rance (Ньюпорт) используется сходная методика для прогноза уровня

риска при страховании частных кредитов. Данная нейронная сеть са-

мообучается  настатистическихданных о состоянии безработицы в

стране.

                            ВЫВОДЫ

     Прогнозирование на НС обладает рядом недостатков. Вообще го-

воря,нам необходимо как минимум 50 и лучше 100  наблюденийдля

создания приемлемой модели. Это достаточно большое число данных и

существует много случаев,  когдатакоеколичество  исторических

данных недоступно.  Например,при производстве сезонного товара,

истории предыдущих сезонов недостаточно для прогнозана  текущий

сезон, из-за изменения стиля продукта, политики продаж и т.д.

     Даже при прогнозировании требования на достаточно стабильный

продукт на основе информации о ежемесячных продажах,возможно мы

не сможем накопить историю за период от 50 до100  месяцев.Для

сезонных процессов проблема еще более сложна.Каждый сезон исто-

рии фактически представляет собой однонаблюдение.  Тоесть,в

ежемесячныхнаблюдениях за пять лет будет только пять наблюдений

за январь,пять наблюдений за февраль и т.д. Может потребоваться

информация за большее число сезонов для того, чтобы построить се-

зонную модель.  Однако, необходимо отметить, что мы можем постро-

ить удовлетворительную модель на НС даже в условиях нехватки дан-

ных. Модель может уточняться по мере того, как свежие данные ста-

новится доступными.

     Другим недостатком нейронных моделей - значительные  затраты

повремении  другим ресурсам для построения удовлетворительной

модели.Эта проблема не очень важна,если исследуется небольшое

число временных последовательностей. Тем не менее, обычно прогно-

зирующая система в области управления производствомможет  вклю-

чать от нескольких сотен до нескольких тысяч временных последова-

тельностей.

     Однако, несмотря на перечисленные недостатки, модель облада-

ет рядом достоинств. Существует удобный способ модифицировать мо-

дельпомере того как появляются новые наблюдения.Модель хорошо

работает с временными последовательностями,в которых мал интер-

вал наблюдений,  т.е. может быть получена относительно длительная

временная последовательность.По этой причине модель можетбыть

использована в областях,  где нас интересуют ежечасовые, ежеднев-

ные или еженедельные наблюдения.Эти модели также используются в

ситуациях, когда необходимо анализировать небольшое число времен-

ных последовательностей.

        4. НЕЙРОННЫЕ СЕТИ ОСНОВАННЫЕ НА МЕТОДЕ ОБРАТНОГО

                        ФУНКЦИОНИРОВАНИЯ

     В даннойглаве мы приводим детальное описание метода обрат-

ного распространения - способа обучения многослойных НС. Подробно

описанаНС для распознавания рукописных цифр и и процесс ее обу-

чения. В главе также проведена современная оценка метода обратно-

го распространения.

     4.1. Обучение нейронных сетей

     Мы можемнаучить трехслойную сеть решать определенную зада-

чу,пользуясь следующей процедурой.Сначала мы предъявляем сети

серию тренировочных примеров,которые состоят из паттерна актив-

ностей входных элементов вместе с желаемым паттерномактивностей

выходных элементов [8].

     Предположим, что мы хотим научить сеть распознавать рукопис-

ные цифры.Можно воспользоваться матрицей, из 256 сенсоров, каж-

дый из которых регистрирует присутствие или отсутствие чернильно-

гопятнышка в пределах маленькой площадки - фрагмента одной циф-

ры.Для сети,таким образом,потребуется 256 входных элементов

(по одному на каждый сенсор), 10 выходных элементов (по одному на

каждую возможную цифру) и некоторое количество скрытых элементов.

Для каждой цифры, регистрируемой сенсорами, сеть должна генериро-

вать высокую активность в  соответствующемвыходномэлементе  и

низкую в остальных выходных элементах.

     Чтобы натренировать систему,мы предъявляем ейизображение

цифрыи сравниваем действительную активность на 10 выходных эле-

ментах с желаемой активностью.Затем мы подсчитываем ошибку, оп-

ределяемую  какквадрат разности между действительным и желаемым

выходом.После этого мы изменяем вес каждой связи,с темчтобы

уменьшить  ошибку.Описанныйпроцесс тренировки мы повторяем со

многими различными написаниями каждой цифры, пока сеть не научит-

ся правильно распознавать все возможные изображения.

     Чтобы реализовать эту процедуру,нам нужно изменятькаждый

вес на величину,  пропорциональную скорости, с которой изменяется

ошибка по мере изменения веса [5].Эта величина (называемая про-

изводной ошибки по весу и обозначаемая EW) вычисляется не просто.

Один из способов вычисления EW заключается в том,чтобы изменить

вес на очень маленькую величину и посмотреть, как изменится ошиб-

ка.Однако этот метод не эффективен, поскольку требует отдельных

вариаций для каждого из многих весов.

4.2. Алгоритм обратного распространения

     4.2.1. Идея создания алгоритмаобратного распространения

     Примерно в 1974 году Поль Дж. Вербос изобрел значительно бо-

лее эффективную процедуру для вычисления EW,когда  работалнад

своей докторской диссертацией в Гарвардском университете.Проце-

дура,известная теперь как алгоритмобратногораспространением

(back propagation algorithm), стала одним из наиболее важных инс-

трументов в обучении нейронных сетей [5, 16, 27, 30, 42, 48, 49].

     Алгоритм обратного распространением проще всего понять, ког-

да все элементы сети линейны.Алгоритм вычисляет каждую EW, сна-

чала вычисляя EA - скорость,с которой изменяется ошибка при из-

менении уровня активности элемента. Для выходных элементов EA яв-

ляетсяпросто разностью между действительным и желаемым выходом.

Чтобы вычислить EA для скрытого элемента в слое,непосредственно

предшествующем выходному слою, мы сначала идентифицируем все веса

между этим скрытым элементом и выходными элементами,с  которыми

соединен  данныйскрытый элемент.Затем мы умножаем эти веса на

величины EA для этих выходных элементов искладываем  полученные

произведения. Эта сумма и равна EA для данного скрытого элемента.

Вычислив EA для всех элементов скрытого слоя,прилегающего к вы-

ходному,мы можем аналогичным образом рассчитать EA и для других

слоев,перемещаясь в направлении, обратном тому направлению, в ко-

тором активность нейронов распространяется по сети. Отсюда и наз-

вание алгоритма обратного прослеживания (или обратногораспрост-

ранения).  Послетого как  значениеEA для элемента вычислено,

подсчитать EW для каждой входной связи элемента уже несложно. Ве-

личина EW является произведением EA и активности во входной цепи.

     Для нелинейных элементов алгоритм обратного распространением

включаетдополнительный шаг.перед перемещением в обратном нап-

равлении EA необходимо преобразовать в EI - скорость,скоторой

изменяется ошибка по мере изменения суммарного входа элемента.

     4.2.2. Описание НС и алгоритма обратного распространения

     Чтобы обучитьнейронную сеть решению какой-либо задачи,мы

должны подправлять веса каждогоэлемента  такимобразом,чтобы

уменьшаласьошибка - расхождение между действительным и желаемым

выходом.Для этого нужно,чтобы нейронная сеть вычисляла произ-

водную от ошибки по весам (EW).Другими словами,она должна вы-

числять,как изменяетсяошибкапри  небольшомувеличенииили

уменьшении каждого веса. Чаще всего для вычисления EW применяется

алгоритм обратного распространением.

     Чтобы реализовать этот алгоритм,мы сначала должны дать ма-

тематическое описание нейронной сети.Предположим, что элемент j

- типичный элемент выходного слоя, а элемент i - типичный элемент

слоя,который предшествует выходному. Активность элемента выход-

ного слоя определяется двухшаговой процедурой. Сначала вычисляет-

ся суммарный взвешенный вход Xj с помощью формулы

                      Xj = S (Yi * Wij),                    (4.1)

                           i

где Yi - уровень активности i-го элемента в предшествующем слое и

Wij - вес связи между i-м и j-м элементами.

     Далее, элементвычисляетактивность Yj с помощью некоторой

функции от суммарного взвешенного входа.Обычно применяется сиг-

ма-функция:

                     Yj = 1 / (1 + e^(-Xj)).                    (4.2)

     После тогокак активности всех выходных элементов определе-

ны, сеть вычисляет ошибку , которая определяется выражением

                     E = 1/2 * S (Yj - Dj)^2,               (4.3)

                               j

где Yj - уровень активности j-го элемента в верхнем слое,а Dj -

желаемый выход j-го элемента.

     Алгоритм обратного распространением состоит из  четырехша-

гов.

     1) Вычислить, насколько быстро меняется ошибка при изменении

выходного  элемента.Этапроизводная  ошибки (EA) есть разность

между действительной и ожидаемой активностью.

                           dE

                    EAj = ──── = Yj - Dj.                   (4.4)

                           dYj

     2) Вычислить, насколько быстро изменяется ошибка по мере из-

менения суммарного входа, получаемого выходным элементом. Эта ве-

личина (EI) есть результат шага 1, умноженный на скорость измене-

ния выходного элемента с изменением его суммарного входа.

                  dE     dE   dYj

EIj =    = ─── * ─── = EIj Yj (1 - Yj).        (4.5)

                  dXj   dYj   dXj

     3) Вычислить, как быстро изменяется ошибка по мере изменения

веса на входной связи выходного элемента.Эта величина (EW) есть

результат шага 2,  умноженный на уровень активности элемента,из

которого исходит связь.

                    dE     dE    dXj

             EWij = ──── = ─── * ─── = EIj Yi.              (4.6)

                    dWij   dXj   dXij

     4) Вычислить,как быстро изменяется ошибка с изменением ак-

тивности элемента из предыдущего слоя. Этот ключевой шаг позволя-

ет применять обратное распространение к многослойным сетям. Когда

активность элемента из предыдущего слоя изменяется, это влияет на

активности всех выходных элементов,с которыми он связан. Поэто-

му,чтобы подсчитать суммарное воздействие на ошибку, мы склады-

ваем все эти воздействия на выходные элементы. Но эти воздействия

нетрудно  подсчитать.Этотрезультат шага 2,умноженный на вес

связи к соответствующему выходному элементу.

                    dE        dE    dXj

              EAi = ──── = S (─── * ─── ) = S (EIj Wij).    (4.7)

                    dYi    j  dXj   dYij    j

     Пользуясь шагами 2 и 4,мы можем преобразовать величиныEA

одного слоя элементов в EA предыдущего слоя.Эту процедуру можно

повторять,чтобы вычислять EA стольких предыдущих слоев, сколько

их есть.Зная EA для элемента, мы можем воспользоваться шагами 2

и 3, чтобы вычислить EW на его выходных связях.

4.2.3. Современная оценка алгоритмаобратного распространения

     На протяжении нескольких лет после его изобретения  алгоритм

обратного распространением оставался почти незамеченным,вероят-

но, потому, что не был в должной мере оценен специалистами. В на-

чале 80-х годов Д.  Румельхарт,работавший в то время в Калифор-

нийском университете в Сан-Диего,и Д.  Паркер изСтанфордского

университете  независимо друг от друга вновь открыли алгоритм.В

1986 году Румельхарт,  Р.Уильямс, также из Калифорнийского уни-

верситета в Сан-Диего, и Джеффери Е. Хинтон [5] продемонстрирова-

ли способность алгоритма обучитьскрытые  элементывырабатывать

интересные представления для сложных паттернов на входе и тем са-

мым сделали его известным.

     Алгоритм обратного распространения оказался на удивление эф-

фективным в обучении сетей сомногими  слоямирешениюширокого

класса задач [2,  5, 15]. Но более всего он эффективен в ситуаци-

ях, когда отношения между входом и выходом нелинейны, а количест-

во обучающих данных велико. Применяя алгоритм, исследователи соз-

дали нейронные сети,  способныераспознаватьрукописные  цифры,

предсказывать изменения валютного курса и оптимизировать химичес-

кие процессы.Они даже воспользовались алгоритмомдляобучения

сетей,которые идентифицируют переродившиеся пред-раковые клетки

в анализируемых образцах ткани и регулируютположение  зеркалв

телескопах, чтобы исключить атмосферные искажения.

     Р. Андерсен из Массачусетского технологического института  и

Д.Зипсериз Калифорнийского университета в Сан-Диего показали,

что алгоритм обратного распространения представляет собойвесьма

эффективный инструмент для понимания функций некоторых нейронов в

коре головного мозга.  Они научили нейронную сеть реагировать  на

зрительные стимулы,  применив алгоритм обратного распространения.

Затем они обнаружили,  что реакция скрытых элементов  удивительно

схожасреакцией реальных нейронов,выполняющих преобразование

зрительной информации,  поступающей от сетчатки, в форму, необхо-

димуюдляболее глубоких областей мозга,перерабатывающих зри-

тельную информацию.

                            ВЫВОДЫ

     Метод обратного распространения достаточно хорош при  созда-

нии представлений о распознаваемом образе в скрытых элементах се-

ти. Алгоритм обратного распространения показал эффективность про-

цедуробучения НС,в которых веса постепенно изменяются,чтобы

уменьшить ошибки. Раньше многие ученые полагали, что подобные ме-

тоды окажутся безнадежными,поскольку должны неизбежно приводить

к локально оптимальным, но в более широком масштабе ужасным реше-

ниям.Например, сеть для распознавания цифр может устойчиво схо-

диться к набору весов, при котором она будет путать единицы с се-

мерками,хотя существует набор весов,позволяющий различать эти

цифры наряду с другими. Из-за опасений подобного рода распростра-

нилось  убеждение,чтопроцедура  обучения представляет интерес

только в том случае,  если она гарантирует сходимость к глобально

оптимальному  решению.Методобратного распространения показал,

что для многих задач глобальная сходимость не являетсянеобходи-

мым условием для того, чтобы достичь хороших результатов.

     С другой стороны,с биологической точки зрения, как подобие

работы головного мозга,  метод обратного распространения выглядит

не очень убедительным. Наиболее очевидная трудность заключается в

том, что информация должна проходить по тем же самым связям в об-

ратном направлении, от каждого последующего уровня к предыдущему.

Ясно,чтоэтого не происходит в реальных нейронах.Однако этот

довод на самом деле является довольно поверхностным.В мозге су-

ществует множество путей, ведущих от следующих слоев нервных кле-

ток к предыдущим,  и эти пути могут использоваться многообразными

способами для передачи информации, необходимой для обучения.

     Более серьезную проблему представляет  собойбыстродействие

алгоритма  обратного распространения.Здесь центральным является

вопрос о том,как быстро растет время, необходимое для обучения,

по мере возрастания размеров сети.Время, требующееся для вычис-

ления производных от ошибки по весамна  заданномтренировочном

примере,  пропорционально размерам сети, поскольку объем вычисле-

ний пропорционален количеству весов.Однако более  крупныесети

требуютбольшего количества тренировочных примеров,и им прихо-

дится модифицировать веса большее число раз. Следовательно, время

обучения растет значительно быстрее, чем размеры сети.

     Самая серьезная проблемаметодаобратного  распространения

заключается в том, что такая НС требует учителя, предоставляющего

желаемый выход для каждого тренировочного примера.В отличие  от

этогочеловекобучается  большинствувещей без помощи учителя.

Никто не дает нам детальногоописания  внутреннихпредставлений

мира,которые мы должны научиться извлекать из нашего сенсорного

входа. Мы учимся понимать речь или зрительные сцены без каких-ли-

бо прямых инструкций.

     Если сеть сталкивается с большим набором сочетаний сигналов,

но не имеет никакой информации о том,что с ними следует делать,

то, очевидно, перед ней нет четко поставленной задачи. Тем не ме-

нее исследователи разработали несколько универсальных,неконтро-

лируемых процедур,  которые могут правильно регулировать  весовые

параметры сети.  Все эти процедуры имеют два общих качества:они

оперируют,явно или неявно, с некоторым понятием качества предс-

тавления и работают, изменяя веса, чтобы повысить качество предс-

тавления, вырабатываемого скрытыми элементами. Не смотря на отме-

ченные  недостаткиприменение метода обратного распространения в

целях прогнозирования требований оправданно,так как при прогно-

зировании не возникает ситуации неопределенности действий,кото-

рые необходимо проделать с информацией поступающей на вход НС.

              5. ПРОГНОЗИРОВАНИЕ КУРСА UKB/USD

     В данной главе описаны эксперименты по прогнозированию курса

американского  долларапоотношению  кукраинскомукарбованцу

(UKB/USD).Сначала описаны задачи исследования и общая структура

экспериментов.  Далее описаны проделанные эксперименты,  при этом

подробно перечислены особенности каждого из них.Для эксперимен-

тов,которыепоказали  удовлетворительные  результатыобучения

(сеть распознала не менее 80%образов,  на которых обучалась)в

приложениях  приведенытаблицы с подробным описанием результатов

по каждому образу, который распознавался.

     5.1. Общий подход к прогнозированиюкурса UKB/USD

     Исследования проводились на основе моделисетис  обратным

распространением (подробнее смотри главу 3). Примененная методика

прогнозирования подробно описана в главе 4.

     Целью экспериментов было прогнозирование курса UKB/USD.Для

достижения данной цели было проведено исследование влияния предс-

тавления исторических и прогнозируемых данных на ошибку прогнози-

рования.Также были рассмотрены вопросы влияния структуры НС  на

скорость обучения сети и ошибку прогнозирования.При этом стави-

лись следующие задачи:

     - поиск критериев прогнозирования;

     - поиск оптимальногопредставленияисторических  данныхо

       курсе;

     - поиск оптимального представления результата  прогнозирова-

       ния;

     - поископтимального  размераокна;

     - поископтимальной структуры сети.

     Прогнозирование курсаUKB/USD проводилось на основе времен-

ной последовательности ежедневных данных о курсе.Такой подход к

прогнозированию основан на идее американских экономистов, что для

прогнозирования некоторых экономических показателей вполне доста-

точно исследования истории их изменения. Успешное применение дан-

ного подхода другими исследователями [7] для прогнозирования кур-

сов DM/USD и SUR/USD позволяет надеяться на успех прогнозирования

UKB/USD.

     Исходными данными для экспериментов служили ежедневные изме-

рениякурсаUKB/USD  с 15.06.93 по 26.06.95 всего 842 измерений

(данные взяты из архивов  банкаPorto-Franco).Прогнозировалось

среднее  значениекурсаза день (среднее арифметическое дневных

курсов покупки и продажи).

     Каждый из экспериментов, можно разбить на несколько  этапов.

     Первым этапом было формирование обучающей выборки.  Наэтом

этапеопределяется вид представления исторических и прогнозируе-

мых данных и происходит формирование наборов, подаваемых на вход-

ные нейроны и соответствующих им наборов снимаемых с выходов сети

(подробнее смотри раздел 2.2.4). Большинство опытов прогнозирова-

ло не фактический курс,  а его относительное изменение (ОИК). От-

носительное изменение курса определяется по формуле

                OIKt = (Kt+1 - Kt)/Kt                 (5.1)

Для автоматизации процесса формирования обучающих выборок был ис-

пользован пакет MS EXCEL 5.0.

     Вторым этапом является обучение НС на основе  сформированной

на первом этапе обучающей выборке. Качество обучения характеризо-

валось ошибкой обучения,  определяемой как суммарное квадратичное

отклонение значений на выходах НС в обучающей выборке от реальных

значений,  полученных на выходах НС. Критерием прекращения обуче-

ния было прохождение сетью 1500 итераций или уменьшение ошибки на

выходах сети на два порядка,по сравнению с первичной ошибкой. В

томслучае,если  при описании опыта не указано,  что произошло

снижение ошибки на два порядка, обучение было остановлено по пер-

вому критерию.

     На третьем этапе проводилось тестирование обучения сети.  На

вход подавалось порядка 4 - 5% наборов из обучающей выборки и оп-

ределялось качество распознавания сети.Опыт  считалсяуспешным

если  относительнаядостоверностьраспознавания образов была не

менее 80%.

     На четвертом этапе проводилась симуляция прогнозирования. На

вход сети подавались наборы,которые не были внесены в обучающую

выборку, но результат по ним (прогноз) известен.

     Результаты успешных опытов приведены в приложениях  2.1-2.3.

Каждая из таблиц приложений разделены на две части. В первой рас-

положены результаты тестирования обучения, во второй - результаты

симуляции прогнозирования. Первый столбец в таблице описания опы-

тов содержит номер набора в тестовой илисимуляционной  выборке.

Остальные столбцы содержат результаты экспериментов.В них может

находиться знак *, или пара цифр. Энак * означает, что данный на-

бор распознан правильно.  Цифры в строке обозначают, что при рас-

познавании произошла ошибка. Первая цифра обозначает номер нейро-

на,которыйсоответствует  фактическому значению переменной,  а

вторая - фактическому.

    5.2. Описание экспериментов

ЭКСПЕРИМЕНТ 1

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ:Данные подаются на входы НС в виде

временной  последовательности  ежедневныхизмерений фактического

курса (в тысячах карбованцев).

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ  ДАННЫХ:ВыходНСобразует17 классов

прогнозируемого результата - курс с шагом от 5 до 25 тыс. крб.

РАЗМЕР ОКНА: 7

СТРУКТУРА СЕТИ: 7:13:17 (количество входных нейронов : количество

нейронов в скрытом слое : количество выходных нейронов).

РЕЗУЛЬТАТЫ: Неудача.  Не были распознаны образы на которых обуча-

лась сеть.

ЭКСПЕРИМЕНТ 2

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ:Данные подаются на входы НС в виде

временной  последовательности ежедневных измерений нормированного

десятичного логарифма относительного изменения курса впроцентах

(ОИК в %).

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ  ДАННЫХ:ВыходНС  образует20 классов

прогнозируемого результата - нормированныйдесятичный  логарифма

ОИК в % с шагом 0.05 и два класса, определяющих направление изме-

нения курса - рост или падение (см. таблицу 5.1).

                                         Таблица 5.1. Выходы НС

                                         в эксперименте 2.

┌────────────────────┬─────────────────────────────────────────┐

│   Номернейрона   │        Распознаваемыйобраз│

├────────────────────┼─────────────────────────────────────────┤

│         1          │           Повышение курса               │

│         2          │           Понижение курса               │

│         3          │           от     0  до0.05            │

│         4          │           от  0.05до0.10│

.        ..          .                .......                  .

│        21          │           от  0.90до0.95│

│        22          │           от  0.95до1.00            │

└────────────────────┴─────────────────────────────────────────┘

РАЗМЕР ОКНА: 7

СТРУКТУРА СЕТИ: 7:11:22

РЕЗУЛЬТАТЫ: Неудача.  Не были распознаны образы на которых обуча-

лась сеть.

     В экспериментах с 3 по 8 были проделаны попытки улучшить ка-

чество результатов полученных в экспериментах 1 и 2.Предполага-

лось,что этого можно добиться изменяя ширину окна  иструктуру

нейронной сети (количество нейронов в скрытом слое).Были прове-

дены эксперименты со структурой сети 14:11:22, 21:11:22, 14:6:22,

21:6:22,14:18:22, 21:18:22. Все эксперименты закончились неуда-

чей - не были распознаны образы на которых обучалась сеть.

ЭКСПЕРИМЕНТ 9

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ:Каждое измерение подавалось на три

нейрона: первые два определяли направление изменения курса - рост

или падение,на третий подавался нормированный десятичный  лога-

рифм ОИК в % с шагом 0.05.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ:Выход  НСобразует20  классов

прогнозируемого  результата-нормированный десятичный логарифм

ОИК в %с шагом 0.05 и два класса, определяющих направление изме-

нения курса - рост или падение (см. таблицу 5.1).

РАЗМЕР ОКНА: 7

СТРУКТУРА СЕТИ: 21:11:22

РЕЗУЛЬТАТЫ: Неудача.  Не были распознаны образы на которых обуча-

лась сеть.

     В экспериментах с 10 по 13 продолжались попытки улучшить ка-

чество результатов.  Предполагалось,что этого можно добиться на

основе подхода описанного в эксперименте 9, изменяя ширину окна и

структуру  нейроннойсети(количество нейронов в скрытом слое).

Были  проведеныэкспериментысо   структурой   сети   42:11:22,

63:11:22, 42:18:22, 63:18:22. Все эксперименты закончились неуда-

чей - не были распознаны образы на которых обучалась сеть.

     Начиная с 14 эксперимента было предложено работать при прог-

нозировании со свернутым описанием исторических данных. Единичным

измерениемпри таком подходе считается описание периода времени,

в течении которого приращение исследуемойпеременной  оставалось

постоянным. Такой период описывается парой чисел. В это паре пер-

вое число обозначает приращение переменной,которое держалосьв

течениинекоторого периода,а второе - длительность периода,в

течении которого удерживалось это приращение.Далее рассматрива-

ются различные варианты представления предложенного описания дан-

ных.Свертка описания исторических данных проводилось на  основе

временной последовательности ОИК в % (интервал - один день).

ЭКСПЕРИМЕНТ 14.

Исследовалось влияние числа прогнозируемых на одной НС переменных

на достоверность прогнозирования. Прогнозирование значения и дли-

тельности приращения проводилось на двух различных сетях. Окно на

входеНСорганизовано  изпар,описывающих промежуток времени

(приращение, длительность).

ЭКСПЕРИМЕНТ 14.1. Прогнозирование значения приращения

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ:ОИК в %  кластеризуется и подается

на входы НС в соответствии с данными из таблицы 5.2.Время клас-

теризуетсяиподается  навходы НС в соответствии с данными из

таблицы 5.3.

                           Таблица 5.2.Интервалы кластеризации

                           и соответствующая им кодировка входов

                           для данных по ОИК. Эксперимент 14.

┌──────────────────────────┬───────────────────────────────────┐

│ Интервал кластеризации,% │   Код, подаваемый на вход нейрона │

├──────────────────────────┼───────────────────────────────────┤

│         менее   - 10     │              - 100                │

│ от- 9.99до  - 2.41   │              -  10                │

│ от- 2.40до  - 0.01   │              -   1                │

│            0             │                  0                │

│ от    0.01до    2.40   │                  1                │

│ от    2.41до    9.99   │                 10                │

│ от   10   и более        │                100                │

└──────────────────────────┴───────────────────────────────────┘

                           Таблица 5.3.Интервалы кластеризации

                           и соответствующая им кодировка входов

                           для данных по времени. Эксперимент 14.

┌──────────────────────────┬───────────────────────────────────┐

│Интервал кластеризации,дни│   Код, подаваемый на вход нейрона │

├──────────────────────────┼───────────────────────────────────┤

│            1             │                   0               │

│ от    2     до    3      │                   1               │

│ от    4     до    7      │                  10               │

│ от    8         и более│                 100               │

└──────────────────────────┴───────────────────────────────────┘

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ:С выхода НС снималисьданные  о

распознанном  классевсоответствии с интервалами кластеризации

приведенными в таблице 5.2.

РАЗМЕР ОКНА: 7

СТРУКТУРА СЕТИ: 14:10:7

РЕЗУЛЬТАТЫ: Сеть распознала 80 %образов,  на которых обучалась.

Было получено 33.3 % правильных прогнозов. Результаты приведены в

приложении 2.1.

ЭКСПЕРИМЕНТ 14.2. Прогнозирование длительности приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 14.1.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ  ДАННЫХ:Свыхода НС снимались данные о

распознанном классе в соответствиис  интерваламикластеризации

приведенными в таблице 5.3.

РАЗМЕР ОКНА: 7

СТРУКТУРА СЕТИ: 14:9:4

РЕЗУЛЬТАТЫ: Сеть распознала 100 %образов, на которых обучалась,

было получено 66.7 % правильных прогнозов. Результаты приведены в

приложении 2.1.

ЭКСПЕРИМЕНТ 15

Исследовалось влияние числа прогнозируемых на одной НС переменных

на достоверность прогнозирования. Прогнозирование значения и дли-

тельности приращения проводилось на одной сети.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 14.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ:С выхода НС снималисьданные  о

распознанном классе приращения в соответствии с интервалами клас-

теризации приведенными в таблице 5.2.и  ораспознанномклассе

промежутка  временивсоответствии  с интервалами кластеризации

приведенными в таблице 5.3.

РАЗМЕР ОКНА: 7

СТРУКТУРА СЕТИ: 14:12:11

РЕЗУЛЬТАТЫ: Сеть  распознала 70%образов,на которых обучалась,

было получено 14.3% правильных прогнозов. По сравнению с экспери-

ментом 14,  результаты ухудшились на 30 - 40%. Значительно увели-

чилось число "соседних" ошибок и нечеткость в распознавании обра-

зов. Результаты приведены в приложении 2.1.

ЭКСПЕРИМЕНТ 16

Исследовалось влияние  расположениягруппописания исторических

данных (приращение и длительность) на входах НС. Организованы ок-

но приращений и окно длительности,подаваемые на входы НС после-

довательно.

ЭКСПЕРИМЕНТ 16.1. Прогнозирование значения приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 14.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 14.1.

РАЗМЕР ОКНА: 7

СТРУКТУРА СЕТИ: 14:10:7

РЕЗУЛЬТАТЫ: Сеть распознала 80 %образов,  на которых обучалась.

Было получено 42.9 % правильных прогнозов. Результаты приведены в

приложении 2.1.

ЭКСПЕРИМЕНТ 16.2. Прогнозирование длительности приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 14.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 14.2.

РАЗМЕР ОКНА: 7

СТРУКТУРА СЕТИ: 14:9:4

РЕЗУЛЬТАТЫ: Сеть  распознала 90%образов,на которых обучалась.

Было получено 42.9%  правильных прогнозов. Результаты приведены в

приложении 2.1.

ЭКСПЕРИМЕНТ 17

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 16

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 15

РАЗМЕР ОКНА: 7

СТРУКТУРА СЕТИ: 14:10:11

РЕЗУЛЬТАТЫ: Сеть распознала 70 %образов,  на которых она обуча-

лась,было получено 14.3 %правильных прогнозов. По сравнению с

экспериментом 16,  результаты ухудшились на 20 - 35%. Значительно

увеличилосьчисло "соседних" ошибок и нечеткость в распознавании

образов. Результаты приведены в приложении 2.1.

ЭКСПЕРИМЕНТ 18

Дальнейшая работа  с НС из эксперимента 14 показала,  что классы,

кодируемые 10 и 100 (-10 и -100) были неразличимы.Фактически  -

сетьработалас 5 классами приращения и 3 классами длительности

приращения. Для повышения точности представления данных, кодиров-

ка классов была изменена.

ЭКСПЕРИМЕНТ 18.1. Прогнозирование значения приращения

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ:ОИК в %  кластеризуется и подается

на входы НС в соответствии с данными из таблицы 5.4.Время клас-

теризуется и подается на входы НС всоответствии  сданнымииз

таблицы 5.5.

                           Таблица 5.4.Интервалы кластеризации

                           и соответствующая им кодировка входов

                           для данных по ОИК. Эксперимент 18.

┌──────────────────────────┬───────────────────────────────────┐

│ Интервал кластеризации,% │   Код, подаваемый на вход нейрона │

├──────────────────────────┼───────────────────────────────────┤

│         менее   - 10     │               - 3                 │

│ от- 9.99до  - 2.41   │               - 2                 │

│ от- 2.40до  - 0.01   │               - 1                 │

│            0             │                 0                 │

│ от    0.01до    2.40   │                 1                 │

│ от    2.41до    9.99   │                 2                 │

│ от   10   и более        │                 3                 │

└──────────────────────────┴───────────────────────────────────┘

                           Таблица 5.5.Интервалы кластеризации

                           и соответствующая им кодировка входов

                           для данных по времени. Эксперимент 18.

┌──────────────────────────┬───────────────────────────────────┐

│Интервал кластеризации,дни│   Код, подаваемый на вход нейрона │

├──────────────────────────┼───────────────────────────────────┤

│            1             │                 0                 │

│ от    2     до    3      │                 1                 │

│ от    4     до    7      │                 2                 │

│ от    8         и более│                 3                 │

└──────────────────────────┴───────────────────────────────────┘

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ:С выхода НС снималисьданные  о

распознанном  классевсоответствии с интервалами кластеризации

приведенными в таблице 5.4.

РАЗМЕР ОКНА: 7

СТРУКТУРА СЕТИ: 14:10:7

РЕЗУЛЬТАТЫ: Сеть распознала 90 %образов,  на которых обучалась,

было получено 42.9 % правильных прогнозов. Результаты приведены в

приложении 2.1.

ЭКСПЕРИМЕНТ 18.2. Прогнозирование длительности приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 18.1.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ  ДАННЫХ:Свыхода НС снимались данные о

распознанном классе в соответствиисинтерваламикластеризации

приведенными в таблице 5.5.

РАЗМЕР ОКНА: 7

СТРУКТУРА СЕТИ: 14:9:4.

РЕЗУЛЬТАТЫ: Сеть распознала 100 %образов, на которых обучалась.

Было получено 47.6 % правильных прогнозов. Результаты приведены в

приложении 2.1.

В экспериментах с 19 по 33 проводился подбор оптимального размера

окна. Результаты экспериментов с 19 по 21 приведены ниже и в при-

ложениях. Результаты экспериментов с 22 по 33 отображены только в

выводах по результатам экспериментов в конце главы.

ЭКСПЕРИМЕНТ 19

ЭКСПЕРИМЕНТ 19.1. Прогнозирование значения приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 14.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 14.1.

РАЗМЕР ОКНА: 14

СТРУКТУРА СЕТИ: 28:17:7

РЕЗУЛЬТАТЫ: Сеть распознала 100 %образов, на которых она обуча-

лась,было получено 42.9 % правильных прогнозов. Результаты при-

ведены в приложении 2.2.

ЭКСПЕРИМЕНТ 19.2. Прогнозирование длительности приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 14.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 14.2.

РАЗМЕР ОКНА: 14

СТРУКТУРА СЕТИ: 28:16:4.

РЕЗУЛЬТАТЫ: Сеть распознала 100 %образов, на которых обучалась,

было получено 57.1 % правильных прогнозов. Результаты приведены в

приложении 2.2.

ЭКСПЕРИМЕНТ 20

ЭКСПЕРИМЕНТ 20.1. Прогнозирование значения приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 16.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 16.1.

РАЗМЕР ОКНА: 14

СТРУКТУРА СЕТИ: 28:17:7.

РЕЗУЛЬТАТЫ: Сеть распознала 100 %образов, на которых обучалась,

былополучено 50%правильных прогнозов.Результаты приведены в

приложении 2.2.

ЭКСПЕРИМЕНТ 20.2. Прогнозирование длительности приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 16.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 16.2.

РАЗМЕР ОКНА: 14

СТРУКТУРА СЕТИ: 28:16:4.

РЕЗУЛЬТАТЫ: Сеть распознала 100 %образов, на которых обучалась,

было получено 78 %  правильных прогнозов.Результаты приведены в

приложении 2.2.

ЭКСПЕРИМЕНТ 21

ЭКСПЕРИМЕНТ 21.1. Прогнозирование значения приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 18.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 18.1.

РАЗМЕР ОКНА: 14

СТРУКТУРА СЕТИ: 28:17:7.

РЕЗУЛЬТАТЫ: Сеть распознала 90 %образов,  на которых обучалась,

было получено 50 %  правильных прогнозов.Результаты приведены в

приложении 2.2.

ЭКСПЕРИМЕНТ 21.2. Прогнозирование длительности приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 18.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 18.2.

РАЗМЕР ОКНА: 14

СТРУКТУРА СЕТИ: 28:16:4.

РЕЗУЛЬТАТЫ: Сеть распознала 100 %образов, на которых она обуча-

лась,было получено 64.3 % правильных прогнозов. Результаты при-

ведены в приложении 2.2.

На основании 33 экспериментов для прогнозирования был выбран сле-

дующий  подход:прогнозированиепроизводится на основе периодов

стабильности ОИК в %;  величина и длительность приращения прогно-

зируются на разных НС;  оптимальный размер окна 14; окна величины

и длительности приращения подаются на входыНС  последовательно.

Начиная с эксперимента 34 мы исследовали влияние интервалов клас-

теризации и вида кодирования на достоверность прогнозирования.

ЭКСПЕРИМЕНТ 34

На вход НС подаются пары (значение, длительность).

ЭКСПЕРИМЕНТ 34.1. Прогнозирование значения приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ:ОИК в %  кластеризуется и подается

на входы НС в соответствии с данными из таблицы 5.6.Время клас-

теризуетсяиподается  навходы НС в соответствии с данными из

таблицы 5.7.

                           Таблица 5.6.Интервалы кластеризации

                           и соответствующая им кодировка входов

                           для данных по ОИК. Эксперимент 34.

┌──────────────────────────┬───────────────────────────────────┐

│ Интервал кластеризации,% │   Код, подаваемый на вход нейрона │

├──────────────────────────┼───────────────────────────────────┤

│      больше        13    │                3                  │

│ от   12.99   до    10    │                2                  │

│ от    9.99   до     5    │                1.6                │

│ от    4.99   до     2    │                0.75               │

│ от    1.99   до     1    │                0.5                │

│ от    0.99   до     0.01 │                0.3                │

│            0             │                0                  │

│ от- 0.01   до  -1.49 │               -0.3                │

│ от- 1.5    до  -2.99 │               -0.5                │

│ от- 3      до  -4.99 │               -0.75               │

│ от- 5      до  -7.99 │               -1.6                │

│ от- 8    и меньше      │               -2                  │

└──────────────────────────┴───────────────────────────────────┘

                           Таблица 5.7.Интервалы кластеризации

                           и соответствующая им кодировка входов

                           для данных по времени. Эксперимент 34.

┌──────────────────────────┬───────────────────────────────────┐

│Интервал кластеризации,дни│   Код, подаваемый на вход нейрона │

├──────────────────────────┼───────────────────────────────────┤

│           1              │- 0.75                 │

│           2              │- 0.5                  │

│           3              │- 0.235                │

│           4              │              0                    │

│ от    5     до     8     │              0.235                │

│ от     9    до    14     │              0.5                  │

│ от    15    до    19     │              0.75                 │

│ от    21    и дольше     │              1.6                  │

└──────────────────────────┴───────────────────────────────────┘

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ:С выхода НС снималисьданные  о

распознанном  классевсоответствии с интервалами кластеризации

приведенными в таблице 5.4.

РАЗМЕР ОКНА: 7

СТРУКТУРА СЕТИ: 14:13:12.

РЕЗУЛЬТАТЫ: сеть распознала 100 %образов, на которых она обуча-

лась,было получено 64 % правильных прогнозов, результаты приве-

дены жены в приложении 2.2.

ЭКСПЕРИМЕНТ 34.2. Прогнозирование длительности приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 34.1.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ  ДАННЫХ:Свыхода НС снимались данные о

распознанном классе в соответствиис  интерваламикластеризации

приведенными в таблице 5.5.

РАЗМЕР ОКНА: 7

СТРУКТУРАСЕТИ: 14:11:8.

РЕЗУЛЬТАТЫ: сеть распознала 70 %образов,  на которых она обуча-

лась,было получено 35.7 % правильных прогнозов, результаты при-

ведены в приложении 2.2.

ЭКСПЕРИМЕНТ 35

Окна величины и длительности приращения подаются на входы НС пос-

ледовательно.

ЭКСПЕРИМЕНТ 35.1. Прогнозирование значения приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 34.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 34.1.

РАЗМЕР ОКНА: 7

СТРУКТУРА СЕТИ: 14:13:12.

РЕЗУЛЬТАТЫ: сеть распознала 80 %образов,  на которых она обуча-

лась,было получено 50 % правильных прогнозов, результаты приве-

дены в приложении 2.2.

ЭКСПЕРИМЕНТ 35.2. Прогнозирование длительности приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 34.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 34.2.

РАЗМЕР ОКНА: 7

СТРУКТУРА СЕТИ: 14:11:8.

РЕЗУЛЬТАТЫ: сеть распознала 70 %образов,  на которых обучалась,

было получено 42.9 % правильных прогнозов, результаты приведены в

приложении 2.2.

ЭКСПЕРИМЕНТ 36

На вход НС подаются пары (значение, длительность).

ЭКСПЕРИМЕНТ 36.1. Прогнозирование значения приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ:ОИК в %  кластеризуется и подается

на входы НС в соответствии с данными из таблицы 5.8.Время клас-

теризуетсяиподается  навходы НС в соответствии с данными из

таблицы 5.9.

                           Таблица 5.8.Интервалы кластеризации

                           и соответствующая им кодировка входов

                           для данных по ОИК. Эксперимент 36.

┌──────────────────────────┬───────────────────────────────────┐

│ Интервал кластеризации,% │   Код, подаваемый на вход нейрона │

├──────────────────────────┼───────────────────────────────────┤

│       больше      6.1    │                   6               │

│ от   6     до     2.51   │                   1.6             │

│ от   2.5   до     0.01   │                   0.7             │

│         0                │                   0               │

│ от - 0.01  до   - 1.5    │                 - 0.7             │

│ от - 1.51  до   - 3.5    │                 - 1.6             │

│ от - 3.51  и меньше      │                 - 6               │

└──────────────────────────┴───────────────────────────────────┘

                           Таблица 5.9.Интервалы кластеризации

                           и соответствующая им кодировка входов

                           для данных по времени. Эксперимент 36.

┌──────────────────────────┬───────────────────────────────────┐

│Интервал кластеризации,дни│   Код, подаваемый на вход нейрона │

├──────────────────────────┼───────────────────────────────────┤

│            1             │                   6               │

│            2             │                   1.6             │

│            3             │                   0.7             │

│            4             │       0               │

│ от    5     до     7     │                 - 0.7             │

│ от    8     до    14     │                 - 1.6             │

│ от   15    и дольше      │                 - 6               │

└──────────────────────────┴───────────────────────────────────┘

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ:С выхода НС снималисьданные  о

распознанном  классевсоответствии с интервалами кластеризации

приведенными в таблице 5.8.

РАЗМЕР ОКНА: 14

СТРУКТУРА СЕТИ: 28:17:7.

РЕЗУЛЬТАТЫ: сеть распознала 100 %образов, на которых она обуча-

лась,было получено 52.6 % правильных прогнозов. Результаты при-

ведены в приложении 2.3.

ЭКСПЕРИМЕНТ 36.2. Прогнозирование длительности приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 36.1.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ:С выхода НС снималисьданные  о

распознанном  классевсоответствии с интервалами кластеризации

приведенными в таблице 5.9.

РАЗМЕР ОКНА: 14

СТРУКТУРА СЕТИ: 28:17:7.

РЕЗУЛЬТАТЫ: сеть распознала 100 %образов, на которых она обуча-

лась,было получено 47.4 % правильных прогнозов. Результаты при-

ведены в приложении 2.3.

ЭКСПЕРИМЕНТ 37

Окна величины и длительности приращения подаются на входы НС пос-

ледовательно.

ЭКСПЕРИМЕНТ 37.1. Прогнозирование значения приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ:ОИК в %  кластеризуется и подается

на входы НС в соответствии с данными из таблицы 5.8.Время клас-

теризуетсяиподается  навходы НС в соответствии с данными из

таблицы 5.10.

                           Таблица 5.10.Интервалы кластеризации

                           и соответствующая им кодировка входов

                           для данных по времени. Эксперимент 37.

┌──────────────────────────┬───────────────────────────────────┐

│Интервал кластеризации,дни│   Код, подаваемый на вход нейрона │

├──────────────────────────┼───────────────────────────────────┤

│ от   1      до    2      │                6                  │

│ от   3      до    4      │                1.1                │

│ от   5      до    7      │                0                  │

│ от   8      до   14      │              - 1.1                │

│ от15      и больше     │              - 6                  │

└──────────────────────────┴───────────────────────────────────┘

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ  ДАННЫХ:Свыхода НС снимались данные о

распознанном классе в соответствиис  интерваламикластеризации

приведенными  втаблице5.8.

РАЗМЕРОКНА:14

СТРУКТУРА СЕТИ: 28:17:7.

РЕЗУЛЬТАТЫ: сеть распознала 90 %образов,  на которых она обуча-

лась,было получено 47.4 % правильных прогнозов, результаты при-

ведены в приложении 2.3.

ЭКСПЕРИМЕНТ 37.2. Прогнозирование длительности приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 37.1.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ:С выхода НС снималисьданные  о

распознанном  классевсоответствии с интервалами кластеризации

приведенными в таблице 5.5.

РАЗМЕР ОКНА: 14

СТРУКТУРА СЕТИ: 28:16:5.

РЕЗУЛЬТАТЫ: сеть распознала 100 %образов, на которых обучалась,

было получено 36.8 % правильных прогнозов. Результаты приведены в

приложении 2.3.

ЭКСПЕРИМЕНТ 38

На вход НС подаются пары (значение, длительность).

ЭКСПЕРИМЕНТ 38.1. Прогнозирование значения приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 36.1.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ  ДАННЫХ:Свыхода НС снимались данные о

распознанном классе в соответствиис  интерваламикластеризации

приведенными в таблице 5.11.

                                         Таблица 5.11. Выходы НС

                                         в эксперименте 38.1

┌────────────────────┬─────────────────────────────────────────┐

│   Номернейрона   │   Распознаваемыйобраз, % приращения   │

├────────────────────┼─────────────────────────────────────────┤

│        1           │                10                       │

│        2           │                 9                       │

.       ..           .                ..                       .

│       20           │              -  9                       │

│       21           │              - 10                       │

└────────────────────┴─────────────────────────────────────────┘

РАЗМЕР ОКНА: 14

СТРУКТУРА СЕТИ: 28:24:21.

РЕЗУЛЬТАТЫ: сеть распознала 100 %образов, на которых обучалась,

было получено 47.4 %  правильных прогнозов.На данной сетибыло

выполнено  прогнозированиена3 месяца.  Результаты приведены в

приложении 2.3.

ЭКСПЕРИМЕНТ 38.2. Прогнозирование длительности приращения.

ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 36.1.

ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ  ДАННЫХ:Свыхода НС снимались данные о

распознанном классе в соответствиис  интерваламикластеризации

приведенными в таблице 5.12.

                                         Таблица 5.12. Выходы НС

                                         в эксперименте 38.2

┌────────────────────┬─────────────────────────────────────────┐

│   Номер  нейрона   │        Распознаваемыйобраз, дни       │

├────────────────────┼─────────────────────────────────────────┤

│        1           │                15 и дольше              │

│        2           │                14                       │

.       ..           .                ..                       .

│       14           │                 2                       │

│       15           │                 1                       │

└────────────────────┴─────────────────────────────────────────┘

РАЗМЕР ОКНА: 14

СТРУКТУРА СЕТИ: 28:21:15.

РЕЗУЛЬТАТЫ: сеть распознала 100 %образов, на которых обучалась,

было получено 52.6 %  правильных прогнозов.На данной сетибыло

выполнено  прогнозированиена3 месяца.  Результаты приведены в

приложении 2.3.

                             ВЫВОДЫ

     Прогнозирование спомощьюНС курса UKB/USD показало эффек-

тивность предлагаемого подхода.Наилучшие результаты при симуля-

ции прогнозирования были получены в последнем эксперименте данной

серии,что позволяет надеяться на серьезноеповышениеточности

прогнозирования.

     Исследовалась модельпрогнозированияна  основевременной

последовательности. Первые 13 экспериментов закончились неудачей.

В экспериментах с 14 по 35 мы повышали точность прогнозирования в

основном за счет изменения структуры сети.Эксперименты показали

точность прогнозирования порядка 32%,при 20% "соседних" ошибок.

На основании этих экспериментов была выбрана оптимальная структу-

ра сети, размер окна и тип представления данных (эксперименты 36,

37,38). Значительное число "соседних" ошибок позволяет повысить

точность прогнозирования за счет выделения и распознаванияболь-

шего числа классов (например,каждый класс - это изменение пере-

менной в пределах 1%). При таком разбиении "соседняя" ошибка даст

максимальную реальную ошибку 2%. Эксперименты также показали, что

повышение чувствительности при описании входных данных подаваемых

на НС, приводит к повышению точности прогнозирования. При симуля-

ции прогнозирования приращения курсабыла  достигнутадостовер-

ность порядка 48%  (максимальная ошибка 2%) и при прогнозировании

длительности приращения - 52%(при максимальной ошибке3  дня).

Однако такое качество прогнозирования достигнуто только для одно-

шагового прогнозирования.  Для реализации многошагового прогнози-

рования необходимо  применение других моделей и/или изменения пе-

риода прогнозирования. Не смотря на данный недостаток и необходи-

мость дальнейшего тестирования и исследований, можно сказать, что

на основе предложенной модели возможно созданиереального  прог-

раммного  продуктапрогнозирующегокурсы  валют даже в условиях

нестабильного состояния современной украинской экономики.

                             -    -

                    ВМДР 90415 - 01 81 01-1

       6.ЭКОНОМИЧЕСКИЕ МЕТОДИКИ ВАЛЮТНОГО ПРОГНОЗИРОВАНИЯ

     Мировая практика выработала два основных подхода к  прогно-

зированию динамики валютного курса - фундаментальный и техничес-

кий.

     Фундаментальный подход связан с построением моделей,отра-

жающих зависимость курса от набора курсообразующих факторов. Од-

нако на деле подобные прогнозы часто не оправдываются,особенно

в кратко- и среднесрочных аспектах, наиболее важных для бизнеса.

Ненадежность  связанас тем,что сами величины курсообразующих

факторов зачастую приходится прогнозировать,а это придает шат-

кость всей экономико-математической конструкции.

     Поэтому практики больше склонны применять технический  под-

ход,базирующийся на предположении, что сама форма кривой изме-

нения курса может служить ключом к его будущему поведению.Осо-

бое внимание при этом уделяется повторяемости определенных фигур

и изломов.

     В данной работе я описал один из способов валютного прогно-

зирования - метод циклического прогнозирования, позволяющий син-

тезировать оба подхода и адаптировать их к нашим условиям. Глав-

ная его идея состоит в том,что любая, даже самая несовершенная

экономика,  благодаря рыночному курообразованию обладает способ-

ность восстанавливать равновесие,нарушаемое кредитно-денежными

эмиссиями.В основе этой способности лежит тенденция к устойчи-

вости реальной денежной массы,т.е. хотя бы частичное приближе-

ние ее к исходному уровню в течение определенного периода, обра-

зующего денежный цикл.

                             -    -

                    ВМДР 90415 - 01 81 01-1

     Характер циклаопределяется степенью нарушения равновесия,

связанной с объемом эмиссий.Относительно небольшому увеличению

денежной массы (до 30 %) соответствует малый денежный цикл,за-

нимающий 2 - 3 месяца.  Большой цикл длится около  полугода.Но

дело не только в продолжительности, но и в том, что их механизмы

существенно различаются.

     В основеэтого  различия лежит двойственность реальной де-

нежной массы. С точки зрения национальной экономики реальная де-

нежная масса равна дефлированной номинальной,т.е. общему коли-

честву наличных и безналичных денег,деленному на индекс инфля-

ции. Со стороны валютных отношений реальная денежная масса соот-

ветствует номинальной, деленной на индекс изменения курса нацио-

нальной  денежнойединицы.В странах с сильной "долларизацией"

экономики (к ним, безусловно, относится и Украина) вторая сторо-

на реальной денежной массы приобретает весьма существенное внут-

риэкономическое значение.

    Это проявляется,прежде всего, в ходе малого цикла. Он на-

чинается с относительно  небольшогоусилениякредитно-денежной

эмиссии,когда средний дневной прирост денежной массы не превы-

шает 0.5 процента от ее объема.Примерно через три недели новые

деньгипоступают на валютный рынок,вызывая постепенный подъем

курса доллара (на 150 % - в марте-апреле 1993 г., на 130 % в ап-

реле-мае 1994 г.).Курс с небольшими колебаниями растет в сред-

нем до величины,  соответствующей приросту номинальной  денежной

массы минус индекс инфляции за этот период.

     Пройдя взначительной  меречерездоллар,  имитированные

деньги  втягиваютсяв обычный хозяйственный кругооборот и,как

                             -    -

                    ВМДР 90415 - 01 81 01-1

показывает кривая инфляции,не  столькоувеличиваютее  темп,

сколько замедляют его падение, происходящее после предшествовав-

шего большого цикла (включающего в себяинфляционный  всплеск).

Поэтому восстановление дефлированного показателя реальной денеж-

ной массы на практике почти не ощущается.

     По мере того, как движение новых денег через валютный рынок

затихает, спрос на доллары несколько сокращается. Это может выз-

вать его кратковременное падение (например,в июне 1994 г. - на

116 %).Снижение курса доллара расширяет реальную денежную мас-

су,сжатую его предыдущим ростом.Она приближается к исходному

уровню,  существовавшему на начало цикла,  после чегонаступает

кратковременная стабилизация.

     Таким образом, зная размеры эмиссии, мы можем с достаточной

степенью достоверности определить направление,сроки и величину

предстоящего изменения валютного курса.

     Если бы эмиссия проводилась равномерно на протяжении финан-

сового года,  денежных циклов могло бы не быть.  Их истоки в не-

равномерном,  дискретном характере эмиссии.В данном случае ис-

точником характерного для весны малого циклаявляется  неравно-

мерность "посевной" эмиссии,после которой устанавливается "за-

тишье",  продолжающееся до августа (1994 г.) или  серединыиюля

(1993 г.). Оно прерывается "урожайной" эмиссией, знаменующей на-

чало большого денежного цикла.

     Механизм большого цикла основан на взаимодействии процессов

изменения курса доллара,  инфляции и изменения депозитного  про-

цента.Вначале, так же как и при малом цикле, резкий рост номи-

нальной денежной массы вызывает нарастающее повышение курса дол-

                             -    -

                    ВМДР 90415 - 01 81 01-1

лара.Носразу вслед за этим разворачивается еще более сильная

инфляция,  перекрывающая это повышение. Ее интенсивность опреде-

ляется  давлениемна рыночные цены с двух сторон - и со стороны

цен предложения, и со стороны цен спроса.

     Сильная эмиссияпревышаетпотребности  оборота в деньгах,

сложившиеся при достигнутом ранеебалансе  цен.Новыеденьги,

расширяя спрос,  увеличивают те цены,которые покупатели теперь

готовы заплатить за товары и услуги.

     Для анализаэтихпроцессов  используется не только кривая

инфляции, но и такие аналитические инструменты, как линии спроса

и  предложения.Линия спроса D показывает зависимость спроса от

цены.Поскольку при повышении цен спроспадает,линия  спроса

имеетвиднисходящей кривой.Но и предложение тоже зависит от

цены. Эта зависимость выражается линией предложения S, представ-

ленной  восходящейкривой,поскольку повышение цен стимулирует

рост предложения.  Имея такую форму,линии спроса и предложения

неизбежно  пересекаются.Вточке пересечения E устанавливается

рыночное равновесие,  означающее равенство спроса и предложения.

Рыночная цена,при которой это достигается, является ценой рав-

новесия.

     Интенсивная эмиссиявыводит рынок из состояния равновесия.

На графике повышение цен спроса отражается сдвигом линииспроса

D вправо из положения Do в положение D1.С другой стороны,де-

вальвация карбованца увеличивает ценыпредложения  сначалаим-

портных,азатем и отечественных товаров.Например,  рост цен

энергоносителей усиливает так называемую инфляцию издержек.Это

отражается на графике смещением линии предложения S вверх из по-

                             -    -

                    ВМДР 90415 - 01 81 01-1

ложения So в положение S1. В результате, при неизменном физичес-

ком объеме товарооборота Q, рыночные цены повышаются с уровня Po

до уровня P1. Компьютерное моделирование этих процессов позволя-

ет  рассчитыватьинтенсивность инфляции в зависимости от объема

эмиссии.

     Темп инфляцииимеет существенно важное значение для валют-

ного прогнозирования по нескольким причинам,связанным с выпол-

нением  деньгамидвухосновных  функций - средства обращения и

средства сбережения (сохранения стоимости).

     Инфляция увеличивает потребность в карбованцах прежде всего

для осуществления сделок исоответственнонесколько  сокращает

спрос на доллары.  Поскольку для удовлетворения этой потребности

начинают "сбрасываться" доллары,увеличивается рыночное предло-

жение  последних.Темсамым  относительное сокращение спроса и

рост предложения долларов способствуют снижению или стабилизации

валютного курса.

     Но этим влияние инфляции не ограничено.Примерно через два

месяцапосленачала гиперинфляции наступает перелом в динамике

дипозитного процента,  и в дальнейшем процент следует за измене-

нием индекса инфляции.  В свою очередь рост депозитного процента

увеличивает склонность к сбережениям в карбованцах и относитель-

но сокращает спрос на доллары для сбережения, оказывая сдержива-

ющее воздействие на валютный курс.

     Правда, сейчай это воздействие значительно слабее, чем было

раньше,в силу пошатнувшегося доверия к банкам, не говоря уже о

трастахистраховых компаниях.Поэтому с конца 1994 г.более

ощутимой становится не зависимость валютного курса от депозитно-

                             -    -

                    ВМДР 90415 - 01 81 01-1

го процента,а, напротив, зависимость процента от динамики кур-

са.Так,снижение и стабилизация курса,начавшиеся  сноября

прошлого года,  внесли свою лепту в наступивший через три недели

аналогичный перелом в динамике депозитного процента.

     Таким образом,несмотряна  всюсложность взаимодействия

факторов, определяющих динамику курса, вполне реально проследить

их причинно-следственную зависимость и учесть ее при прогнозиро-

вании не только малого, но и большого денежного цикла. Тем более

что в основе и того,  и другого лежит, по существу, одно и то же

явление - устойчивость реальной денежной массы.

     Главное различие между ними состоит в том, что в рамках ма-

лого цикла восстанавливается валютный показатель реальной денеж-

ной массы,в то время как сложный цикл восстанавливает и дефли-

рованный показатель.  Более того,восстановление дефлированного

показателя в силу описанного выше взаимодействия цен предложения

и цен спроса происходит интенсивней,чем валютного.В целом за

период большого цикла рост валютного курса, несмотря на свою ин-

тенсивность,  отстает от инфляции,и тем более - от роста номи-

нальной денежной массы.

     Одна из причин этого состоит в том,что ставшая уже тради-

ционной осенняя гиперинфляция, повышая спрос на карбованцы, тор-

мозит тем самым дальнейший рост курсаи  дополняетсяинфляцией

доллара.Кэтому же времени дает о себе знать сокращение эмис-

сии,происходящее обычно к концу октября - началу ноября. Кроме

того,подвпечатлением  гиперинфляцииправительство и Нацбанк

каждый год принимают в ноябре-декабре ещеи  сдерживающиемеры

административного характера, демонстрируя в этой области немалую

                             -    -

                    ВМДР 90415 - 01 81 01-1

изобретательность.  Если добавить к этому увеличение  спросана

карбованцы,  связанное с окончанием хозяйственного года, то ста-

нет совершенно очевидной закономерностьстабилизации  валютного

курса,  завершающейденежный цикл.Недооценка этой цикличности

стала одной из причин  крахатрастовыхи  страховыхкомпаний,

рассчитывавших  наболее равномерный рост доллара,и именно по

этой причине многие фирмы зимой 1993-94 года оказались в тяжелом

положении.Кроме того,в циклическом анализе необходимо обяза-

тельно учитывать новые веяния в монетарной политике государства.

Очевидна, например, направленность нынешней весенней валютно-фи-

нансовой политики на сглаживание "посевного" цикла истабилиза-

цию курса карбованца.  Поэтому, предполагая, что соответствующим

должностным лицам уже более или менее известен механизм денежно-

го цикла, легче предугадать поведение правительства и Нацбанка.

                             -   -

                           ЗАКЛЮЧЕНИЕ

     В данной работе разработан ряд методов прогнозирования осно-

ванных на нейронных сетях (НС), которые могут быть использованы в

прогнозирующих системах. На основе этих методов возможно предска-

зание значения переменных, важных в процессе принятия решений.

     В работе обсуждены аспекты разработки прогнозирующих систем:

понятие прогноза и цели его использования, основные понятия и оп-

ределения в области прогнозирования,методы прогнозирования, мо-

дели временных последовательностей,критерии  производительности

прогнозирующих систем и другие общие вопросы касающиеся разработ-

ки прогнозирующих систем,  На основании анализа известных моделей

НС: модели Маккалоха и Питтса; модели Розенблата; модели Хопфилда

и Больцмана; модели на основе обратного распространения, для реа-

лизациипрогнозирующей системы было предложено применение модели

на основе обратного распространения. Предложен способ прогнозиро-

вания с помощью НС, основанный на методе окон. Также приведен об-

зор применения НС в финансовой сфере,показывающий эффективность

применения НС для прогнозирования.

     Разработан тестовый пример для предложенного метода на осно-

вании  прогнозирования курса USD/UKB.  Проведенные в данной пред-

метной области эксперименты показали высокую точность прогнозиро-

вания. На основании проделанных экспериментов возможно построение

программного продукта для прогнозирования курсов валют даже в ус-

ловиях нестабильного состояния современной украинской экономики.

     В целом мы считаем результаты работы тем базисом на  основа-

ниикотороговозможно построение универсального прогнозирующего

комплекса, являющегося составной частью общей системы управления.