Диплом: Прогнозирование на основе аппарата нейронных сетей - текст диплома. Скачать бесплатно.
Банк рефератов, курсовых и дипломных работ. Много и бесплатно. # | Правила оформления работ | Добавить в избранное
 
 
   
Меню Меню Меню Меню Меню
   
Napishem.com Napishem.com Napishem.com

Диплом

Прогнозирование на основе аппарата нейронных сетей

Банк рефератов / Программирование

Рубрики  Рубрики реферат банка

закрыть
Категория: Дипломная работа
Язык диплома: Русский
Дата добавления:   
 
Скачать
Microsoft Word, 590 kb, скачать бесплатно
Заказать
Узнать стоимость написания уникальной дипломной работы

Узнайте стоимость написания уникальной работы

Прогнозирование на основе аппарата нейронных сетей ПРОГНОЗИРОВАНИЕ НА ОСНОВЕ АППАРАТА НЕЙРОННЫХ СЕТЕЙ АННОТАЦИЯ В данной дипломной работе разработан оригинальнй подход к проблеме про гнозирования, на основе нейронных сетей. При помощи нейронной сети основ анной на алгоритме обратного функционирования, были спрогнозированы и зменения курса доллара США по отношению к украинскому карбованцу. Экспе римент дал хорошие результаты по достоверности. Разработанна модель пр огнозирования может быть применена и при прогнозировании других эконо мических показателей. ANNOTATION In this diploma work the original approach to forecasting problem is developed. This approach based of neural nets modeling. By the book propogation neural net, relative change rate for USD/UKB was predicted. The elaboration was successful and profitable. The model developed for problem discussed may be successfuly used of a number of management solution forecasting. СПИСОК СОКРАЩЕНИЙ ВТ - вычислительная техника; И И - искусственный интеллект; ЦУ - цифровое устройство; ЭС - экспертная сист ема; НС - нейронная сеть; ИК - изменение курса; ОИК - относительное изменение курса; ОИК в % - относительное изменение курса в процентах; DM - немецкая марк а; SUR - российский рубль; USD - американский доллар; UKB - украинский карбованец. ПЕРЕЧЕНЬ ГРАФИЧЕСКИХ МАТЕРИАЛОВ 1. Модель нейрона и виды переходной функции. 2. Модели нейронных сетей. 3. Схема обучения НС с обратным функционированием. 4. Относительное изменение курса за 1995г. 5. Курс доллара и его прогноз за 1995г. 6. График взаимосвязи спроса и предложения доллара. СОДЕРЖАНИЕ ВВЕДЕНИЕ ПРОГНОЗИРУЮЩИЕ СИСТЕМЫ. СОСТОЯНИЕ ПРОБЛЕМЫ 1.1. Прогноз и цели его использования 1.2. Основные понятия и определения проблемы прогнозирования 1.3. Методы прогнозирования 1.4. Модели временных последовательностей 1.5. Критерии производительности ВЫВОДЫ 2. НЕЙРОННЫЕ СЕТИ. СОСТОЯНИЕ ПРОБЛЕМЫ 2.1. Нейронные сети - основные понятия и определения 2.2. Модели нейронных сетей 2.2.1. Модель Маккалоха 2.2.2. Модель Розенблата 2.2.3. Модель Хопфилда 2.2.4. Модель сети с обратным распространением 2.3. Задачи, решаемые на основе нейронных сетей 2.4. Способы реализации нейронных сетей ВЫВОДЫ 3. ПРОГНОЗИРОВАНИЕ НА ОСНОВЕ НЕЙРОННЫХ СЕТЕЙ 3.1. Общий подход к прогнозированию с помощью нейронных сетей 3.2. Применение нейронных сетей в финансовой сфере ВЫВОДЫ 4. НЕЙРОННЫЕ СЕТИ, ОСНОВАННЫЕ НА МЕТОДЕ ОБРАТНОГО ФУНКЦИОНИРОВАНИЯ 4.1. Обучение нейронных сетей 4.2. Алгоритм обратного распространения 4.2.1. Идея создания алгоритма обратного распространения 4.2.2. Описание НС и алгоритма обратного распространения 4.2.3. Современная оценка алгоритма обратного распространения ВЫВОДЫ 5. ПРОГНОЗИРОВАНИЕ КУРСА UKB/USD 5.1. Общий подход к прогнозированию курса UKB/USD 5.2. Описание экспериментов ВЫВОДЫ ЗАКЛЮЧЕНИЕ ЛИТЕРАТУРА ПРИЛОЖЕНИЯ ПРИЛОЖЕНИЕ 1. Еженедельные продажи режущего инструмента ПРИЛОЖЕНИЕ 2.1 Результаты экспериментов 14-18 ПРИЛОЖЕНИЕ 2.2 Результаты экспериментов 19-21,34,35 ПРИЛОЖЕНИЕ 2.3 Результаты экспериментов 36-38 ПРИЛОЖЕНИЕ 3. Результаты прогноза UKB/USD ВВЕДЕНИЕ Целью данной работы является разработка методов прогнозирования основ анных на нейронных сетях (НС) , которые может быть использованы в прогнози рующих системах. На основе этих методов возможно предсказание значения переменных, важных в процессе принятия решений. Эти методы анализируют и сторические данные о переменной с целью оценить ее будущее изменение. Для достижения указанной цели необходимо решить следующие задачи: пров ести анализ проблемы прогнозирования; провести сравнительный анализ и звестных моделей НС; выбрать модель, обеспечивающую эффективное решени е задачи прогнозирования; провести исследование предложенной модели; р еализовать тестовый пример для выбранной модели. Основное содержание работы: Во введении сформулирована цель и основные задачи исследования, изложены основные положения разделов работы. В первой главе мы обсуждаем некоторые общие аспекты разработки прогноз ирующих систем: понятие прогноза и цели его использования, основные поня тия и определения в области прогнозирования, методы прогнозирования, мо дели временных последовательностей, критерии производительности прог нозирующих систем и другие общие вопросы, касающиеся разработки прогно зирующих систем. Во второй главе мы обсуждаем известные модели НС: модель Маккалоха и Пит тса; модель Розенблата; модели Хопфилда и Больцмана; модель на основе обр атного распространения. Рассмотрена структура и особенности каждой из моделей. Перечислены основные задачи решаемые на основе НС, описаны спос обы реализации НС. Проведен анализ известных моделей НС с точки зрения р ешения задачи прогнозирования. В третьей главе описан способ прогнозирования с помощью НС, основанный н а методе окон. Также приведен обзор применения НС в финансовой сфере. В четвертой главе мы приводим детальное описание метода обратного расп ространения - способа обучения многослойных НС. Подробно описана НС для распознавания рукописных цифр и процесс ее обучения. В главе также прове дена современная оценка метода обратного распространения. В пятой главе описаны эксперименты по прогнозированию курса американс кого доллара по отношению к украинскому карбованцу (UKB/USD) . Сначала описаны задачи исследования и общая структура экспериментов. Далее описаны про деланные эксперименты, при этом подробно перечислены особенности кажд ого из них. Для экспериментов, которые показали удовлетворительные резу льтаты обучения (сеть распознала не менее 80% образов, на которых обучалась ) в приложениях приведены таблицы с подробным описанием результатов по к аждому образу, который распознавался. Завершается работа заключением, в котором сделаны основные теоретичес кие и практические выводы, указана перспектива дальнейших исследовани й, а также приведены список использованной литературы и приложения. - ЗАКЛЮЧЕНИЕ В данной работе разработан ряд методов прогнозирования осн ованных на нейронных сетях (НС) , которые могут быть использованы в прогно зирующих системах. На основе этих методов возможно предсказание значен ия переменных, важных в процессе принятия решений. В работе обсуждены аспекты разработки прогнозирующих систем: понятие п рогноза и цели его использования, основные понятия и определения в облас ти прогнозирования, методы прогнозирования, модели временных последов ательностей, критерии производительности прогнозирующих систем и друг ие общие вопросы касающиеся разработки прогнозирующих систем, На основ ании анализа известных моделей НС: модели Маккалоха и Питтса; модели Роз енблата; модели Хопфилда и Больцмана; модели на основе обратного распрос транения, для реализации прогнозирующей системы было предложено приме нение модели на основе обратного распространения. Предложен способ про гнозирования с помощью НС, основанный на методе окон. Также приведен обз ор применения НС в финансовой сфере, показывающий эффективность примен ения НС для прогнозирования. Разработан тестовый пример для предложенного метода на основании прог нозирования курса USD/UKB. Проведенные в данной предметной области эксперим енты показали высокую точность прогнозирования. На основании проделан ных экспериментов возможно построение программного продукта для прогн озирования курсов валют даже в условиях нестабильного состояния совре менной украинской экономики. В целом мы считаем результаты работы тем базисом, на основании которого возможно построение универсального прогнозирующего комплекса, являющ егося составной частью общей системы управления. 1. ПРОГНОЗИРУЮЩИЕ СИСТЕМЫ. СОСТОЯНИЕ ПРОБЛЕМЫ В данной главе мы обсуждае м некоторые общие аспекты разработки прогнозирующих систем: понятие пр огноза и цели его использования, основные понятия и определения в област и прогнозирования, методы прогнозирования, модели временных последова тельностей, критерии производительности прогнозирующих систем и други е общие вопросы, касающиеся разработки прогнозирующих систем. 1. Прогноз и цели ег о использования Прогн озирование - это ключевой момент при принятии решений в управлении. Коне чная эффективность любого решения зависит от последовательности событ ий, возникающих уже после принятия решения. Возможность предсказать неу правляемые аспекты этих событий перед принятием решения позволяет сде лать наилучший выбор, который, в противном случае, мог бы быть не таким уда чным. Поэтому системы планирования и управления, обычно, реализуют функц ию прогноза. Далее перечислены примеры ситуаций [44], в которых полезно про гнозирование. Управление материально-производственными запасами. В управлении запас ами запасных частей на предприятии по ремонту самолетов совершенно нео бходимо оценить степень используемости каждой детали. На основе этой ин формации определяется необходимое количество запасных частей. Кроме т ого, необходимо оценить ошибку прогнозирования. Эта ошибка может быть оц енена, например, на основе данных о времени, которое понадобилось для дос тавки деталей, которых не было на складе. Планирование производства. Для того, чтобы планировать производство се мейства продуктов, возможно, необходимо спрогнозировать продажу для ка ждого наименования продукта, с учетом времени доставки, на несколько мес яцев вперед. Эти прогнозы для конечных продуктов могут быть потом преобр азованы в требования к полуфабрикатам, компонентам, материалам, рабочим и т.д. Таким образом на основании прогноза может быть построен график раб оты целой группы предприятий. Финансовое планирование. Финансового менеджера интересует, как будет и зменяться денежный оборот компании с течением времени. Менеджер, может п ожелать узнать, в какой период времени в будущем оборот компании начнет падать, с тем, чтобы принять соответствующее решение уже сейчас. Разработка расписания персонала. Менеджер почтовой компании должен зн ать прогноз количества обрабатываемых писем, с тем чтобы обработка прои зводилась в соответствии с расписанием персонала и производительность ю оборудования. Планирование нового продукта. Решение о разработке нового продукта обы чно требует долговременного прогноза того, каким спросом он будет польз оваться. Этот прогноз не менее важен, чем определение инвестиций необход имых для его производства. Управление технологическим процессом. Прогнозирование также может быт ь важной частью систем управления технологическими процессами. Наблюд ая ключевые переменные процесса и используя их для предсказания будуще го поведения процесса, можно определить оптимальное время и длительнос ть управляющего воздействия. Например, некоторое воздействие в течение часа может повышать эффективность химического процесса, а потом оно мож ет снижать эффективность процесса. Прогнозирование производительност и процесса может быть полезно при планировании времени окончания проце сса и общего расписания производства. На основании вышеизложенного можно сказать, что прогнозирование - это пр едсказание будущих событий. Целью прогнозирования является уменьшение риска при принятии решений. Прогноз обычно получается ошибочным, но оши бка зависит от используемой прогнозирующей системы. Предоставляя прог нозу больше ресурсов, мы можем увеличить точность прогноза и уменьшить у бытки, связанные с неопределенностью при принятии решений. Заметим, что концептуальная модель основана на асимптотическом снижен ии убытков при использовании результатов прогнозирования. Таким образ ом, каждый дополнительный доллар, потраченный на прогнозирование дает м еньшее снижение риска убытков, чем предыдущий. За некоторой точкой, допо лнительные затраты на прогнозирование могут вовсе не приводить к сниже нию потерь. Это связано с тем, что невозможно снизить среднюю ошибку прог нозирования ниже определенного уровня, вне зависимости от того насколь ко сложен примененный метод прогнозирования. Поскольку прогнозирование никогда не сможет полностью уничтожить риск при принятии решений, необходимо явно определять неточность прогноза. О бычно, принимаемое решение определяется результатами прогноза (при это м предполагается, что прогноз правильный) с учетом возможной ошибки прог нозирования. Сказанное выше предполагает, что прогнозирующая система должна обеспе чивать определение ошибки прогнозирования, также как и само прогнозиро вание. Такой подход значительно снижает риск объективно связанный с про цессом принятия решений. Необходимо отметить, что прогнозирование это не конечная цель. Прогнози рующая система это часть большой системы менеджмента и как подсистема, о на взаимодействует с другими компонентами системы, играя немалую роль в получаемом результате. 1.2. Основные понятия и определения проблемы прогнозирования Необходимо отметить, что мы рассматриваем прогнозирование в целях план ирования производства или управления запасами. Таким образом, наш интер ес лежит в определении будущих продаж продукта, или использовании матер иалов. Обычно мы будем ссылаться на интересующую нас переменную, как на "т ребование". Конечно, только такое применение предложенных методов не обя зательно и прогнозирование быть проведено для каких-либо других целей и включать другие типы переменных. Однако, предполагая именно такую напра вленность, мы сформулируем специальные комментарии, описывающие общие принципы решения проблемы прогнозирования. Сформулированные принципы могут быть применены при прогнозировании в других целях. Для того чтобы определить проблему прогнозирования, рассмотрим ее подр обнее. Результаты прогнозирования используются для поддержки принятия решений. Следовательно, природа принимаемых решений определяет больши нство желаемых характеристик прогнозирующей системы. Изучение решаемо й проблемы должно помочь ответить на вопросы о том, что нужно прогнозиро вать, какую форму должен принять прогноз, какие временные элементы включ аются и какова желательная точность прогноза. При определении того, что нужно прогнозировать, мы указываем переменные , которые анализируются и предсказываются. Здесь очень важен требуемый у ровень детализации. Система проектирования производства может требова ть прогноз требуемого количества продукции в единицах по каждому виду к онечного продукта производимого предприятием и прогноз по запасным ча стям для оборудования предприятия. С другой стороны, менеджер по продаже может потребовать только прогноз общей суммы продажи продукта в доллар ах, для определения вклада в бюджет. В первом случае прогнозирование пос троено на единичном базисе, во втором случае прогнозирование построено на обобщенном базисе. Пока от нас требуется результирующая информация п ервого или второго типа нельзя однозначно выбрать анализируемые перем енные. При планировании производства мы можем прогнозировать на некото ром обобщенном уровне, например, на уровне семейства продуктов и потом р азбить обобщенный прогноз до единичного уровня, используя дополнитель ные расчеты. При прогнозировании общей суммы продаж в долларах, мы можем прогнозировать продажу по каждому из продуктов, скажем того же семейств а продуктов, результат преобразовать в доллары, используя предсказанны е цены и потом оценить общий уровень продаж в долларах. На используемый уровень детализации влияет множество факторов: доступ ность и точность данных, стоимость анализа и предпочтения менеджера. В с итуациях, когда наилучший набор переменных неясен, можно попробовать ра зные альтернативы и выбрать один из вариантов, дающий наилучшие результ аты. Обычно так осуществляется выбор при разработке прогнозирующих сис тем, основанных на анализе исторических данных. Второй важный этап при построении прогнозирующей системы - это определе ние следующих трех параметров: периода прогнозирования, горизонта прог нозирования и интервала прогнозирования. Период прогнозирования - это о сновная единица времени, на которую делается прогноз. Мы можем пожелать знать требование на продукт через неделю. В этом случае период - неделя. Го ризонт прогнозирования - это число периодов в будущем, которые покрывает прогноз. То есть, нам может понадобиться прогноз на 10 недель вперед, с данн ыми по каждой неделе. В этом случае период неделя, а горизонт - 10 недель. Нак онец, интервал прогнозирования - частота, с которой делается новый прогн оз. Часто интервал прогнозирования совпадает с периодом прогнозирован ия. В этом случае прогноз пересматривается каждый период, используя треб ование за последний период и другую текущую информацию в качестве базис а для пересматриваемого прогноза. Если горизонт всегда имеет одну и ту ж е длину (Т-периодов) и прогноз пересматривается каждый период, говорят чт о мы работаем на основе движущего горизонта. В этом случае, мы репрогнози руем требование для Т-1 периода и делаем оригинальный прогноз для период а Т. Выбор периода и горизонта прогнозирования обычно диктуется условиями принятия решений в области, для которой производится прогноз. Для того, ч тобы прогнозирование имело смысл, горизонт прогнозирования должен быт ь не меньше, чем время, необходимое для реализации решения принятого на о снове прогноза. Таким образом, прогнозирование очень сильно зависит от п рироды принимаемого решения. В некоторых случаях, время, требуемое на ре ализацию решения не определено, например, как в случае поставки запасных частей для пополнения запасов ремонтных предприятий. Существует метод ы работы в условиях подобной неопределенности, но они повышают вариацию ошибки прогнозирования. Поскольку с увеличением горизонта прогнозиров ания точность прогноза, обычно, снижается, часто мы можем улучшить проце сс принятия решения, уменьшив время, необходимое на реализацию решения и , следовательно, уменьшив горизонт и ошибку прогнозирования. Интервал прогнозирования часто определяется операционным режимом сис темы обработки данных, которая обеспечивает информацию о прогнозируем ой переменной. В том случае, если уровень продаж сообщается ежемесячно, в озможно для еженедельного прогноза продаж этих данных недостаточно и и нтервал прогнозирования месяц является более обоснованным. Хотя различие не велико, мы хотели бы обратить внимание на различие межд у данными за период и точечными данными. Данные за период характеризуют некоторый период времени. Например, общий уровень продаж за месяц, и сред няя температура за день, характеризуют период времени. Точечные данные п редставляют значение переменной в конкретный момент времени, например, количество запасных частей на конец месяца и температура в полдень. Разл ичие между этими двумя типами данных важно в основном для выбора использ уемой системы сбора данных, процесса измерений и определения ошибки про гнозирования. Третьим аспектом прогнозирования является требуемая форма прогноза. О бычно при прогнозировании проводится оценка ожидаемого значения перем енной, плюс оценка вариации ошибки прогнозирования или промежутка, на ко тором сохраняется вероятность содержания реальных будущих значений пе ременной. Этот промежуток называется предсказуемым интервалом. В некоторых случаях нам не так важно предсказание конкретных значений п рогнозируемой переменной, как предсказание значительных изменений в е е поведении. Такая задача возникает, например, при управлении технологич ескими процессами, когда нам необходимо предсказывать момент, когда про цесс перейдет в неуправляемое состояние. Точность прогноза, требуемая для конкретной проблемы, оказывает огромн ое влияние на прогнозирующую систему. Важнейшей характеристикой систе мы управления является ее способность добиваться оптимальности при ра боте с неопределенностью. До сих пор, мы обсуждали набор проблем связанных с процессом принятия ре шения. Существует ряд других факторов, которые также необходимо принима ть во внимание при рассмотрении проблемы прогнозирования. Один из них св язан с процессом, генерирующим переменную. Если известно, что процесс ст абилен, или существуют постоянные условия, или изменения во времени прои сходит медленно - прогнозирующая система для такого процесса может дост аточно сильно отличаться от системы, которая должна производить прогно зирование неустойчивого процесса с частыми фундаментальными изменени ями. В первом случае, необходимо активное использование исторических да нных для предсказания будущего, в то время как во втором лучше сосредото читься на субъективной оценке и прогнозировании для определения измен ений в процессе. Другой фактор это доступность данных. Исторические данные необходимы д ля построения прогнозирующих процедур; будущие наблюдения служат для п роверки прогноза. Количество, точность и достоверность этой информации важны при прогнозировании. Кроме этого необходимо исследовать предста вительность этих данных. Классическим примером, является прогнозирова ние требования клиентов на производимый продукт, когда компания хранит записи о заказах по времени их доставки. Такой учет не отражает фактического требования, так как в нем не учитыва ются заказы, поставленные раньше срока, и заказы отмененные из-за неудов летворительного срока поставки. Компания должна установить специальну ю процедуру сбора данных, если ее интересует информация о том, сколько же ее клиенты на самом деле желают приобрести продукции. Проблемы подобног о типа возникают также, когда не учитываются потери продаж из-за огранич енных возможностей производства. Источником ошибок при прогнозировании продаж является различие между прогнозом "того, что может быть продано" и "тем, что будет продано". Первая за дача оценивает реальную возможность для компании продать свой продукт, без учета ограничений по объему. Такой прогноз необходим при определени и доли продукта в общем производстве. Вторая задача отражает ограничени я объема производства, решение менеджеров, а также план или цель. Такой пр огноз, скорее, следует назвать бюджетом. Здесь мы предполагаем, что прогн оз продажи, в большинстве случаев, будет коррелировать с бюджетом продаж и - ведь цель менеджера бороться за то, чтобы повысить уровень продаж. Необходимо отметить вычислительные ограничения прогнозирующих систе м. Если изредка прогнозируется несколько переменных, то в системе возмож но применение более глубоких процедур анализа, чем если необходимо част о прогнозировать большое число переменных. В последней ситуации, необхо димо большое внимание уделить разработке эффективного управления данн ыми. И, наконец, два важных фактора проблемы прогнозирования - возможности и и нтерес людей, которые делают и используют прогноз. В идеале, историческа я информация анализируется автоматически, и прогноз представляется ме неджеру для возможной модификации. Введение эксперта в процесс прогноз ирования является очень важным, но требует сотрудничества опытных мене джеров. Далее прогноз передается менеджерам, которые используют его при принятии решений. И даже если они говорят, что прогноз это всего лишь болт овня, они могут получить реальную пользу от его использования. 1.3. Методы прогнозирования Методы прогнозирования можно разделить на два класса квалитативные и к вантитативные, в зависимости от того, какие математические методы испол ьзуются. Квалитативные процедуры производят субъективную оценку, основанную на мнении экспертов. Обычно, это формальная процедура для получения обобще нного предсказывания, на основе ранжирования и обобщения мнения экспер тов (например на основе методов Делфи) . Эти процедуры основываются на опр осах, тестах, оценке эффективности продаж и исторических данных, но проц есс с помощью которого получается прогноз остается субъективным. С другой стороны, квантиативные процедуры прогнозирования явно объявл яют - каким образом получен прогноз. Четко видна логика и понятны математ ические операции. Эти методы производят исследование исторических дан ных для того, чтобы определить глубинный процесс, генерирующий переменн ую и предположив, что процесс стабилен, использовать знания о нем для тог о, чтобы экстраполировать процесс в будущее. К квантитативным процедура м прогнозирования относятся методы, основанные на статистическом анал изе, анализе временных последовательностей, байесовском прогнозирован ии, наборе фрактальных методов, нейронных сетях. Сейчас используется два основных типа моделей: модели временных послед овательностей и причинные модели. Временная последовательность - это упорядоченная во времени последова тельность наблюдений (реализаций) переменной. Анализ временных последо вательностей использует для прогнозирования переменной только истори ческие данные об ее изменении. Таким образом, если исследование данных о ежемесячных продажах автомобильных шин, показывает, что они линейно воз растают - для представления данного процесса может быть выбрана линейна я модель тренда. Наклон и смещение этой прямой могут быть оценены на осно ве исторических данных. Прогнозирование может быть осуществлено путем экстраполяции подходящей модели. Причинные модели используют связь между интересующей нас временной по следовательностью и одной или более другими временными последовательн остями. Если эти другие переменные коррелируют с интересующей нас перем енной и если существуют причины для этой корреляции, модели прогнозиров ания, описывающие эти отношения могут быть очень полезными. В этом случа е, зная значение коррелирующих переменных, можно построить модель прогн оза зависимой переменной. Например, анализ может указать четкую корреля цию между уровнем ежемесячной продажи шин и уровнем месячной продажи но вых автомобилей 15 месяцев назад. В этом случае информация о продажах новы х автомобилей 14 месяцев назад будет полезной для того, чтобы предсказыва ть продажу шин в следующем месяце. Серьезным ограничением использования причинных моделей является треб ование того, чтобы независимая переменная была известна ко времени, когд а делается прогноз. Факт, что продажа шин коррелирует с продажей новых ав томобилей 15 месяцев назад, бесполезен при прогнозировании уровня продаж шин на 18 месяцев вперед. Аналогично, знание о том, что уровень продаж шин ко ррелирует с текущими ценами на бензин, нам ничего не дает - ведь мы не знае м точных цен на бензин на месяц, для которого мы делаем прогноз. Другое огр аничение причинных методов - большое количество вычислений и данных, кот орое необходимо сравнивать. Практически, прогнозирующие системы часто используют комбинацию квант итативных и квалитативных методов. Квантитативные методы используются для последовательного анализа исторических данных и формирование про гноза. Это придает системе объективность и позволяет эффективно органи зовать обработку исторических данных. Данные прогноза далее становятс я входными данными для субъективной оценки опытными менеджерами, котор ые могут модифицировать прогноз в соответствии с их взглядами на информ ацию и их восприятие будущего. На выбор соответствующего метода прогнозирования, влияют следующие фа кторы, большинство которых было описано в предыдущем разделе. - требуемая форма прогноза; - горизонт, период и интервал прогнозирования ; - доступность данных; - требуемая точность; - поведение прогнозируемого п роцесса; - стоимость разработки, установки и работы с системой; - простота работы с системой; - понимание и сотрудничество управляющих. 1.4. Модели временных последовательностей Используемые для наших целей временные последовательности представля ют собой последовательность наблюдений за интересующей переменной. Пе ременная наблюдается через дискретные промежутки времени. Анализ врем енных последовательностей включает описание процесса или феномена, ко торый генерирует последовательность. Для предсказания временных после довательностей, необходимо представить поведение процесса в виде мате матической модели, которая может быть распространена в будущем. Для этог о необходимо, чтобы модель хорошо представляла наблюдения в любом локал ьном сегменте времени, близком к настоящему. Обычно нет необходимости им еть модель, которая представляла бы очень старые наблюдения, так как они, скорее всего не характеризуют настоящий момент. Также нет необходимост и представлять наблюдения в далеком будущем, т.е. через промежуток време ни, больший, чем горизонт прогнозирования. После того, как будет сформиро вана корректная модель для обработки временной последовательности, мо жно разрабатывать соответствующие средства прогнозирования. 1.5. Критерии производительности Существуют ряд измерений, которые могут быть использованы для оценки эф фективности прогнозирующей системы. Среди них наиболее важными являют ся: точность прогнозирования, стоимость системы, результирующая польза, свойства стабильности и отзывчивости. Точность метода прогнозирования определяется на основе анализа возник шей ошибки прогнозирования. Если Xt это реальное наблюдение за период t и Xt э то сделанный ранее прогноз, ошибка прогнозирования за период t et = Xt - Xt (1.1) Для к онкретного процесса и метода прогнозирования ошибка прогнозирования р ассматривается как случайная величина со средним E(e) и вариацией Ge. Если пр и прогнозировании отсутствует систематическая ошибка, то E(e) = 0. Поэтому дл я определения точности прогнозирования используется ожидаемая квадра тичная ошибка E [|et|] = E [|Xt-Xt|] (1.2) или ожидаемая квадратичная ошибка E [et2] = E [(Xt-Xt) 2] (1.3) Замет им, что ожидаемая квадратичная ошибка обычно называется средней квадра тичной ошибкой, и соответствует Ge2, если существует систематическая ошиб ка прогнозирования. При анализе ошибки прогнозирования, общепринято каждый период использ овать так называемый тест пути сигнала. Целью этого теста является опред еление, присутствуют ли систематическая ошибка прогнозирования. Путев ой сигнал вычисляется путем деления оцененной предполагаемой ошибки п рогнозирования на измеренную вариацию ошибки прогнозирования, определ енную как среднее абсолютное отклонение. Если в прогнозе отсутствует си стематическая ошибка - путевой сигнал должен быть близок к нулю. Конечно, стоимость является важным элементом при оценке и сравнении мет одов прогнозирования. Ее можно разделить на одноразовые затраты на разр аботку и установку системы и затраты на ее эксплуатацию. Что касается за трат на эксплуатацию, то разные прогнозирующие процедуры могут очень си льно отличаться по стоимости получения данных, эффективности вычислен ий и уровню действий, необходимых для поддержания системы. Польза прогноза в улучшении принимаемых решений зависит от горизонта п рогнозирования и формы прогноза также как и от его точности. Прибыль дол жна измеряться для всей системы управления как единого целого и прогноз ирование - только один элемент этой системы. Мы можем также сравнивать методы прогнозирования с точки зрения реакци и на постоянные изменения во временной последовательности, описывающе й процесс, и стабильности при случайных и кратковременных изменениях. ВЫВОДЫ При определении интервала прогнозирования необходимо выбирать между р иском не идентифицировать изменения в прогнозируемом процессе и стоим остью прогноза. Если мы используем значительный период прогнозировани я, мы можем работать достаточно длительное время в соответствии с планам и, основанными на, возможно, уже бессмысленном прогнозе. С другой стороны, если мы используем более короткий интервал, нам приходиться оплачивать не только стоимость прогнозирования, но и затраты на изменение планов, с тем, чтобы они соответствовали новому прогнозу. Наилучший интервал прог нозирования зависит от стабильности процесса, последствий использован ия неправильного прогноза, стоимости прогнозирования и репланирования . Посредством данных, необходимых для прогнозирующей системы, в систему м ожет подаваться и ошибка, поэтому необходимо редактировать входные дан ные системы для того, чтобы устранить очевидные или вероятные ошибки. Ко нечно, небольшие ошибки идентифицировать будет невозможно, но они обычн о не оказывают значительного влияния на прогноз. Более значительные оши бки легче найти и исправить. Прогнозирующая система также не должна реаг ировать на необычные, экстраординарные наблюдения. Если мы прогнозируем требование на продукт - любые продажи, которые расс матриваются как нетипичные или экстремальные, конечно должны быть зане сены в записи, но не должны включаться в данные используемые для прогноз ирования. Например, производитель, который обслуживает ряд поставщиков, получает нового клиента. Первые заказы этого клиента, скорее всего, не бу дут типичными для его более поздних заказов, так как в начале он находилс я на этапе исследования нового товара. Симуляция является полезным средством при оценке различных методов пр огнозирования. Метод симуляции основан на ретроспективном использован ии исторических данных. Для каждого метода прогнозирования берется нек оторая точка в прошлом и начиная с нее вплоть до текущего момента времен и проводится симуляция прогнозирования. Измеренная ошибка прогнозиров ания может быть использована для сравнения методов прогнозирования. Ес ли предполагается, что будущее отличается от прошлого, может быть создан а псевдоистория, основанная на субъективном взгляде на будущую природу временной последовательности, и использована при симуляции. На основании анализа материала данной главы можно сделать вывод, что про гнозирующая система должна выполнять две основные функции: генерацию п рогноза и управление прогнозом. Генерация прогноза включает получение данных для уточнения модели прогнозирования, проведение прогнозирован ия, учет мнения экспертов и предоставление результатов прогноза пользо вателю. Управление прогнозом включает в себя наблюдение процесса прогн озирования для определения неконтролируемых условий и поиск возможнос ти для улучшения производительности прогнозирования. Важным компонент ом функции управления является тестирование путевого сигнала, описанн ое в разделе 1.5. Функция управления прогнозом также должна периодически о пределять производительность прогнозирования и предоставлять резуль таты соответствующему менеджеру. 2. НЕЙРОННЫЕ СЕТИ. СОСТОЯНИЕ ПРОБЛЕМЫ В данной главе мы обсуждаем известные модели НС: модель Маккалоха и Питт са; модель Розенблата; модели Хопфилда и Больцмана; модель на основе обра тного распространения. Рассмотрена структура и особенности каждой из м оделей. Перечислены основные задачи решаемые на основе НС, описаны спосо бы реализации НС. Проведен анализ известных моделей НС с точки зрения ре шения задачи прогнозирования. 2.1. Нейронные сети - основные понятия и определения В основу искусственных нейронных сетей [2-4,8]положены следующие черты живы х нейронных сетей, позволяющие им хорошо справляться с нерегулярными за дачами: - простой обрабатывающий элемент - нейрон; - очень большое число не йронов участвует в обработке информации; - один нейрон связан с большим ч ислом других нейронов (глобальные связи) ; - изменяющиеся по весу связи меж ду нейронами; - массированная параллельность обработки информации. Прототипом для создания нейрона послужил биологический нейрон головно го мозга. Биологический нейрон имеет тело, совокупность отростков - денд ридов, по которым в нейрон поступают входные сигналы, и отросток - аксон, п ередающий выходной сигнал нейрона другим клеткам. Точка соединения ден дрида и аксона называется синапсом [13,47]. Упрощенно функционирование нейр она можно представить следующим образом: 1) нейрон получает от дендридов набор (вектор) входных сигналов; 2) в теле нейрона оценивается суммарное зн ачение входных сигналов. Однако входы нейрона неравнозначны. Каждый вхо д характеризуется некоторым весовым коэффициентом, определяющим важно сть поступающей по нему информации. Таким образом, нейрон не просто сумм ирует значения входных сигналов, а вычисляет скалярное произведение ве ктора входных сигналов и вектора весовых коэффициентов; 3) нейрон формир ует выходной сигнал, интенсивность которого зависит от значения вычисл енного скалярного произведения. Если - оно не превышает некоторого задан ного порога, то выходной сигнал не формируется вовсе - нейрон "не срабатыв ает"; 4) выходной сигнал поступает на аксон и передается дендридам других н ейронов. Поведение искусственной нейронной сети зависит как от значения весовы х параметров, так и от функции возбуждения нейронов. Известны три основн ых вида [17] функции возбуждения: пороговая, линейная и сигмоидальная. Для п ороговых элементов выход устанавливается на одном из двух уровней в зав исимости от того, больше или меньше суммарный сигнал на входе нейрона не которого порогового значения. Для линейных элементов выходная активно сть пропорциональна суммарному взвешенному входу нейрона. Для сигмоид альных элементов в зависимости от входного сигнала, выход варьируется н епрерывно, но не линейно, по мере изменения входа. Сигмоидальные элемент ы имеют больше сходства с реальными нейронами, чем линейные или пороговы е, но любой из этих типов можно рассматривать лишь как приближение. Нейронная сеть представляет собой совокупность большого числа сравнит ельно простых элементов - нейронов, топология соединений которых зависи т от типа сети. Чтобы создать нейронную сеть для решения какой-либо конкр етной задачи, мы должны выбрать, каким образом следует соединять нейроны друг с другом, и соответствующим образом подобрать значения весовых пар аметров на этих связях. Может ли влиять один элемент на другой, зависит от установленных соединений. Вес соединения определяет силу влияния. 2.2. Модели нейронных сетей 2.2.1. Модель Маккалоха Теоретические основы нейроматематики были заложены в начале 40-х годов. В 1943 году У. Маккалох и его ученик У. Питтс сформулировали основные положени я теории деятельности головного мозга[9]. Ими были получены следующие рез ультаты: - разработана модель нейрона как простейшего процессорного эле мента, выполняющего вычисление переходной функции от скалярного произ ведения вектора входных сигналов и вектора весовых коэффициентов; - - пре дложена конструкция сети таких элементов для выполнения логических и а рифметических операций; - сделано основополагающее предположение о том, что такая сеть способна обучаться, распознавать образы, обобщать получе нную информацию. Несмотря на то, что за прошедшие годы нейроматематика ушла далеко вперед , многие утверждения Макклоха остаются актуальными и поныне. В частности , при большом разнообразии моделей нейронов принцип их действия, заложен ный Макклохом и Питтсом, остается неизменным. Недостатком данной модели является сама модель нейрона - "пороговой" вид переходной функции. В формализме У. Маккалоха и У. Питтса нейроны имеют со стояния 0,1 и пороговую логику перехода из состояния в состояние. Каждый не йрон в сети определяет взвешенную сумму состояний всех других нейронов и сравнивает ее с порогом, чтобы определить свое собственное состояние. Пороговый вид функции не предоставляет нейронной сети достаточную гиб кость при обучении и настройке на заданную задачу. Если значение вычисле нного скалярного произведения, даже незначительно, не достигает до зада нного порога, то выходной сигнал не формируется вовсе и нейрон "не срабат ывает". Это значит, что теряется интенсивность выходного сигнала (аксона) данного нейрона и, следовательно, формируется невысокое значение уровн я на взвешенных входах в следующем слое нейронов. 2.2.2. Модель Розенблата Серьезное развитие нейрокибернетика получила в работах американского нейрофизиолога Френсиса Розенблата (Корнелльский университет) . В 1958 году он предложил свою модель нейронной сети. Розенблат ввел в модель Маккал лока и Питтса способность связей к модификации, что сделало ее обучаемой . Эта модель была названа персептроном [11,12,46,47]. Первоначально персептрон пр едставлял собой однослойную структуру с жесткой пороговой функцией пр оцессорного элемента и бинарными или многозначными входами. Первые пер септроны были способны распознавать некоторые буквы латинского алфави та. Впоследствии модель персептрона была значительно усовершенствован а [47]. - Персептрон применялся для задачи автоматической классификации, котор ая в общем случае состоит в разделении пространства признаков между зад анным количеством классов. В двухмерном случае требуется провести лини ю на плоскости, отделяющую одну область от другой. Персептрон способен д елить пространство только прямыми линиями (плоскостями) [6,11]. Алгоритм обучения персептрона выглядит следующим образом: 1) системе пре дъявляется эталонный образ; 2) если выходы системы срабатывают правильно , весовые коэффициенты связей не изменяются; 3) если выходы срабатывают не правильно, весовым коэффициентам дается небольшое приращение в сторон у повышения качества распознавания. Серьезным недостатком персептрона является то, что не всегда существуе т такая комбинация весовых коэффициентов, при которой имеющееся множес тво образов будет распознаваться данным персептроном. Причина этого не достатка состоит в том, что лишь небольшое количество задач предполагае т, что линия, разделяющая эталоны, будет прямой. Обычно это достаточно сло жная кривая, замкнутая или разомкнутая. Если учесть, что однослойный пер септрон реализует только линейную разделяющую поверхность, применение его там, где требуется нелинейная, приводит к неверному распознаванию (э та проблема называется линейной неразделимостью пространства признак ов) . Выходом из этого положения является использование многослойного пе рсептрона, способного строить ломаную границу между распознаваемыми о бразами. Описанная проблема не является единственной трудностью, возникающей п ри работе с персептронами - также слабо формализован метод обучения перс ептрона. Персептрон поставил ряд вопросов, работа над решением которых п ривела к созданию более "разумных" нейронных сетей и разработке методов, нашедших применение не только в нейрокибернетике (например, метод групп ового учета аргументов, применяемый для идентификации математических моделей) . 2.2.3. Модель Хопфилда В 70-е годы интерес к нейронным сетям значительно упал, однако работы по их исследованию продолжались. Был предложен ряд интересных разработок, та ких, например, как когнитрон, способный хорошо распознавать достаточно с ложные образы (иероглифы и т.п.) независимо от поворота и изменения масшта ба изображения. Автором когнитрона является японский ученый И. Фукушима . Новый виток быстрого развития моделей нейронных сетей, который начался 8-9 лет тому назад, связан с работами Амари, Андерсона, Карпентера, Кохена [24,28,29] и других, и в особенности, Хопфилда [17,37-40], а также под влиянием обещающих успехов оптических технологий [1,26] и зрелой фазы развития СБИС [29] для реали зации новых архитектур. Начало современному математическому моделированию нейронных вычисле ний было положено работами Хопфилда в 1982 году, в которых была сформулиров ана математическая модель ассоциативной памяти на нейронной сети с исп ользованием правила Хеббиана [36] для программирования сети. Но не столько сама модель послужила толчком к появлению работ других авторов на эту те му, сколько введенная Хопфилдом функция вычислительной энергии нейрон ной сети. Это аналог функции Ляпунова в динамических системах. Показано, что для однослойной нейронной сети со связями типа "все на всех" характер на сходимость к одной из конечного множества равновесных точек, которые являются локальными минимумами функции энергии, содержащей в себе всю с труктуру взаимосвязей в сети. Понимание такой динамики в нейронной сети было и у других исследователей. Однако, Хопфилд и Тэнк [17] показали, как конс труировать функцию энергии для конкретной оптимизационной задачи и ка к использовать ее для отображения задачи в нейронную сеть. Этот подход п олучил развитие и для решения других комбинаторных оптимизационных за дач. Привлекательность подхода Хопфилда состоит в том, что нейронная сет ь для конкретной задачи может быть запрограммирована без обучающих ите раций. Веса связей вычисляются на основании вида функции энергии, сконст руированной для этой задачи. Развитием модели Хопфилда для решения комбинаторных оптимизационных з адач и задач искусственного интеллекта является машина Больцмана, пред ложенная и исследованная Джефери Е. Хинтоном и Р. Земелом [20-23]. В ней, как и в д ругих моделях, нейрон имеет состояния 1,0 и связь между нейронами обладает весом. Каждое состояние сети характеризуется определенным значением ф ункции консенсуса (аналог функции энергии) . Максимум функции консенсуса соответствует оптимальному решению задачи. Имеется следующая информация о результатах моделирования на ЭВМ работ ы нейронной сети. Моделировалась асинхронная работа сети Хопфилда. Сеть работает хорошо, т.е. без ошибок восстанавливает эталонные образы из слу чайных, если в нее записывается не более 15 % эталонных образов. Испытания п роводились для 30 нейронов и для 100 нейронов в сети. Бралось некоторое колич ество случайных векторов в качестве эталонных и строилась соответству ющая матрица весов связей. Моделирование при 100 нейронах было существенн о более медленным процессам, чем при 30 нейронах, хотя качественная картин а и в том и в другом случаях была одна и та же. Приблизительно 88 % испытаний з аканчивались в эталонных состояниях, 10 % - в устойчивых состояниях, близки х к эталонным. При расстоянии <= 5 между начальным и эталонным векторами, эт алонное состояние достигалось в 90 % случаев. С увеличением расстояния, вер оятность попадания в наиболее близкое эталонное состояние гладко пада ла. При расстоянии 12 вероятность была равна 0.2. Устойчивые состояния, слишк ом близкие друг к другу, имеют тенденцию "сливаться", они попадают в одну в падину на энергетической поверхности. Программировалась задача коммив ояжера на основе сети Хопфилда. Сетью из 100 нейронов для 20 различных случай ных начальных состояний были определены маршруты, 16 из которых были прие млемыми, 50% попыток дали 2 пути 2.83 и 2.71 (цифры приводятся, чтобы показать как он и близки) при кратчайшем 2.67. Это результаты моделирования работы сети с не прерывной моделью нейрона. Моделировалась также задача коммивояжера, н о для сети типа машина Больцмана, проводилась при следующих значениях уп равляющих параметров: A = 0.95, L = 10, M = 100 (A - положительное число меньше единицы, но б лизкое к ней, L - число испытаний, которые проводятся без изменений, M - число последовательных испытаний, не приводящих к изменению состояния машин ы, как критерия завершения процесса) . Процесс запускался 100 раз для n = 10 (всег о в сети N = n^2 нейронов) и 25 раз для n = 30 при различных нормальных состояниях маш ины Больцмана. Для n = 10 получился оптимальный результат, для n = 30 - решение на 14 % хуже оптимального. Отметим, что вероятностный механизм функционирова ния машины Больцмана дает возможность получить на ней несколько лучшие результаты оптимизации, чем на модели Хопфилда. 2.2.4. Модель сети с обратным распространением Способом обратного распространения (back propogation) называется способ обучения м ногослойных НС. В таких НС связи между собой имеют только соседние слои, п ри этом каждый нейрон предыдущего слоя связан со всеми нейронами послед ующего слоя [5,8,16,27,30,42,48,49]. Нейроны обычно имеют сигмоидальную функцию возбужд ения. Первый слой нейронов называется входным и содержит число нейронов соответствующее распознаваемому образу. Последний слой нейронов назыв ается выходным и содержит столько нейронов, сколько классов образов рас познается. Между входным и выходным слоями располагается один или более скрытых (теневых) слоев. Определение числа скрытых слоев и числа нейроно в в каждом слое для конкретной задачи является неформальной задачей. Принцип обучения такой нейронной сети базируется на вычислении отклон ений значений сигналов на выходных процессорных элементах от эталонны х и обратном "прогоне" этих отклонений до породивших их элементов с целью коррекции ошибки. Еще в 1974 году Поль Дж. Вербос [5] изобрел значительно более эффективную процедуру для вычисления величины, называемой производной ошибки по весу, когда работал над своей докторской диссертацией в Гарва рдском университете. Процедура, известная теперь как алгоритм обратног о распространения, стала одним из наиболее важных инструментов в обучен ии нейронных сетей [5,16,27,30,42,48,49]. Однако этому алгоритму свойственны и недостат ки, главный из которых - отсутствие сколько-нибудь приемлемых оценок вре мени обучения. Понимание, что сеть, в конце концов, обучится, мало утешает, если на это могут уйти годы. Тем не менее, алгоритм обратного распростран ения имеет широчайшее применение. Например, успех фирмы NEC в распознавани и букв, был достигнут именно благодаря алгоритму обратного распростран ения. Подробнее метод обратного распространения описан в главе 3. 2.3. Задачи, решаемые на основе нейронных сетей В литературе [33,41,43] встречается значительное число признаков, которыми дол жна обладать задача, чтобы применение НС было оправдано и НС могла бы ее р ешить: - отсутствует алгоритм или не известны принципы решения задач, но н акоплено достаточное число примеров; - проблема характеризуется больши ми объемами входной информации; - данные неполны или избыточны, зашумлен ы, частично противоречивы. Таким образом, НС хорошо подходят для распознавания образов и решения за дач классификации, оптимизации и прогнозирования. Ниже приведен перече нь возможных промышленных применений нейронных сетей, на базе которых л ибо уже созданы коммерческие продукты, либо реализованы демонстрацион ные прототипы [7,10,18,25,35,45,50]. Банки и страховые компании: - автоматическое считывание чеков и финансов ых документов; - проверка достоверности подписей; - оценка риска для займо в; прогнозирование изменений экономических показателей. Административное обслуживание: - автоматическое считывание документов ; - автоматическое распознавание штриховых кодов. Нефтяная и химическая промышленность: - анализ геологической информаци и; - идентификация неисправностей оборудования; - разведка залежей минер алов по данным аэрофотосъемок; - анализ составов примесей; - управление пр оцессами. Военная промышленность и аэронавтика: - обработка звуковых сигналов (раз деление, идентификация, локализация, устранение шума, интерпретация) ; - об работка радарных сигналов (распознавание целей, идентификация и локали зация источников) ; - обработка инфракрасных сигналов (локализация) ; - обоб щение информации; - автоматическое пилотирование. Промышленное производство: - - управление манипуляторами; - управление ка чеством; - управление процессами; - обнаружение неисправностей; - адаптивн ая робототехника; - управление голосом. Служба безопасности: - распознавание лиц, голосов, отпечатков пальцев. Биомедицинская промышленность: - анализ рентгенограмм; - обнаружение отк лонений в ЭКГ. Телевидение и связь: - адаптивное управление сетью связи; - сжатие и восста новление изображения. Представленный перечень далеко не полон. Ежемесячно западные средства массовой информации сообщают о новых коммерческих продуктах на базе не йронных сетей. Так, фирма LIAC выпускает аппаратуру для контроля качества в оды. Нейросистемы фирмы SAIC находят пластиковые бомбы в багаже авиапассаж иров. Специалисты инвестиционного банка Citicomp (Лондон) с помощью программно го нейропакета делают краткосрочные прогнозы колебаний курсов валют. 2.4. Способы реализации нейронных сетей Нейронные сети могут быть реализованы двумя путями: первый - это програм мная модель НС [2,3,15,34], второй - аппаратная [14,31,34,45,50]. На современном рынке изделия, основанные на использовании механизма действия НС, первоначально появ ились в виде нейроплат. В качестве типичного примера нейроплаты можно на звать плату МВ 86232 японской фирмы Fujitsu. На плате размещены процессор цифрово й обработки сигналов и оперативная память емкостью 4 Мбайт, что позволяе т использовать такую плату для реализации НС, содержащих до тысячи нейро нов. Есть и более совершенные платы. Основными коммерческими аппаратными изделиями на основе НС являются и, вероятно, в ближайшее время будут оставаться нейро- БИС. Сейчас выпускаю тся более 20 типов нейроБИС, параметры которых порой различаются на неско лько порядков. Среди них - модель - ETANN фирмы Intel. Эта БИС, выполненная по микрон ной технологии, является реализацией НС с 64т нейронами и 10240 синапсами. Ее ц ена 2000 долл. К числу самых дешевых нейроБИС (41 долл.) относится модель MD 1220 фирмы Micro Devices. Эта Б ИС реализует НС с 8 нейронами и 120 синапсами. Среди разрабатываемых в настоящее время нейроБИС выделяются модели фи рмы Adaptive Solutions (США) и Hitachi (Япония) . Нейро- БИС фирмы Adaptive Solutions, вероятно, станет одной из самых быстродействующих: объявленная скорость обработки составляет 1,2 м лрд. соединений / с. (НС содержит 64 нейрона и 262144 синапса) . НейроБИС фирмы Hitachi по зволяет реализовать НС, содержащую до 576 нейронов. Эти нейроБИС, несомненн о, станут основой новых нейрокомпьютеров и специализированных многопр оцессорных изделий. Большинство сегодняшних нейрокомпьютеров представляют собой просто п ерсональный компьютер или рабочую станцию, в состав которых входит допо лнительная нейроплата. К их числу относятся, например, компьютеры серии FMR фирмы Fujitsu. Такие системы имеют бесспорное право на существование, поскол ьку их возможностей вполне достаточно для разработки новых алгоритмов и решения большого числа прикладных задач методами нейроматематики. Од нако наибольший интерес представляют специализированные нейрокомпью теры, непосредственно реализующие принципы НС. Типичными представител ями таких систем являются компьютеры семейства Mark фирмы TRW (первая реализа ция персептрона, разработанная Розенблатом, называлась Mark I) . Модель Mark III фир мы TRW представляют собой рабочую станцию, содержащую до 15 процессоров сем ейства Motorola 68000 с математическими сопроцессорами. Все процессоры объединен ы шиной VME. Архитектура системы, поддерживающая до 65 000 виртуальных процесс орных элементов с более чем 1 млн. настраиваемых соединений, позволяет об рабатывать до 450 тыс. межсоединений/с. Mark IV - это однопроцессорный суперкомпь ютер с конвейерной архитектурой. Он поддерживает до 236 тыс. виртуальных пр оцессорных элементов, что позволяет обрабатывать до 5 млн. межсоединений /с. Компьютеры семейства Mark имеют общую программную оболочку ANSE (Artificial Neural System Environment) , обеспечивающую программную совместимость моделей. Помим о указанных моделей фирмы TRW предлагает также пакет Mark II - программный эмуля тор НС. - Другой интересной моделью является нейрокомпьютер NETSIM, созданный фирмо й Texas Instruments на базе разработок Кембриджского университета. Его топология пре дставляет собой трехмерную решетку стандартных вычислительных узлов н а базе процессоров 80188. Компьютер NETSIM используется для моделирования таких моделей НС, как сеть Хопфилда Кохонена и НС с обратным распространением. Его производительность достигает 450 млн. межсоединений/с. Фирма Computer Recognitiion Systems (CRS) продает серию нейрокомпьютеров WIZARD/CRS 1000, предназначенных д ля обработки видеоизображений. Размер входной изображения 512 x 512 пикселей. Модель CRS 1000 уже нашла применение в промышленных системах автоматическог о контроля. Сегодня на рынке представлено много моделей нейрокомпьютеров. На самом деле их, видимо, гораздо больше, но наиболее мощные и перспективные модел и по-прежнему создаются по заказам военных. К сожалению, не имея достаточ ной информации о моделях специального назначения, трудно составить пре дставление об истинных возможностях современных компьютеров. ВЫВОДЫ НС принадлежат классу коннекционистских моделей обработки информации . Основная их черта использовать взвешенные связи между обрабатывающим и элементами как принципиальное средство запоминания информации. Обра ботка в таких сетях ведется одновременно большим числом элементов, благ одаря чему они терпимы к неисправностям и способны к быстрым вычисления м. Задать НС, способную решить конкретную задачу, - это значит определить мо дель нейрона, топологию связей, веса связей. Нейронные сети различаются между собой меньше всего моделями нейрона, а в основном топологией связе й и правилами определения весов или правилами обучения, программирован ия. По структуре связей сети делятся на два больших класса: однослойные и мн огослойные. К однослойным относятся модель Хопфилда [1,21,30,42-44] и последующие разработки [38], некоторые типы модели нейронной сети, известной под назван ием "машина Больцмана" [28,29]. Многослойная сеть имеет входной, выходной и скр ытые слои, на входной подается информация, с выходного снимается от- вет, с крытые слои участвуют в обработке [31]. В настоящее время существует два подхода к решению задачи обучения НС ре шению задачи распознавания образов, оптимизации и т.д. Один, исторически более ранний, состоит в постепенной модификации весовых коэффициентов в процессе обучения. Подходы к обучению однослойных и многослойных сетей различны. Обучение многослойных сетей состоит в том, что на основе набора примеров входное состояние -> выходное состояние постепенно подбираются веса всех связей так, чтобы каждое входное состояние вызывало соответствующее выходное. Обучающие алгоритмы представляют собою итерационные процедуры с медле нным приближением к окончательным значениям весов связей. Этот способ в первые был реализован в персептроне Розенблата и локальных правилах об учения на основе модели Хебба. В последующие годы этот подход получил да льнейшее развитие в алгоритмах типа обратного распространения. В однослойных сетях часто удается выразить веса связей через параметры задачи (так обстоит дело с моделью Хопфилда и однослойной машиной Больцм ана) . Подход состоит в вычислении значений синаптических весов на основ е заданного описания функционирования нейронной сети как "черного ящик а". Если сеть должна реализовать заданную функцию, ее рассматривают как н абор элементов пороговой логики и задача сводится к кусочно-линейной ап проксимации этой зависимости и синтезу соответствующего автомата. Для общего случая, когда описание поведения сети задано в виде набора ве кторов возможных состояний, поиск синаптических весов сводится к решен ию соответствующей системы нелинейных уравнений. Такое решение было вп ервые найдено Хопфилдом. Появление этой работы около 10 лет назад продемо нстрировало эффективность применения аналитических методов для интер претации поведения нейронных сетей и привело к разработке проекционно го алгоритма, позволяющего вычислять значения синаптических весов, сок ратив тем самым затраты времени на обучение. Исследования проекционного алгоритма показывают, что при очевидных до стоинствах ему свойственен ряд недостатков, в частности склонность сет и к ложным реакциям и низкая эффективность при доучивании, когда необход имо ввести новые данные, не разрушая информации, запомненной ранее. Кром е того, до настоящего времени принято считать, что данный алгоритм приго ден лишь для полносвяз- ных нейронных сетей и неприменим в сетях другой а рхитектуры. Указанные недостатки и малая изученность таких вопросов, ка к структура и частота появления ложных реакций, реализация итеративных процедур доучивания и применение в неполносвязных сетях, затрудняет ис пользование проекционного алгоритма в исследованиях по нейробионике и при проектировании нейропроцессоров. Недостатком проекционного алгор итма с точки зрения решения задачи прогнозирования является то, что при обучении необходимо с начала сформировать эталоны распознаваемых обра зов. В задаче прогнозирования это либо вовсе невозможно, либо чрезвычайн о затруднено. Эталоны должны формироваться в самой сети на основе анализ а исторических данных. Исходя из вышеизложенного, можно заключить, что для решения задач прогно зирования наиболее подходит сеть с обратным распространением. Она позв оляет формальным образом обучить сеть прогнозировать изменение требов ания на основе исторических данных о требовании. 1. ПРОГНОЗИРОВАНИЕ НА ОСНОВЕ НЕЙРОННЫХ СЕТЕЙ В данн ой главе описан способ прогнозирования с помощью НС, основанный на метод е окон. Также приведен обзор применения НС в финансовой сфере. 3.1. Общий подход к прогнозированию с помощью нейронных сетей На НС задача прогнозирования формализуется через задачу распознавания образов. Данных о прогнозируемой переменной за некоторый промежуток вр емени образуют образ, класс которого определяется значением прогнозир уемой переменной в некоторый момент времени за пределами данного проме жутка т.е. значением переменной через интервал прогнозирования. Метод ок он предполагает использование двух окон Wi и Wo с фиксированными размерами n и m соответственно. Эти окна, способны перемещаться с некоторым шагом по временной последовательности исторических данных, начиная с первого э лемента, и предназначены для доступа к данным временного ряда, причем пе рвое окно Wi, получив такие данные, передает их на вход нейронной сети, а вто рое - Wo - на выход. Получающаяся на каждом шаге пара Wi -> Wo (3.1) используется как эл емент обучающей выборки (распознаваемый образ, или наблюдение) . Например, пусть есть данные о еженедельных продажах режущего инструмен та (k = 16) : 100 94 90 96 91 94 95 99 95 98 100 97 99 98 96 98 (3.2) Весь ряд смотри приложение 1. Зададим n = 4, m = 1, s = 1. С помощь ю метода окон для нейронной сети будет сгенерирована следующая обучающ ая выборка: 100 94 90 96 -> 91 94 90 96 91 -> 94 90 96 91 94 -> 95 (3.3) 96 91 94 95 -> 99 91 94 95 99 -> 95 и т.д. Каждый следующий вектор получается в результате сдвига окон Wi и Wo вправо на один элемент (s = 1) . Предполагается наличие скрытых зависимостей во врем енной последовательности как множестве наблюдений. Нейронная сеть, обу чаясь на этих наблюдениях и соответственно настраивая свои коэффициен ты, пытается извлечь эти закономерности и сформировать в результате тре буемую функцию прогноза P. Прогнозирование осуществляется по тому же принципу, что и формирование обучающей выборки. При этом выделяются две возможности: одношаговое и мн огошаговое прогнозирование. МНОГОШАГОВОЕ ПРОГНОЗИРОВАНИЕ. Используется для осуществления долгосрочного прогноза и предназначен о для определения основного тренда и главных точек изменения тренда для некоторого промежутка времени в будущем. При этом прогнозирующая систе ма использует полученные (выходные) данные для моментов времени k+1, k+2 и т.д. в качестве входных данных для прогнозирования на моменты времени k+2, k+3 и т.д. Предположим, система обучилась на временной последовательности (3.2) . Зате м она спрогнозировала k+1 элемент последовательности, например, равный 95, к огда на ее вход был подан последний из известных ей образов (99,98,96,98) . После эт ого она осуществляет дальнейшее прогнозирование и на вход подается сле дующий образ (98,96,98,95) . Последний элемент этого образа является прогнозом си стемы. И так далее. ОДНОШАГОВОЕ ПРОГНОЗИРОВАНИЕ. Используется для краткосрочных прогнозов, обычно - абсолютных значений последовательности. Осуществляется прогноз только на один шаг вперед, н о используется реальное, а не прогнозируемое значение для осуществлени я прогноза на следующем шаге. Для временной последовательности 3.2. На шаге k+1 система прогнозирует треб ование 95, хотя реальное значение (смотри приложение 1) должно быть 96. На шаге k + 2 в качестве входного образа будет использоваться образ (98,96,98,96) . Как было сказано выше, результатом прогноза на НС является класс к котор ому принадлежит переменная, а не ее конкретное значение. Формирование кл ассов должно проводиться в зависимости от того каковы цели прогнозиров ания. Общий подход состоит в том, что область определения прогнозируемой переменной разбивается на классы в соответствии с необходимой точност ью прогнозирования. Классы могут представлять качественный или числен ный взгляд на изменение переменной. 3.2. Применение нейронных сетей в финансовой сфере Характерный пример успешного применения нейронных вычислений в финанс овой сфере управление кредитными рисками. Как известно, до выдачи кредит а банки проводят сложные статистические расчеты по финансовой надежно сти заемщика, чтобы оценить вероятность собственных убытков от несвоев ременного возврата финансовых средств. Такие расчеты обычно базируютс я на оценке кредитной истории, динамике развития компании, стабильности ее основных финансовых показателей и многих других факторов. Один широк о известный банк США опробовал метод нейронных вычислений и пришел к выв оду, что та же задача по уже проделанным расчетам подобного рода решаетс я быстрее и точнее. Например, в одном из случаев оценки 100 тыс. банковских сч етов новая система, построенная на базе нейронных вычислений, определил а свыше 90% потенциальных неплательщиков. Другая очень важная область применения нейронных вычислений в финансо вой сфере предсказание ситуации на фондовом рынке. Стандартный подход к этой задаче базируется на жестко фиксированном наборе "правил игры", кот орые со временем теряют свою эффективность из-за изменения условий торг ов на фондовой бирже. Кроме того, системы, построенные на основе такого по дхода, оказываются слишком медленными для ситуаций, требующих мгновенн ого принятия решений. Именно поэтому основные японские компании, оперир ующие на рынке ценных бумаг, решили применить метод нейронных вычислени й. В типичную систему на базе нейронной сети ввели информацию общим объе мом в 33 года деловой активности нескольких организаций, включая оборот, п редыдущую стоимость акций, уровни дохода и т.д. Самообучаясь на реальных примерах, система нейронной сети показала большую точность предсказан ия и лучшее быстродействие: по сравнению со статистическим подходом дал а улучшение результативности в целом на 19%. Следующий пример, довольно близкий к области финансового рынка, - оценка стоимости недвижимости. Решение этой задачи зависит в основном от опыта сотрудника риэлтерской фирмы, учитывающего множество таких неравноцен ных факторов, как доля собственности, качество постройки, окружающая обс тановка и т.д. Группа исследователей из университета г. Портсмут (Великоб ритания) заложила в вычислительную систему на базе нейронной сети данны е по оценке недвижимости из обзоров риэлтеровских фирм и списков аукцио нных цен. Результат показал, что самообучившаяся система дает оценки сто имости, хорошо коррелируемые с экспертными заключениями специалистов этого профиля. Пример удачного прогнозирования динамики биржевых курсов по заказу Chemical Bank продемонстрировала фирма Logica. На технической базе Sun SPARCstation LX с помощью ней ронных вычислений моделировались рынки валютных курсов доллар/швейцар ский франк и немецкая марка/швейцарский франк. Выбор именно этих валют о бъяснялся высоким уровнем подвижности первого соотношения и малым вто рого (до кризиса в 1993 году) . Данные о динамике кросс-курсов этих валют собир ались с 1 октября 1992 года по 1 октября 1993 года, при этом ценовые прогнозы харак теризовались пятью категориями: большой рост, малый рост, без изменений, малый спад, большой спад. В итоге нейронная система предсказала за вышеу помянутый годовой период 55 % реальных данных по первому соотношению валю т и 23 % - по второму. Лондонская фондовая биржа (ЛФБ) начала внедрение автоматизированной си стемы с элементами искусственного интеллекта на базе нейронных вычисл ений для контроля внутреннего дилинга. Первый этап инсталляции этой сис темы, разработанной лондонской фирмой SearchSpace и получившей кодовое наимено вание MonITARS (Monitoring Insider Trading and Regulatory Surveillance) , успешно завершен. По оценкам экспертов, бум вокруг систем искусственного интеллекта в фин ансовой индустрии пришелся на период 1984 - 1989 гг. В основном он затронул США и в меньшей степени Великобританию, где разработчики сложных имитационн ых систем для военных (типа программы "Звездные войны") решили попытать сч астья на Уолл-стрит. Многие разработчики действительно обогатились, чег о нельзя сказать о финансовых структурах, чьи завышенные ожидания эффек та от внедрения подобных систем не оправдались. Так, один крупный инвест иционный банк на Уолл-стрит потратил более 1 млн. долл. на разработку систе мы искусственного интеллекта для финансовых операций, но спустя некото рое время вынужден был вернуться к старой, "неинтеллектуальной". Одной из причин неудачи был недостаточный по сравнению с ожидаемым уровень прои зводительности системы, полученный в результате ее внедрения. Американская фондовая биржа в Нью-Йорке пошла по аналогичному пути, запу стив в 1987 году автоматизированную систему Stockwatch Alert Terminal (SWAT) II. Ее расширенная верс ия - SWAT III - сейчас проходит бета-тестирование и, видимо, будет внедрена в нача ле года. Правда, фирма SearchSpace утверждает, что выбрала другую технологию (в отл ичие от SWAT) , называемую "генетическими алгоритмами", и ведет переговоры о е е внедрении с рядом бирж Европы и Дальнего Востока. В настоящее время банки пришли к выводу, что прикладные системы, разрабо танные на базе нейронных сетей, могут принести им пользу. На рынке уже пре длагаются продукты подобного рода, определяющие вероятность риска при выдаче кредита, а также пакеты моделирования и прогнозирования банкрот ства, анализа портфеля ценных бумаг и торговли акциями. Нейронные сети з аменяют традиционные системы в таких научно-технических областях, как с татистические методы, распознавание образов, линейный и нелинейный мат ематический анализ. Mellon equity Associates - подразделение Mellon Bank в Питтсбурге (США) - достаточно давно применяло собственную систему анализа линейной регрессии для распределения фонд ов и специальной селекции акций. В ходе работы они обнаружили, что между р азличными оценочными параметрами существуют нелинейные связи, не подд ающиеся точному учету с помощью имеющегося у них инструментария. Поскольку данное направление работ составляет примерно половину всего бизнеса компании (под управлением находится около 2.5 млрд. долл. инвестиц ий) , то поиск более точных средств стал жизненно важной задачей. После тща тельного анализа разных систем разработок ПО с помощью нейронных сетей Mellon Equity Associates выбрала пакет Neural-Works Professional II/Plus 5.0 фирмы Neural- Ware (Питтсбург) . Основанием для это го послужило наличие у него таких возможностей, как усиленный темп самоо бучения на базе "генетического алгоритма", очень важного для моделирован ия систем "с шумом". По мнению руководителей NeuralWare Inc., методика линейного статистического анали за имеет следующие недостатки. При финансовых расчетах существует силь ная взаимосвязь между отношением цена/доходы одинаковых рынков и темпа ми изменения дивидендов краткосрочных инвестиций. Когда на кривой, отоб ражающей динамику последних, есть точки экстремума, то линейные методы м огут дать переоценку первых. Neural-Works Professional II/Plus 5.0, инсталлированный в компании Mellon Equity Associates, ориентирован на IBM-совмес тимый ПК с 486-м процессором (правда, в качестве препроцессора там использу ется мэйнфрейм VAX) и содержит компилятор языка C и стандартные электронные таблицы. Пакет внедрялся в течение четырех-пяти месяцев и в рабочем режи ме функционирует с января 1994 года. Гораздо более распространены случаи, когда в финансовых структурах при меняются уже готовые приложения на базе нейронных сетей, например для ав томатического распознавания чеков. Подобная система Quick Strokes-IFPS фирмы Mitek Systems (Са н-Диего, шт. Калифорния) была установлена в 1993 году в Федеральном резервном банке Чикаго. Она позволяет оперативно распознавать сканируемые чеки, и спользуя среду обработки данных на базе мэйнфрейма. Департамент торговли и индустрии правительства Великобритании спонси рует две программы, направленные на развитие нейронных вычислений в фин ансовой сфере. Это "Клуб нейропрогнозирования", созданный Лондонской шко лой бизнеса совместно с университетским колледжем Лондона (UCL) , и "Нейронн ые сети для финансовых услуг", продвигаемый фирмой TBS Bank Technology с UCL и Центром про гнозирования Henley. Вместе с тем среди множества финансовых институтов, изв естных как пользователи или исследователи этой технологии, фигурируют такие гиганты, как Chemical Bank, Citibank, JP Morgan и др. Начав работу в этом направлении сравнительно недавно, программисты Вел икобритании уже добились ощутимых результатов. Группа специалистов, вх одящих в "Клуб нейропрогнозирования", создала нейронную систему для выра ботки тактики распределения фондов на глобальных рынках облигаций. Она охватывает семь отдельных географических регионов: Великобританию, Фр анцию, Германию, Японию, США, Канаду, Австралию, и каждый из них моделирует ся особой локальной сетью нейронов. Все они проходят своеобразный проце сс обучения на исторических данных с целью получения краткосрочных про гнозов ситуации на этом рынке за каждый месяц. Все локальные предсказани я затем объединяются в Центре управления единым портфелем ценных бумаг. Вышеописанная система с ноября 1992 года поступила на вооружение Североам ериканской страховой компании в Бостоне (США) . В итоге капитал этой компа нии быстро увеличился с 25 до 50 млн. долл., а портфель ценных бумаг показал до ходность свыше 25 % в первый же год внедрения системы. В этом нет ничего удив ительного, так как нейронная сеть представляет собой универсальное сре дство аппроксимации, способное решить любую задачу. Одна из наиболее передовых методик нейронных вычислений - генетические алгоритмы, имитирующие эволюцию живых организмов. Поэтому они могут быт ь использованы как оптимизатор параметров нейронной сети. Подобная сис тема для прогнозирования результатов контрактов по долгосрочным ценны м бумагам повышенной надежности была разработана и инсталлирована на р абочей станции Sun в компании Hill Samuel Investment Management. При моделировании нескольких стра тегий торгов она достигла точности 57 % в предсказании направления движен ия рынка. В страховой фирме TSB General Insurance (Ньюпорт) используется сходная методик а для прогноза уровня риска при страховании частных кредитов. Данная ней ронная сеть самообучается на статистических данных о состоянии безраб отицы в стране. ВЫВОДЫ Прогнозирование на НС обладает рядом недостатков. Вообще говоря, нам нео бходимо как минимум 50 и лучше 100 наблюдений для создания приемлемой модел и. Это достаточно большое число данных и существует много случаев, когда такое количество исторических данных недоступно. Например, при произво дстве сезонного товара, истории предыдущих сезонов недостаточно для пр огноза на текущий сезон, из-за изменения стиля продукта, политики продаж и т.д. Даже при прогнозировании требования на достаточно стабильный продукт на основе информации о ежемесячных продажах, возможно мы не сможем накоп ить историю за период от 50 до 100 месяцев. Для сезонных процессов проблема ещ е более сложна. Каждый сезон истории фактически представляет собой одно наблюдение. То есть, в ежемесячных наблюдениях за пять лет будет только п ять наблюдений за январь, пять наблюдений за февраль и т.д. Может потребов аться информация за большее число сезонов для того, чтобы построить сезо нную модель. Однако, необходимо отметить, что мы можем построить удовлет ворительную модель на НС даже в условиях нехватки данных. Модель может у точняться по мере того, как свежие данные становится доступными. Другим недостатком нейронных моделей - значительные затраты по времени и другим ресурсам для построения удовлетворительной модели. Эта пробле ма не очень важна, если исследуется небольшое число временных последова тельностей. Тем не менее, обычно прогнозирующая система в области управл ения производством может включать от нескольких сотен до нескольких ты сяч временных последовательностей. Однако, несмотря на перечисленные недостатки, модель обладает рядом дос тоинств. Существует удобный способ модифицировать модель по мере того к ак появляются новые наблюдения. Модель хорошо работает с временными пос ледовательностями, в которых мал интервал наблюдений, т.е. может быть пол учена относительно длительная временная последовательность. По этой п ричине модель может быть использована в областях, где нас интересуют еже часовые, ежедневные или еженедельные наблюдения. Эти модели также испол ьзуются в ситуациях, когда необходимо анализировать небольшое число вр еменных последовательностей. НЕЙРОННЫЕ СЕТИ ОСНОВАННЫЕ НА МЕТОДЕ ОБРАТНОГО ФУНКЦИОНИРОВАНИЯ В данной главе мы приводим детальное описание метода обратного распрос транения - способа обучения многослойных НС. Подробно описана НС для рас познавания рукописных цифр и и процесс ее обучения. В главе также провед ена современная оценка метода обратного распространения. 4.1. Обучение нейронных сетей Мы можем научить трехслойную сеть решать определенную задачу, пользуяс ь следующей процедурой. Сначала мы предъявляем сети серию тренировочны х примеров, которые состоят из паттерна активностей входных элементов в месте с желаемым паттерном активностей выходных элементов [8]. Предположим, что мы хотим научить сеть распознавать рукописные цифры. Мо жно воспользоваться матрицей, из 256 сенсоров, каждый из которых регистрир ует присутствие или отсутствие чернильного пятнышка в пределах малень кой площадки - фрагмента одной цифры. Для сети, таким образом, потребуется 256 входных элементов (по одному на каждый сенсор) , 10 выходных элементов (по о дному на каждую возможную цифру) и некоторое количество скрытых элемент ов. Для каждой цифры, регистрируемой сенсорами, сеть должна генерировать высокую активность в соответствующем выходном элементе и низкую в оста льных выходных элементах. Чтобы натренировать систему, мы предъявляем ей изображение цифры и срав ниваем действительную активность на 10 выходных элементах с желаемой акт ивностью. Затем мы подсчитываем ошибку, определяемую как квадрат разнос ти между действительным и желаемым выходом. После этого мы изменяем вес каждой связи, с тем, чтобы уменьшить ошибку. Описанный процесс тренировк и мы повторяем со многими различными написаньями каждой цифры, пока сеть не научится правильно распознавать все возможные изображения. Чтобы реализовать эту процедуру, нам нужно изменять каждый вес на величи ну, пропорциональную скорости, с которой изменяется ошибка по мере измен ения веса [5]. Эта величина (называемая производной ошибки по весу и обозна чаемая EW) вычисляется не просто. Один из способов вычисления EW заключаетс я в том, чтобы изменить вес на очень маленькую величину и посмотреть, как и зменится ошибка. Однако этот метод не эффективен, поскольку требует отде льных вариаций для каждого из многих весов. 4.2. Алгоритм обратного распространения 4.2.1. Идея создания алгоритма обратн ого распространения Примерно в 1974 году Поль Дж. Вербос изобрел значительн о более эффективную процедуру для вычисления EW, когда работал над своей д окторской диссертацией в Гарвардском университете. Процедура, известн ая теперь как алгоритм обратного распространения (back propagation algorithm) , стала одним и з наиболее важных инструментов в обучении нейронных сетей [5,16,27,30,42,48,49]. Алгоритм обратного распространением проще всего понять, когда все элем енты сети линейны. Алгоритм вычисляет каждую EW, сначала вычисляя EA - скорос ть, с которой изменяется ошибка при изменении уровня активности элемент а. Для выходных элементов EA является просто разностью между действитель ным и желаемым выходом. Чтобы вычислить EA для скрытого элемента в слое, не посредственно предшествующем выходному слою, мы сначала идентифицируе м все веса между этим скрытым элементом и выходными элементами, с которы ми соединен данный скрытый элемент. Затем мы умножаем эти веса на величи ны EA для этих выходных элементов и складываем полученные произведения. Э та сумма и равна EA для данного скрытого элемента. Вычислив EA для всех элеме нтов скрытого слоя, прилегающего к выходному, мы можем аналогичным образ ом рассчитать EA и для других слоев, перемещаясь в направлении, обратном то му направлению, в котором активность нейронов распространяется по сети. Отсюда и название алгоритма обратного прослеживания (или обратного рас пространения) . После того как значение EA для элемента вычислено, подсчита ть EW для каждой входной связи элемента уже несложно. Величина EW является п роизведением EA и активности во входной цепи. Для нелинейных элементов алгоритм обратного распространением включае т дополнительный шаг. Перед перемещением в обратном направлении EA необх одимо преобразовать в EI скорость, с которой изменяется ошибка по мере изм енения суммарного входа элемента. 4.2.2. Описание НС и алгоритма обратного распространения Чтобы обучить нейронную сеть решению какой-либо задачи, мы должны подпра влять веса каждого элемента таким образом, чтобы уменьшалась ошибка - ра схождение между действительным и желаемым выходом. Для этого нужно, чтоб ы нейронная сеть вычисляла производную от ошибки по весам (EW) . Другими сло вами, она должна вычислять, как изменяется ошибка при небольшом увеличен ии или уменьшении каждого веса. Чаще всего для вычисления EW применяется а лгоритм обратного распространением. Чтобы реализовать этот алгоритм, мы сначала должны дать математическое описание нейронной сети. Предположим, что элемент j - типичный элемент вых одного слоя, а элемент i - типичный элемент слоя, который предшествует выхо дному. Активность элемента выходного слоя определяется двухшаговой пр оцедурой. Сначала вычисляется суммарный взвешенный вход Xj с помощью фор мулы Xj = S (Yi * Wij) , (4.1) i где Yi - уровень активности i-го элемента в предшествующем слое и Wij - вес связи между i-м и j-м элементами. Далее, элемент вычисляет активность Yj с помощью некоторой функции от сум марного взвешенного входа. Обычно применяется сигма-функция: Yj = 1 / (1 + e^(-Xj) ) . (4.2) П осле того как активности всех выходных элементов определены, сеть вычис ляет ошибку, которая определяется выражением E = 1/2 * S (Yj - Dj) ^2, (4.3) j где Yj - уровень акт ивности j-го элемента в верхнем слое, а Dj желаемый выход j-го элемента. Алгоритм обратного распространения состоит из четырех шагов. 1) Вычислить, насколько быстро меняется ошибка при изменении выходного э лемента. Эта производная ошибки (EA) есть разность между действительной и о жидаемой активностью. dE EAj = ---- = Yj - Dj. (4.4) dYj 2) Вычислить, насколько быстро изменяется ошибка по мере измене ния суммарного входа, получаемого выходным элементом. Эта величина (EI) ест ь результат шага 1, умноженный на скорость изменения выходного элемента с изменением его суммарного входа. dE dE dYj EIj = = --- * --= EIj Yj (1 - Yj) . (4.5) dXj dYj dXj 3) Вычислить, как быстро изменяется ошибка по мере измен ения веса на входной связи выходного элемента. Эта величина (EW) есть резул ьтат шага 2, умноженный на уровень активности элемента, из которого исход ит связь. dE dE dXj EWij = ---- = --- * --- = EIj Yi. (4.6) dWij dXj dXij 4) Вычислить, как быстро изменяется ошибка с изменением активности элемента из предыдущего слоя. Этот ключевой шаг позволяет пр именять обратное распространение к многослойным сетям. Когда активнос ть элемента из предыдущего слоя изменяется, это влияет на активности все х выходных элементов, с которыми он связан. Поэтому, чтобы подсчитать сум марное воздействие на ошибку, мы складываем все эти воздействия на выход ные элементы. Но эти воздействия нетрудно подсчитать. Этот результат шаг а 2, умноженный на вес связи к соответствующему выходному элементу. dE dE dXj EAi = ---- = S (--- * ---) = S (EIj Wij) . (4.7) dYi j dXj dYij j Пользуясь шагами 2 и 4, мы можем преобразовать величи ны EA одного слоя элементов в EA предыдущего слоя. Эту процедуру можно повто рять, чтобы вычислять EA стольких предыдущих слоев, сколько их есть. Зная EA д ля элемента, мы можем воспользоваться шагами 2 и 3, чтобы вычислить EW на его выходных связях. 4.2.3. Современная оценка алгоритма обратного распространения На протяжен ии нескольких лет после его изобретения алгоритм обратного распростра нением оставался почти незамеченным, вероятно, потому, что не был в должн ой мере оценен специалистами. В начале 80-х годов Д. Румельхарт, работавший в то время в Калифорнийском университете в Сан-Диего, и Д. Паркер из Станфо рдского университете независимо друг от друга вновь открыли алгоритм. В 1986 году Румельхарт, Р. Уильямс, также из Калифорнийского университета в Са н-Диего, и Джеффери Е. Хинтон [5] продемонстрировали способность алгоритма обучить скрытые элементы вырабатывать интересные представления для сл ожных паттернов на входе и тем самым сделали его известным. Алгоритм обратного распространения оказался на удивление эффективным в обучении сетей со многими слоями решению широкого класса задач [2,5,15]. Но б олее всего он эффективен в ситуациях, когда отношения между входом и вых одом нелинейны, а количество обучающих данных велико. Применяя алгоритм , исследователи создали нейронные сети, способные распознавать рукопис ные цифры, предсказывать изменения валютного курса и оптимизировать хи мические процессы. Они даже воспользовались алгоритмом для обучения се тей, которые идентифицируют переродившиеся пред-раковые клетки в анали зируемых образцах ткани и регулируют положение зеркал в телескопах, что бы исключить атмосферные искажения. Р. Андерсен из Массачусетского технологического института и Д. Зипсер из Калифорнийского университета в Сан-Диего показали, что алгоритм обратн ого распространения представляет собой весьма эффективный инструмент для понимания функций некоторых нейронов в коре головного мозга. Они нау чили нейронную сеть реагировать на зрительные стимулы, применив алгори тм обратного распространения. Затем они обнаружили, что реакция скрытых элементов удивительно схожа с реакцией реальных нейронов, выполняющих преобразование зрительной информации, поступающей от сетчатки, в форму, необходимую для более глубоких областей мозга, перерабатывающих зрите льную информацию. ВЫВОДЫ Метод обратного распространения достаточно хорош при создании предста влений о распознаваемом образе в скрытых элементах сети. Алгоритм обрат ного распространения показал эффективность процедур обучения НС, в кот орых веса постепенно изменяются, чтобы уменьшить ошибки. Раньше многие у ченые полагали, что подобные методы окажутся безнадежными, поскольку до лжны неизбежно приводить к локально оптимальным, но в более широком масш табе ужасным решениям. Например, сеть для распознавания цифр может устой чиво сходиться к набору весов, при котором она будет путать единицы с сем ерками, хотя существует набор весов, позволяющий различать эти цифры нар яду с другими. Из-за опасений подобного рода распространилось убеждение , что процедура обучения представляет интерес только в том случае, если о на гарантирует сходимость к глобально оптимальному решению. Метод обра тного распространения показал, что для многих задач глобальная сходимо сть не является необходимым условием для того, чтобы достичь хороших рез ультатов. С другой стороны, с биологической точки зрения, как подобие работы голов ного мозга, метод обратного распространения выглядит не очень убедител ьным. Наиболее очевидная трудность заключается в том, что информация дол жна проходить по тем же самым связям в обратном направлении, от каждого п оследующего уровня к предыдущему. Ясно, что этого не происходит в реальн ых нейронах. Однако этот довод на самом деле является довольно поверхнос тным. В мозге существует множество путей, ведущих от следующих слоев нер вных клеток к предыдущим, и эти пути могут использоваться многообразным и способами для передачи информации, необходимой для обучения. Более серьезную проблему представляет собой быстродействие алгоритма обратного распространения. Здесь центральным является вопрос о том, как быстро растет время, необходимое для обучения, по мере возрастания разме ров сети. Время, требующееся для вычисления производных от ошибки по вес ам на заданном тренировочном примере, пропорционально размерам сети, по скольку объем вычислений пропорционален количеству весов. Однако боле е крупные сети требуют большего количества тренировочных примеров, и им приходится модифицировать веса большее число раз. Следовательно, время обучения растет значительно быстрее, чем размеры сети. Самая серьезная проблема метода обратного распространения заключаетс я в том, что такая НС требует учителя, предоставляющего желаемый выход дл я каждого тренировочного примера. В отличие от этого человек обучается б ольшинству вещей без помощи учителя. Никто не дает нам детального описан ия внутренних представлений мира, которые мы должны научиться извлекат ь из нашего сенсорного входа. Мы учимся понимать речь или зрительные сце ны без каких-либо прямых инструкций. Если сеть сталкивается с большим набором сочетаний сигналов, но не имеет никакой информации о том, что с ними следует делать, то, очевидно, перед не й нет четко поставленной задачи. Тем не менее, исследователи разработали несколько универсальных, неконтролируемых процедур, которые могут пра вильно регулировать весовые параметры сети. Все эти процедуры имеют два общих качества: они оперируют, явно или неявно, с некоторым понятием каче ства представления и работают, изменяя веса, чтобы повысить качество пре дставления, вырабатываемого скрытыми элементами. Не смотря на отмеченн ые недостатки применение метода обратного распространения в целях про гнозирования требований оправданно, так как при прогнозировании не воз никает ситуации неопределенности действий, которые необходимо продела ть с информацией поступающей на вход НС. 5. ПРОГНОЗИРОВАНИЕ КУРСА UKB/USD В данной главе описаны эксперименты по прогнозированию курса американ ского доллара по отношению к украинскому карбованцу (UKB/USD) . Сначала описан ы задачи исследования и общая структура экспериментов. Далее описаны пр оделанные эксперименты, при этом подробно перечислены особенности каж дого из них. Для экспериментов, которые показали удовлетворительные рез ультаты обучения (сеть распознала не менее 80% образов, на которых обучалас ь) в приложениях приведены таблицы с подробным описанием результатов по каждому образу, который распознавался. 5.1. Общий подход к прогнозированию курса UKB/USD Исследования проводились на основе модели сети с обратным распростран ением (подробнее смотри главу 3) . Примененная методика прогнозирования п одробно описана в главе 4. Целью экспериментов было прогнозирование курса UKB/USD. Для достижения данн ой цели было проведено исследование влияния представления исторически х и прогнозируемых данных на ошибку прогнозирования. Также были рассмот рены вопросы влияния структуры НС на скорость обучения сети и ошибку про гнозирования. При этом ставились следующие задачи: - поиск критериев про гнозирования; - поиск оптимального представления исторических данных о курсе; - поиск оптимального представления результата прогнозирования; - поиск оптимального размера окна; - поиск оптимальной структуры сети. Прогнозирование курса UKB/USD проводилось на основе временной последовател ьности ежедневных данных о курсе. Такой подход к прогнозированию основа н на идее американских экономистов, что для прогнозирования некоторых э кономических показателей вполне достаточно исследования истории их из менения. Успешное применение данного подхода другими исследователями [7] для прогнозирования курсов DM/USD и SUR/USD позволяет надеяться на успех прогно зирования UKB/USD. Исходными данными для экспериментов служили ежедневные измерения курс а UKB/USD с 15.06.93 по 26.06.95 всего 842 измерений (данные взяты из архивов банка Porto-Franco) . Прогно зировалось среднее значение курса за день (среднее арифметическое днев ных курсов покупки и продажи) . Каждый из экспериментов, можно разбить на несколько этапов. Первым этапо м было формирование обучающей выборки. На этом этапе определяется вид пр едставления исторических и прогнозируемых данных и происходит формиро вание наборов, подаваемых на входные нейроны и соответствующих им набор ов снимаемых с выходов сети (подробнее смотри раздел 2.2.4) . Большинство опыт ов прогнозировало не фактический курс, а его относительное изменение (ОИ К) . Относительное изменение курса определяется по формуле OIKt = (Kt+1 - Kt) /Kt (5.1) Для а втоматизации процесса формирования обучающих выборок был использован пакет MS EXCEL 5.0. Вторым этапом является обучение НС на основе сформированной на первом э тапе обучающей выборке. Качество обучения характеризовалось ошибкой о бучения, определяемой как суммарное квадратичное отклонение значений на выходах НС в обучающей выборке от реальных значений, полученных на вы ходах НС. Критерием прекращения обучения было прохождение сетью 1500 итера ций или уменьшение ошибки на выходах сети на два порядка, по сравнению с п ервичной ошибкой. В том случае, если при описании опыта не указано, что про изошло снижение ошибки на два порядка, обучение было остановлено по перв ому критерию. На третьем этапе проводилось тестирование обучения сети. На вход подава лось порядка 4 - 5% наборов из обучающей выборки и определялось качество ра спознавания сети. Опыт считался успешным, если относительная достоверн ость распознавания образов была не менее 80%. На четвертом этапе проводилась симуляция прогнозирования. На вход сети подавались наборы, которые не были внесены в обучающую выборку, но резул ьтат по ним (прогноз) известен. Результаты успешных опытов приведены в приложениях 2.1-2.3. Каждая из таблиц приложений разделены на две части. В первой расположены результаты тест ирования обучения, во второй - результаты симуляции прогнозирования. Пер вый столбец в таблице описания опытов содержит номер набора в тестовой и ли симуляционной выборке. Остальные столбцы содержат результаты экспе риментов. В них может находиться знак *, или пара цифр. Энак * означает, что д анный набор распознан правильно. Цифры в строке обозначают, что при расп ознавании произошла ошибка. Первая цифра обозначает номер нейрона, кото рый соответствует фактическому значению переменной, а вторая - фактичес кому. 5.2. Описание экспериментов ЭКСПЕРИМЕНТ 1 ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Данные подаются на входы НС в виде временной последовательности ежедне вных измерений фактического курса (в тысячах карбованцев) . ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Выход НС образует 17 классов прогнозируемого результата - курс с шагом от 5 до 25 тыс. крб. РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 7: 13: 17 (количество входных нейронов: количество нейронов в скрытом слое: количество выходных нейронов) . РЕЗУЛЬТАТЫ: Неуд ача. Не были распознаны образы, на которых обучалась сеть. ЭКСПЕРИМЕНТ 2 ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Данные подаются на входы НС в виде временной последовательности ежедне вных измерений нормированного десятичного логарифма относительного и зменения курса в процентах (ОИК в %) . ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Выход НС образует 20 классов прогнозируемого результата - нормированный десятичный логарифма ОИК в % с шагом 0.05 и два класса, определяющих направле ние изменения курса - рост или падение (см. таблицу 5.1) . Таблица 5.1. Выходы НС в эксперименте 2. Номер нейрона Распознаваемый образ | 1 | Повышение курса | | 2 | Понижение курса | | 3 | от 0 до 0.05 | | 4 | от 0.05 до 0.10 |............ | 21 | от 0.90 до 0.95 | | 22 | от 0.95 до 1.00 | РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 7: 11: 22 РЕЗУЛЬТАТЫ: Неудача . Не были распознаны образы, на которых обучалась сеть. В экспериментах с 3 по 8 были проделаны попытки улучшить качество результ атов полученных в экспериментах 1 и 2. Предполагалось, что этого можно доби ться изменяя ширину окна и структуру нейронной сети (количество нейроно в в скрытом слое) . Были проведены эксперименты со структурой сети 14: 11: 22,21: 11: 22,14: 6: 22,21: 6: 22,14: 18: 22,21: 18: 22. Все эксперименты закончились неудачей - не были распо знаны образы, на которых обучалась сеть. ЭКСПЕРИМЕНТ 9 ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Каждое измерение подавалось на три нейрона: первые два определяли напра вление изменения курса - рост или падение, на третий подавался нормирова нный десятичный логарифм ОИК в % с шагом 0.05. ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Выход НС образует 20 классов прогнозируемого результата - нормированный десятичный логарифм ОИК в % с шагом 0.05 и два класса, определяющих направлен ие изменения курса рост или падение (см. таблицу 5.1) . РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 21: 11: 22 РЕЗУЛЬТАТЫ: Неудача. Не были распознаны о бразы, на которых обучалась сеть. В экспериментах с 10 по 13 продолжались попытки улучшить качество результа тов. Предполагалось, что этого можно добиться на основе подхода описанно го в эксперименте 9, изменяя ширину окна и структуру нейронной сети (колич ество нейронов в скрытом слое) . Были проведены эксперименты со структур ой сети 42: 11: 22,63: 11: 22,42: 18: 22,63: 18: 22. Все эксперименты закончились неудачей - не были расп ознаны образы, на которых обучалась сеть. Начиная с 14 эксперимента было предложено работать при прогнозировании с о свернутым описанием исторических данных. Единичным измерением при та ком подходе считается описание периода времени, в течении которого прир ащение исследуемой переменной оставалось постоянным. Такой период опи сывается парой чисел. В это паре первое число обозначает приращение пере менной, которое держалось в течении некоторого периода, а второе - длител ьность периода, в течении которого удерживалось это приращение. Далее ра ссматриваются различные варианты представления предложенного описан ия данных. Свертка описания исторических данных проводилось на основе в ременной последовательности ОИК в % (интервал - один день) . ЭКСПЕРИМЕНТ 14. Исследовалось влияние числа прогнозируемых на одной НС переменных на д остоверность прогнозирования. Прогнозирование значения и длительност и приращения проводилось на двух различных сетях. Окно на входе НС орган изовано из пар, описывающих промежуток времени (приращение, длительност ь) . ЭКСПЕРИМЕНТ 14.1. Прогнозирование значения приращения ОПИСАНИЕ ИСТОРИЧЕС КИХ ДАННЫХ: ОИК в % кластеризуется и подается на входы НС в соответствии с данными из таблицы 5.2. Время кластеризуется и подается на входы НС в соотв етствии с данными из таблицы 5.3. Таблица 5.2. Интервалы кластеризации и соответствующая им кодировка вход ов для данных по ОИК. Эксперимент 14. Интервал кластеризации, % Код, подаваемый на вход нейрона менее - 10 от - 9.99 до - 2.41 от - 2.40 до - 0.01 0 от 0.01 до 2.40 от 2.41 до 9.99 от 10 и более 100 10 1 0 1 10 100 Таблица 5.3. Интервалы кластеризации и соответствующа я им кодировка входов для данных по времени. Эксперимент 14. Инт ервал кластеризации, дни Код, подаваемый на вход нейрона 1 от 2 до 3 от 4 до 7 от 8 и более 0 1 10 100 ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимали сь данные о распознанном классе в соответствии с интервалами кластериз ации приведенными в таблице 5.2. РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 10: 7 РЕЗУЛЬТАТЫ: Сеть распознала 80 % образов, на которых обучалась. Было получено 33.3 % правильных прогнозов. Результаты пр иведены в приложении 2.1. ЭКСПЕРИМЕНТ 14.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТО РИЧЕСКИХ ДАННЫХ: Как в эксперименте 14.1. ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распозна нном классе в соответствии с интервалами кластеризации приведенными в таблице 5.3. РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 9: 4 РЕЗУЛЬТАТЫ: Сеть распознала 100 % образов, на которых обучалась, было получено 66.7 % правильных прогнозов. Результаты пр иведены в приложении 2.1. ЭКСПЕРИМЕНТ 15 Исследовалось влияние числа прогнозируемых на одной НС пе ременных на достоверность прогнозирования. Прогнозирование значения и длительности приращения проводилось на одной сети. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 14. ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распозна нном классе приращения в соответствии с интервалами кластеризации при веденными в таблице 5.2. и о распознанном классе промежутка времени в соотв етствии с интервалами кластеризации приведенными в таблице 5.3. РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 12: 11 РЕЗУЛЬТАТЫ: Сеть распознала 70% образов, на которых обучалась, было получено 14.3% правильных прогнозов. По сравнению с экспериментом 14, результаты ухудшились на 30 - 40%. Значительно увеличилось ч исло "соседних" ошибок и нечеткость в распознавании образов. Результаты приведены в приложении 2.1. ЭКСПЕРИМЕНТ 16 Исследовалось влияние расположения групп описания истор ических данных (приращение и длительность) на входах НС. Организованы ок но приращений и окно длительности, подаваемые на входы НС последователь но. ЭКСПЕРИМЕНТ 16.1. Прогнозирование значения приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 14. ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 14.1. РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 10: 7 РЕЗУЛЬТАТЫ: Сеть распознала 80 % образов, на которых обучалась. Было получено 42.9 % правильных прогнозов. Результаты пр иведены в приложении 2.1. ЭКСПЕРИМЕНТ 16.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТО РИЧЕСКИХ ДАННЫХ: Как в эксперименте 14. ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 14.2. РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 9: 4 РЕЗУЛЬТАТЫ: Сеть распознала 90% образов, на которых обучалась. Было получено 42.9% правильных прогнозов. Результаты при ведены в приложении 2.1. ЭКСПЕРИМЕНТ 17 ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 16 ОПИСАНИ Е ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 15 РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТ И: 14: 10: 11 РЕЗУЛЬТАТЫ: Сеть распознала 70 % образов, на которых она обучалась, был о получено 14.3 % правильных прогнозов. По сравнению с экспериментом 16, резул ьтаты ухудшились на 20 - 35%. Значительно увеличилось число "соседних" ошибок и нечеткость в распознавании образов. Результаты приведены в приложени и 2.1. ЭКСПЕРИМЕНТ 18 Дальнейшая работа с НС из эксперимента 14 показала, что клас сы, кодируемые 10 и 100 (-10 и -100) были неразличимы. Фактически - сеть работала с 5 кла ссами приращения и 3 классами длительности приращения. Для повышения точ ности представления данных, кодировка классов была изменена. ЭКСПЕРИМЕНТ 18.1. Прогнозирование значения приращения ОПИСАНИЕ ИСТОРИЧЕС КИХ ДАННЫХ: ОИК в % кластеризуется и подается на входы НС в соответствии с данными из таблицы 5.4. Время кластеризуется и подается на входы НС в соотв етствии с данными из таблицы 5.5. Таблица 5.4. Интервалы кластеризации и соответствующая им кодировка вход ов для данных по ОИК. Эксперимент 18. Инт ервал кластеризации, % Ко д, подаваемый на вход нейрона менее - 10 от - 9.99 до - 2.41 от - 2.40 до - 0.01 0 от 0.01 до 2.40 от 2.41 до 9.99 от 10 и более 3 2 1 0 1 2 3 Таблица 5.5. Интервалы кластеризации и соответствующа я им кодировка входов для данных по времени. Эксперимент 18. Инт ервал кластеризации, дни Код, подаваемый на вход нейрона 1 от 2 до 3 от 4 до 7 от 8 и более 0 1 2 3 ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимали сь данные о распознанном классе в соответствии с интервалами кластериз ации приведенными в таблице 5.4. РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 10: 7 РЕЗУЛЬТАТЫ: Сеть распознала 90 % образов, на которых обучалась, было получено 42.9 % правильных прогнозов. Результаты пр иведены в приложении 2.1. ЭКСПЕРИМЕНТ 18.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТО РИЧЕСКИХ ДАННЫХ: Как в эксперименте 18.1. ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распозна нном классе в соответствии с интервалами кластеризации приведенными в таблице 5.5. РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 9: 4. РЕЗУЛЬТАТЫ: Сеть распознала 100 % образов, на которых обучалась. Было получе но 47.6 % правильных прогнозов. Результаты приведены в приложении 2.1. В экспериментах с 19 по 33 проводился подбор оптимального размера окна. Рез ультаты экспериментов с 19 по 21 приведены ниже и в приложениях. Результаты экспериментов с 22 по 33 отображены только в выводах по результатам экспери ментов в конце главы. ЭКСПЕРИМЕНТ 19 ЭКСПЕРИМЕНТ 19.1. Прогнозирование значения приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 14. ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 14.1. РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 17: 7 РЕЗУЛЬТАТЫ: Сеть распознала 100 % образов, на которых она обучалась, было получено 42.9 % правильных прогнозов. Результат ы приведены в приложении 2.2. ЭКСПЕРИМЕНТ 19.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТО РИЧЕСКИХ ДАННЫХ: Как в эксперименте 14. ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 14.2. РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 16: 4. РЕЗУЛЬТАТЫ: Сеть распознала 100 % образов, на которых обучалась, было получе но 57.1 % правильных прогнозов. Результаты приведены в приложении 2.2. ЭКСПЕРИМЕНТ 20 ЭКСПЕРИМЕНТ 20.1. Прогнозирование значения приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 16. ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 16.1. РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 17: 7. РЕЗУЛЬТАТЫ: Сеть распознала 100 % образов, на которых обучалась, было получе но 50% правильных прогнозов. Результаты приведены в приложении 2.2. ЭКСПЕРИМЕНТ 20.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТО РИЧЕСКИХ ДАННЫХ: Как в эксперименте 16. ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 16.2. РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 16: 4. РЕЗУЛЬТАТЫ: Сеть распознала 100 % образов, на которых обучалась, было получе но 78 % правильных прогнозов. Результаты приведены в приложении 2.2. ЭКСПЕРИМЕНТ 21 ЭКСПЕРИМЕНТ 21.1. Прогнозирование значения приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 18. ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 18.1. РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 17: 7. РЕЗУЛЬТАТЫ: Сеть распознала 90 % образов, на которых обучалась, было получе но 50 % правильных прогнозов. Результаты приведены в приложении 2.2. ЭКСПЕРИМЕНТ 21.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТО РИЧЕСКИХ ДАННЫХ: Как в эксперименте 18. ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 18.2. РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 16: 4. РЕЗУЛЬТАТЫ: Сеть распознала 100 % образов, на которых она обучалась, было пол учено 64.3 % правильных прогнозов. Результаты приведены в приложении 2.2. На основании 33 экспериментов для прогнозирования был выбран следующий п одход: прогнозирование производится на основе периодов стабильности О ИК в %; величина и длительность приращения прогнозируются на разных НС; оп тимальный размер окна 14; окна величины и длительности приращения подают ся на входы НС последовательно. Начиная с эксперимента 34 мы исследовали в лияние интервалов кластеризации и вида кодирования на достоверность п рогнозирования. ЭКСПЕРИМЕНТ 34 На вход НС подаются пары (значение, длительность) . ЭКСПЕРИМЕНТ 34.1. Прогнозирование значения приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: ОИК в % кластеризуется и подается на входы НС в соответствии с данными из таблицы 5.6. Время кластеризуется и подается на входы НС в соответствии с данными из таблицы 5.7. Таблица 5.6. Интервалы кластеризации и соответствующая им кодировка вход ов для данных по ОИК. Эксперимент 34. Инт ервал кластеризации, % Ко д, подаваемый на вход нейрона больше 13 от 12.99 до 10 от 9.99 до 5 от 4.99 до 2 от 1.99 до 1 от 0.99 до 0.01 0 от - 0.01 до - 1.49 от - 1.5 до - 2.99 от - 3 до - 4.99 от - 5 до - 7.99 от - 8 и меньше 3 2 1.6 0.75 0.5 0.3 0 -0.3 -0.5 -0.75 -1.6 -2 Таблица 5.7. Интервалы кластеризации и соответствующа я им кодировка входов для данных по времени. Эксперимент 34. Инт ервал кластеризации, дни Код, подаваемый на вход нейрона 1 2 3 4 от 5 до 8 от 9 до 14 от 15 до 19 от 21 и дольше 0.75 0.5 0.235 0 0.235 0.5 0.75 1.6 ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимали сь данные о распознанном классе в соответствии с интервалами кластериз ации приведенными в таблице 5.4. РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 13: 12. РЕЗУЛЬТАТЫ: сеть распознала 100 % образов, на которых она обучалась, было пол учено 64 % правильных прогнозов, результаты приведены жены в приложении 2.2. ЭКСПЕРИМЕНТ 34.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТО РИЧЕСКИХ ДАННЫХ: Как в эксперименте 34.1. ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распозна нном классе в соответствии с интервалами кластеризации приведенными в таблице 5.5. РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 11: 8. РЕЗУЛЬТАТЫ: сеть распознала 70 % образов, на которых она обучалась, было пол учено 35.7 % правильных прогнозов, результаты приведены в приложении 2.2. ЭКСПЕРИМЕНТ 35 Окна величины и длительности приращения подаются на входы НС последовательно. ЭКСПЕРИМЕНТ 35.1. Прогнозирование значения приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 34. ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 34.1. РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 13: 12. РЕЗУЛЬТАТЫ: сеть распознала 80 % образов, на которых она обучалась, было пол учено 50 % правильных прогнозов, результаты приведены в приложении 2.2. ЭКСПЕРИМЕНТ 35.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТО РИЧЕСКИХ ДАННЫХ: Как в эксперименте 34. ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: Как в эксперименте 34.2. РАЗМЕР ОКНА: 7 СТРУКТУРА СЕТИ: 14: 11: 8. РЕЗУЛЬТАТЫ: сеть распознала 70 % образов, на которых обучалась, было получе но 42.9 % правильных прогнозов, результаты приведены в приложении 2.2. ЭКСПЕРИМЕНТ 36 На вход НС подаются пары (значение, длительность) . ЭКСПЕРИМЕНТ 36.1. Прогнозирование значения приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: ОИК в % кластеризуется и подается на входы НС в соответствии с данными из таблицы 5.8. Время кластеризуется и подается на входы НС в соответствии с данными из таблицы 5.9. Таблица 5.8. Интервалы кластеризации и соответствующая им кодировка вход ов для данных по ОИК. Эксперимент 36. Инт ервал кластеризации, % Ко д, подаваемый на вход нейрона больше 6.1 от 6 до 2.51 от 2.5 до 0.01 0 от - 0.01 до - 1.5 от - 1.51 до - 3.5 от - 3.51 и меньше 6 1.6 0.7 0 0.7 1.6 6 Таблица 5.9. Интервалы кластеризации и соответствующа я им кодировка входов для данных по времени. Эксперимент 36. Инт ервал кластеризации, дни Код, подаваемый на вход нейрона 1 2 3 4 от 5 до 7 от 8 до 14 от 15 и дольше 6 1.6 0.7 0 0.7 1.6 6 ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимали сь данные о распознанном классе в соответствии с интервалами кластериз ации приведенными в таблице 5.8. РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 17: 7. РЕЗУЛЬТАТЫ: сеть распознала 100 % образов, на которых она обучалась, было пол учено 52.6 % правильных прогнозов. Результаты приведены в приложении 2.3. ЭКСПЕРИМЕНТ 36.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 36.1. ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распозна нном классе в соответствии с интервалами кластеризации приведенными в таблице 5.9. РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 17: 7. РЕЗУЛЬТАТЫ: сеть распознала 100 % образов, на которых она обучалась, было пол учено 47.4 % правильных прогнозов. Результаты приведены в приложении 2.3. ЭКСПЕРИМЕНТ 37 Окна величины и длительности приращения подаются на входы НС последовательно. ЭКСПЕРИМЕНТ 37.1. Прогнозирование значения приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: ОИК в % кластеризуется и подается на входы НС в соответствии с данными из таблицы 5.8. Время кластеризуется и подается на входы НС в соответствии с данными из таблицы 5.10. Таблица 5.10. Интервалы кластеризации и соответствующая им кодировка вход ов для данных по времени. Эксперимент 37. Инт ервал кластеризации, дни Код, подаваемый на вход нейрона от 1 до 2 от 3 до 4 от 5 до 7 от 8 до 14 от 15 и больше 6 1.1 0 1.1 6 ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимали сь данные о распознанном классе в соответствии с интервалами кластериз ации приведенными в таблице 5.8. РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 17: 7. РЕЗУЛЬТАТЫ: сеть распознала 90 % образов, на которых она обучалась, было пол учено 47.4 % правильных прогнозов, результаты приведены в приложении 2.3. ЭКСПЕРИМЕНТ 37.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТО РИЧЕСКИХ ДАННЫХ: Как в эксперименте 37.1. ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распозна нном классе в соответствии с интервалами кластеризации приведенными в таблице 5.5. РАЗМЕР ОКНА: 14 СТРУКТУРА СЕТИ: 28: 16: 5. РЕЗУЛЬТАТЫ: сеть распознала 100 % образов, на которых обучалась, было получе но 36.8 % правильных прогнозов. Результаты приведены в приложении 2.3. ЭКСПЕРИМЕНТ 38 На вход НС подаются пары (значение, длительность) . ЭКСПЕРИМЕНТ 38.1. Прогнозирование значения приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 36.1. ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распозна нном классе в соответствии с интервалами кластеризации приведенными в таблице 5.11. Таблица 5.11. Выходы НС в эксперименте 38.1 Номер нейрона Распознаваемый образ, % приращения | 1 | 10 | | 2 | 9 |....... | 20 | - 9 | | 21 | - 10 | ---СТРУКТУРА СЕТИ: 28: 24: 21. РЕЗУЛЬТАТЫ: сеть распознала 100 % образов, на которых обучалась, было получе но 47.4 % правильных прогнозов. На данной сети было выполнено прогнозирован ие на 3 месяца. Результаты приведены в приложении 2.3. ЭКСПЕРИМЕНТ 38.2. Прогнозирование длительности приращения. ОПИСАНИЕ ИСТОРИЧЕСКИХ ДАННЫХ: Как в эксперименте 36.1. ОПИСАНИЕ ПРОГНОЗИРУЕМЫХ ДАННЫХ: С выхода НС снимались данные о распозна нном классе в соответствии с интервалами кластеризации приведенными в таблице 5.12. Таблица 5.12. Выходы НС в эксперименте 38.2 Номер нейрона Распознаваемый образ, дни | 1 | 15 и дольше | | 2 | 14 |....... | 14 | 2 | | 15 | 1 | -------СТРУКТУРА СЕТИ: 28: 21: 15. РЕЗУЛЬТАТЫ: сеть распознала 100 % образов, на которых обучалась, было получе но 52.6 % правильных прогнозов. На данной сети было выполнено прогнозирован ие на 3 месяца. Результаты приведены в приложении 2.3. ВЫВОДЫ Прогнозирование с помощью НС курса UKB/USD показало эффективность пр едлагаемого подхода. Наилучшие результаты при симуляции прогнозирован ия были получены в последнем эксперименте данной серии, что позволяет на деяться на серьезное повышение точности прогнозирования. Исследовалась модель прогнозирования на основе временной последовате льности. Первые 13 экспериментов закончились неудачей. В экспериментах с 14 по 35 мы повышали точность прогнозирования в основном за счет изменения структуры сети. Эксперименты показали точность прогнозирования порядк а 32%, при 20% "соседних" ошибок. На основании этих экспериментов была выбрана о птимальная структура сети, размер окна и тип представления данных (экспе рименты 36,37,38) . Значительное число "соседних" ошибок позволяет повысить точ ность прогнозирования за счет выделения и распознавания большего числ а классов (например, каждый класс - это изменение переменной в пределах 1%) . При таком разбиении "соседняя" ошибка даст максимальную реальную ошибку 2%. Эксперименты также показали, что повышение чувствительности при опис ании входных данных подаваемых на НС, приводит к повышению точности прог нозирования. При симуляции прогнозирования приращения курса была дост игнута достоверность порядка 48% (максимальная ошибка 2%) и при прогнозиров ании длительности приращения - 52% (при максимальной ошибке 3 дня) . Однако та кое качество прогнозирования достигнуто только для одношагового прогн озирования. Для реализации многошагового прогнозирования необходимо п рименение других моделей и/или изменения периода прогнозирования. Не см отря на данный недостаток и необходимость дальнейшего тестирования и и сследований, можно сказать, что на основе предложенной модели возможно с оздание реального программного продукта прогнозирующего курсы валют д аже в условиях нестабильного состояния современной украинской экономи ки. - ВМДР 90415 - 01 81 01-1 6. ЭКОНОМИЧЕСКИЕ МЕТОДИКИ ВАЛЮТНОГО ПРОГНОЗИРОВАНИЯ Мировая практика выработала два основных подхода к прогнозированию динамики в алютного курса фундаментальный и технический. Фундаментальный подход связан с построением моделей, отражающих завис имость курса от набора курсообразующих факторов. Однако на деле подобны е прогнозы часто не оправдываются, особенно в кратко- и среднесрочных ас пектах, наиболее важных для бизнеса. Ненадежность связана с тем, что сами величины курсообразующих факторов зачастую приходится прогнозироват ь, а это придает шаткость всей экономико-математической конструкции. Поэтому практики больше склонны применять технический подход, базирую щийся на предположении, что сама форма кривой изменения курса может служ ить ключом к его будущему поведению. Особое внимание при этом уделяется повторяемости определенных фигур и изломов. В данной работе я описал один из способов валютного прогнозирования - ме тод циклического прогнозирования, позволяющий синтезировать оба подхо да и адаптировать их к нашим условиям. Главная его идея состоит в том, что любая, даже самая несовершенная экономика, благодаря рыночному курообр азованию обладает способность восстанавливать равновесие, нарушаемое кредитно-денежными эмиссиями. В основе этой способности лежит тенденци я к устойчивости реальной денежной массы, т.е. хотя бы частичное приближе ние ее к исходному уровню в течение определенного периода, образующего д енежный цикл. - ВМДР 90415 - 01 81 01-1 Характер цикла определяется степенью нарушения равновесия, связанной с объемом эмиссий. Относительно небольшому увеличению денеж ной массы (до 30 %) соответствует малый денежный цикл, занимающий 2 - 3 месяца. Б ольшой цикл длится около полугода. Но дело не только в продолжительности , но и в том, что их механизмы существенно различаются. В основе этого различия лежит двойственность реальной денежной массы. С точки зрения национальной экономики реальная денежная масса равна деф лированной номинальной, т.е. общему количеству наличных и безналичных де нег, деленному на индекс инфляции. Со стороны валютных отношений реальна я денежная масса соответствует номинальной, деленной на индекс изменен ия курса национальной денежной единицы. В странах с сильной "долларизаци ей" экономики (к ним, безусловно, относится и Украина) вторая сторона реаль ной денежной массы приобретает весьма существенное внутриэкономическ ое значение. Это проявляется, прежде всего, в ходе малого цикла. Он начинается с относи тельно небольшого усиления кредитно-денежной эмиссии, когда средний дн евной прирост денежной массы не превышает 0.5 процента от ее объема. Пример но через три недели новые деньги поступают на валютный рынок, вызывая по степенный подъем курса доллара (на 150 % - в марте-апреле 1993 г., на 130 % в апреле-мае 1994 г.) . Курс с небольшими колебаниями растет в среднем до величины, соответ ствующей приросту номинальной денежной массы минус индекс инфляции за этот период. Пройдя в значительной мере через доллар, имитированные деньги втягиваю тся в обычный хозяйственный кругооборот и, как - ВМДР 90415 - 01 81 01-1 показывает кри вая инфляции, не столько увеличивают ее темп, сколько замедляют его паде ние, происходящее после предшествовавшего большого цикла (включающего в себя инфляционный всплеск) . Поэтому восстановление дефлированного по казателя реальной денежной массы на практике почти не ощущается. По мере того, как движение новых денег через валютный рынок затихает, спр ос на доллары несколько сокращается. Это может вызвать его кратковремен ное падение (например, в июне 1994 г. - на 116 %) . Снижение курса доллара расширяет р еальную денежную массу, сжатую его предыдущим ростом. Она приближается к исходному уровню, существовавшему на начало цикла, после чего наступает кратковременная стабилизация. Таким образом, зная размеры эмиссии, мы можем с достаточной степенью дос товерности определить направление, сроки и величину предстоящего изме нения валютного курса. Если бы эмиссия проводилась равномерно на протяжении финансового года, денежных циклов могло бы не быть. Их истоки в неравномерном, дискретном х арактере эмиссии. В данном случае источником характерного для весны мал ого цикла является неравномерность "посевной" эмиссии, после которой уст анавливается "затишье", продолжающееся до августа (1994 г.) или середины июля (1993 г.) . Оно прерывается "урожайной" эмиссией, знаменующей начало большого д енежного цикла. Механизм большого цикла основан на взаимодействии процессов изменения курса доллара, инфляции и изменения депозитного процента. Вначале, так ж е как и при малом цикле, резкий рост номинальной денежной массы вызывает нарастающее повышение курса дол- ВМДР 90415 - 01 81 01-1 лара. Но сразу вслед за этим р азворачивается еще более сильная инфляция, перекрывающая это повышени е. Ее интенсивность определяется давлением на рыночные цены с двух сторо н - и со стороны цен предложения, и со стороны цен спроса. Сильная эмиссия превышает потребности оборота в деньгах, сложившиеся п ри достигнутом ранее балансе цен. Новые деньги, расширяя спрос, увеличив ают те цены, которые покупатели теперь готовы заплатить за товары и услу ги. Для анализа этих процессов используется не только кривая инфляции, но и такие аналитические инструменты, как линии спроса и предложения. Линия с проса D показывает зависимость спроса от цены. Поскольку при повышении ц ен спрос падает, линия спроса имеет вид нисходящей кривой. Но и предложен ие тоже зависит от цены. Эта зависимость выражается линией предложения S, представленной восходящей кривой, поскольку повышение цен стимулирует рост предложения. Имея такую форму, линии спроса и предложения неизбежн о пересекаются. В точке пересечения E устанавливается рыночное равновес ие, означающее равенство спроса и предложения. Рыночная цена, при которо й это достигается, является ценой равновесия. Интенсивная эмиссия выводит рынок из состояния равновесия. На графике п овышение цен спроса отражается сдвигом линии спроса D вправо из положени я Do в положение D1. С другой стороны, девальвация карбованца увеличивает це ны предложения сначала импортных, а затем и отечественных товаров. Напри мер, рост цен энергоносителей усиливает так называемую инфляцию издерж ек. Это отражается на графике смещением линии предложения S вверх из поло жения So в положение S1. В результате, при неизменном физическом объеме това рооборота Q, рыночные цены повышаются с уровня Po до уровня P1. Компьютерное м оделирование этих процессов позволяет рассчитывать интенсивность инф ляции в зависимости от объема эмиссии. Темп инфляции имеет существенно важное значение для валютного прогноз ирования по нескольким причинам, связанным с выполнением деньгами двух основных функций - средства обращения и средства сбережения (сохранения стоимости) . Инфляция увеличивает потребность в карбованцах, прежде всего для осуще ствления сделок и соответственно несколько сокращает спрос на доллары. Поскольку для удовлетворения этой потребности начинают "сбрасываться" доллары, увеличивается рыночное предложение последних. Тем самым относ ительное сокращение спроса и рост предложения долларов способствуют с нижению или стабилизации валютного курса. Но этим влияние инфляции не ограничено. Примерно через два месяца после начала гиперинфляции наступает перелом в динамике дипозитного процент а, и в дальнейшем процент следует за изменением индекса инфляции. В свою о чередь рост депозитного процента увеличивает склонность к сбережениям в карбованцах и относительно сокращает спрос на доллары для сбережения , оказывая сдерживающее воздействие на валютный курс. Правда, сейчас это воздействие значительно слабее, чем было раньше, в сил у пошатнувшегося доверия к банкам, не говоря уже о трастах и страховых ко мпаниях. Поэтому с конца 1994 г. более ощутимой становится не зависимость ва лютного курса от депозитного - ВМДР 90415 - 01 81 01-1 процента, а, напротив, зависимос ть процента от динамики курса. Так, снижение и стабилизация курса, начавш иеся с ноября прошлого года, внесли свою лепту в наступивший через три не дели аналогичный перелом в динамике депозитного процента. Таким образом, несмотря на всю сложность взаимодействия факторов, опред еляющих динамику курса, вполне реально проследить их причинно-следстве нную зависимость и учесть ее при прогнозировании не только малого, но и б ольшого денежного цикла. Тем более что в основе и того, и другого лежит, по существу, одно и то же явление устойчивость реальной денежной массы. Главное различие между ними состоит в том, что в рамках малого цикла восс танавливается валютный показатель реальной денежной массы, в то время к ак сложный цикл восстанавливает и дефлированный показатель. Более того, восстановление дефлированного показателя в силу описанного выше взаим одействия цен предложения и цен спроса происходит интенсивней, чем валю тного. В целом за период большого цикла рост валютного курса, несмотря на свою интенсивность, отстает от инфляции, и тем более - от роста номинально й денежной массы. Одна из причин этого состоит в том, что ставшая уже традиционной осенняя гиперинфляция, повышая спрос на карбованцы, тормозит тем самым дальнейш ий рост курса и дополняется инфляцией доллара. К этому же времени дает о с ебе знать сокращение эмиссии, происходящее обычно к концу октября - нача лу ноября. Кроме того, под впечатлением гиперинфляции правительство и На цбанк каждый год принимают в ноябре-декабре еще и сдерживающие меры адми нистративного характера, демонстрируя в этой области немалую - ВМДР 90415 - 01 81 01-1 изобретательность. Если добавить к этому увеличение спроса на кар бованцы, связанное с окончанием хозяйственного года, то станет совершен но очевидной закономерность стабилизации валютного курса, завершающей денежный цикл. Недооценка этой цикличности стала одной из причин краха трастовых и страховых компаний, рассчитывавших на более равномерный ро ст доллара, и именно по этой причине многие фирмы зимой 1993-94 года оказались в тяжелом положении. Кроме того, в циклическом анализе необходимо обязат ельно учитывать новые веяния в монетарной политике государства. Очевид на, например, направленность нынешней весенней валютно-финансовой поли тики на сглаживание "посевного" цикла и стабилизацию курса карбованца. П оэтому, предполагая, что соответствующим должностным лицам уже более ил и менее известен механизм денежного цикла, легче предугадать поведение правительства и Нацбанка. ПРИЛОЖЕНИЯ ПРИЛОЖЕНИЕ 1. Еженедельные продажи режущего инструмента (100 на блюдений, читать сверху вниз, слева направо) 100 94 90 96 91 94 95 99 95 98 100 97 99 98 96 98 96 99 97 9ы8 101 100 102 110 104 110 113 112 113 120 121 118 123 124 123 129 125 119 118 120 115 122 118 120 116 118 119 118 120 123 124 123 121 126 128 124 122 123 119 120 125 126 129 132 131 130 133 134 133 135 138 137 140 138 144 135 138 137 136 136 137 138 140 139 131 129 134 133 133 134 132 126 130 131 130 133 132 129 135 136 ПРИЛОЖЕН ИЕ 2.1 Результаты экспериментов 14-18 Эксп т 14 Эксп-т 15 Эксп т 16 Эксп-т 17 Эксп т 18 при-е 14.1 дл-ть 14.2 при-е 16.1 дл-ть 16.2 при-е 18.1 дл-ть 18.2 * * 10-11 * * * * 2-4 6-5 * 5-3 1-4,11-10 * 10-11 11-10 3-1 4-3,9-11 3-2,11-10 4-3 5-2,10-11 4-3 5-2 * 5-4,11-10 4-3,11-10 5-4 4-3,11-10 5-4,11-10 4-3,10-11 5-4,11-10 * * 10-11 * * * * * 2-4,10-11 6-4 * 5-3 1-4 2-5 10-11 * 3-4 4-3,9-11 3-2,11-10 4-3,10-11 5-4,10-11 11-9 5-4 * * 11-10 5-4 4-3,11-10 5-4,11-9 4-3 5-4,11-10 3-4,10-11 ПРИЛОЖЕНИЕ 2.2 Результаты экспериментов 19-21,34,35 Экс п т 19 Эксп т 20 Эк сп т 21 Эксп т 34 Эк сп т 35 при-е 19.1 дл-ть 19.2 при-е 20.1 дл-ть 20.2 при-е 21.1 дл-ть 21.2 при-е 34.1 дл-ть 34.2 при-е 35.1 дл-ть 35.2 ПРИЛОЖЕН ИЕ 2.3 Результаты экспериментов 36-38 Эксп т 36 Эксп т 37 Эксп т 38 при-е 36.1 дл-ть 36.2 при-е 37.1 дл-ть 37.2 при-е 38.1 дл-ть 38.2 ЛИТЕРАТУРА 1. Aбу-Мустафа Я. С., Псалтис Д. Оптические нейронно-сетевые компьютеры//В мир е науки, 1987. N 5. С. 42-50. 2. Барцев С. И. Некоторые свойства адаптивных сетей (программная реализаци я) . - Красноярск: Институт физики СО АН СССР, 1987. 3. Барцев С. И., Охонин В. А. Адаптивные сети обработки информации. - Красноярс к: Институт физики СО АН СССР, 1986. 4. Гольцев А. Д. Яркостная сегментация изображения при помощи нейроподобн ой сети.//Автоматика 1965 - N 5 - с. 40-50. 5. Джеффри Е. Хинтон. Как обучаются нейронные сети.// В мире науки - 1992 - N 11 - N 12 - c. 103-107. 6. Иванченко А. Г. Персептрон - системы распознавания образов.// К.: Наукова ду мка, 1972. 7. Картавцев В. В. Нейронная сеть предсказывает курс доллара? // Компьютеры + программы - 1993 - N 6(7) - с. 10-13. 8. Куссуль В. М., Байдык Т. Н. Разработка архитектуры нейроподобной сети для р аспознавания формы объектов на изображении.//Автоматика - 1990 - N 5 - с. 56-61. 9. Маккалох Дж., Питтс У. Логические исчисления идей, относящихся к нервной деятельности.// Автоматы. М.: ИЛ, 1956. 10. Масалович А. И. От нейрона к нейрокомпьютеру.// Журнал доктора Добба - 1992 - N 1 - с . 20-23. 11. Минский М., Пейперт С. Персептроны. М.: МИР, 1971. С. 261. 12. Розенблат Ф. Аналитические методы изучения нейронных сетей.// Зарубежна я радиоэлектроника. - 1965 - N 5 - с. 40-50. 13. Розенблат Ф. Принципы нейродинамики.// М.: МИР, 1965. 14. Соколов Е. Н., Вайтнявичус Г. Г. Нейроинтеллект: от нейрона к нейрокомпьют еру. - М.: Наука, 1989. С. 283. 15. Суворов С. В., Матихина Н. Ю. Программное моделирование нейроподобных стр уктур.//Распределенная обработка информации. - Улан-Уде, 1989, - с. 28. 16. Трикоз Д. В. Нейронные сети: как это делается? // Компьютеры + программы - 1993 - N 4(5) с. 14-20. 17. Тэнк Д. У., Хопфилд Д. Д. Коллективные вычисления в нейроноподобных электр онных схемах.//В мире науки. 1988. N 2. С. 44-53. 18. Цуприков С. Нейронные вычисления берутся на вооружение финансистами .// Computerworld Moscow - 1985 - N 7 - с. 57-58. - 19. Чертков М., Грималюк А. Методика валютного прогнозирования.// Одесские д еловые новости 1995 - май N 16 - с. 4. 20. Aarts E. H. L., Korst J. H. M. Boltzmann machines and their applications//Lect. Notes Comput. Sci. 1987. V. 258. P. 34-50. 21. Aarts E. H. L., Korst J. H. M. Boltzmann machines for travelling salesman problem//European J. Oper. Res. 1989. V. 39. P. 79-95. 22. Abu-Mostafa Y. S., Jaques J. N. St. Information capacity of the Hopfield model//IEEE Trans. Inform. Theory. 1985. V. 31. P. 461. 23. Ackley D. H., Hinton G. E., Sejnowski T. J. A learning algorithm for Bolzmann machines//Cognit. Sci. 1985. V. 9. N 1. P. 147-169. 24. Amari S. Field theory of self-organizing neural networks//IEEE Trans. Syst., Man, Cybern. 1983. V. 13. P. 741. 25. Artificial Intelligence.// Amsterdam: Time - Life - Books, 1986. 26. Athale R., Stirk C. W. Compact architectures for adaptive neuraal nets//Ibid. 1989. V. 28. N 4. 27. Bardcev S. I., Okhonin V. A. The algorithm of dual functioning (back-propagation) : general approach, vesions and applications. Krasnojarsk: Inst. of biophysics SB AS USSA - 1989. 28. Carpenter G. A., Grossberg S. A massively parallel architecture for a self-organizing neural pattern recognition machine.//Comput. Vision Graphics Image Process. 1986. V. 37. p. 54-115. 29. Cohen M. A., Grossberg S. Absolute stability of global pattern formation and parallel memory storage by competitive neural networks//IEEE Trans. Syst., Man, Cybern. 1983. V. 13. N 5. P. 815-826. 30. Computing with neural circuits: a model.//Science, 1986. V. 233. p. 625-633. 31. Cross Michael. Brain ware hits Japanese computers.// New Sci. - 1988 - 120, # 1640 - p. 33. 32. Dayhoff J. Neural network architectures.//New-York: Van Nostrand reinhold, 1991. 33. Fogelman Soulie F. Neural networks, state of the art, neural computing.// London: IBC Technical Services, 1991. - 34. Fox G. C., Koller J. G. Code generation by a generalized neural networks: general principles and elementary examples.//J. Parallel Distributed Comput. 1989. V. 6. N 2. P. 388-410. 35. Hecht-Nielsen R. Neurocomputing: picking the human brain.// IEEE SPECTRUM 1988 - V. 25. N 3 - p. 36-41. 36. Hebb D. O. The organization of behaviour. N. Y.: Wiley, 1949. 37. Hopfield J. J. Neural networks and physical systems with emergent collective computational abilities.//Proc. Natl. Acad. Sci. 1984. V. 9. p. 147-169. 38. Hopfield J. J., Tank D. W. Neural computation of decision in optimization problems.//Biol. Cybernet. 1985. V. 52. p. 39. Hopfield J. J., Feinstein D. I., Palmer F. G. Unlearning has a stabilizing effect in collective memories//Nature. 1983. V. 304. P. 141-152. 40. Hopfield J. J., Tank D. W. Neural computation of decision in optimization problems//Biol. Cybernet. 1985. V. 52. P. 141-152. 41. Jeffery W., Rosner R. Neural network processing as a tool for friction optimization.//Neuronet Comput. Conf., Snowbird, Utah, Apr. 13-16,1986. New York, N. Y., 1986 - p. 241-246. 42. Kuzewski Robert M., Myers Michael H., Grawford William J. Exploration of fourword error propagation as sel f organization structure.//IEEE Ist. Int. Conf. Neural Networks, San Diego, Calif., June 21-24,1987. V. 2. - San Diego, Calif., 1987. - p. 89-95. 43. Lippmonn Richard P. Gold Ben Neuronet classifiers useful for speech recognition.// IEEE Ist. Conf. Neural Networks, San Diego, (Calif) , 1987 - p. 417-425. 44. Montgomery, Douglas C. Forecasting and time series analysis./Douglas C. Montgomery, Lynwood A. Johnson, John S. Gard iner. - 2nd ed. - ISBN 0-07-042858-1. 45. Neural Computing.// London: IBE Technical Services, 1991. 46. Rosenblatt F. The peseptron: a probabilistic model for information storage and organization in the brain//Psychol. Rev. 1958. V. 65. P. 386. - 47. Rosenblatt F. Principles of neurodynamics. Spartan., Washington, D. C., 1962. 48. Rumelhart B. E., Minton G. E., Williams R. J. Learning representations by back propagating error.// Wature, 1986. V. 323. p. 1016-1028. 49. Takefuji D. Y. A new model of neural networks for error correction.//Proc. 9th Annu Conf. IEEE Eng. Med. and Biol. Soc., Boston, Mass., Nov. 13-16,1987. V. 3, New York, N. Y., 1987 - p. 1709-1710. 50. Treliven P. Neurocomputers.// London: University college, 1989.
1Архитектура и строительство
2Астрономия, авиация, космонавтика
 
3Безопасность жизнедеятельности
4Биология
 
5Военная кафедра, гражданская оборона
 
6География, экономическая география
7Геология и геодезия
8Государственное регулирование и налоги
 
9Естествознание
 
10Журналистика
 
11Законодательство и право
12Адвокатура
13Административное право
14Арбитражное процессуальное право
15Банковское право
16Государство и право
17Гражданское право и процесс
18Жилищное право
19Законодательство зарубежных стран
20Земельное право
21Конституционное право
22Конституционное право зарубежных стран
23Международное право
24Муниципальное право
25Налоговое право
26Римское право
27Семейное право
28Таможенное право
29Трудовое право
30Уголовное право и процесс
31Финансовое право
32Хозяйственное право
33Экологическое право
34Юриспруденция
 
35Иностранные языки
36Информатика, информационные технологии
37Базы данных
38Компьютерные сети
39Программирование
40Искусство и культура
41Краеведение
42Культурология
43Музыка
44История
45Биографии
46Историческая личность
47Литература
 
48Маркетинг и реклама
49Математика
50Медицина и здоровье
51Менеджмент
52Антикризисное управление
53Делопроизводство и документооборот
54Логистика
 
55Педагогика
56Политология
57Правоохранительные органы
58Криминалистика и криминология
59Прочее
60Психология
61Юридическая психология
 
62Радиоэлектроника
63Религия
 
64Сельское хозяйство и землепользование
65Социология
66Страхование
 
67Технологии
68Материаловедение
69Машиностроение
70Металлургия
71Транспорт
72Туризм
 
73Физика
74Физкультура и спорт
75Философия
 
76Химия
 
77Экология, охрана природы
78Экономика и финансы
79Анализ хозяйственной деятельности
80Банковское дело и кредитование
81Биржевое дело
82Бухгалтерский учет и аудит
83История экономических учений
84Международные отношения
85Предпринимательство, бизнес, микроэкономика
86Финансы
87Ценные бумаги и фондовый рынок
88Экономика предприятия
89Экономико-математическое моделирование
90Экономическая теория

 Анекдоты - это почти как рефераты, только короткие и смешные Следующий
В квартире располневшей женщины раздаётся телефонный звонок:
- Алло, я маньяк, и я слежу за тобой...
Она, осматривая себя в зеркале:
- Да-а-а-а? Хреново следишь! Я бы даже сказала, запустил ты меня!..
Anekdot.ru

Узнайте стоимость курсовой, диплома, реферата на заказ.

Обратите внимание, диплом по программированию "Прогнозирование на основе аппарата нейронных сетей", также как и все другие рефераты, курсовые, дипломные и другие работы вы можете скачать бесплатно.

Смотрите также:


Банк рефератов - РефератБанк.ру
© РефератБанк, 2002 - 2016
Рейтинг@Mail.ru