Реферат: Нейронные сети и их устройство - текст реферата. Скачать бесплатно.
Банк рефератов, курсовых и дипломных работ. Много и бесплатно. # | Правила оформления работ | Добавить в избранное
 
 
   
Меню Меню Меню Меню Меню
   
Napishem.com Napishem.com Napishem.com

Реферат

Нейронные сети и их устройство

Банк рефератов / Экономика и финансы

Рубрики  Рубрики реферат банка

закрыть
Категория: Реферат
Язык реферата: Русский
Дата добавления:   
 
Скачать
Microsoft Word, 3702 kb, скачать бесплатно
Заказать
Узнать стоимость написания уникального реферата

Узнайте стоимость написания уникальной работы

11 МИНИСТЕРСТВО ВЫСШЕГО И ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ИРКУТСКА Я ГОСУДАРСТВЕННАЯ ЭКОНОМИЧЕСКАЯ АКАДЕМИЯ КАФЕДРА ИНФОРМАЦИОННЫХ СИСТЕМ САМОСТОЯТЕЛЬНАЯ РАБОТА по прогнозированию экономических процессов на тему : НЕЙРОННЫЕ СЕТИ и ИХ УСТРОЙСТВО Выполнил : Преподаватель : Студент группы М -95-1 Губанова О.В. Четвериковым С.В. ИРКУТСК 1998 Введение в нейронные сети Нейронные сети представляют собой новую и весьма перспективную вычислительную технологию , дающую новые подходы к исследованию динамических задач в фина нсовой области . Первоначально нейронные сети открыли новые возможности в области распознавания образов , затем к этому прибавились статистические и основанные на методах искусственного интеллекта средства поддержки принятия решений и решения задач в с фере финансов . Способность к моделированию нелинейных процессов , работе с зашумленными данными и адаптивность дают возможности применять нейронные сети для решения широкого класса финансовых задач . В последние несколько лет на основе нейронные сете й было разработано много программных систем для применения в таких вопросах , как операции на товарном рынке , оценка вероятности банкротства банка , оценка кредитоспособности , контроль за инвестициями , размещение займов . Приложения нейронные сетей охват ывают самые разнообразные области интересов : распознавание образов , обработка зашумленные данных , дополнение образов , ассоциативный поиск , классификация , оптимизация , прогноз , диагностика , обработка сигналов , абстрагирование , управление процессами , с егментация данных , сжатие информации , сложные отображения , моделирование сложных процессов , машинное зрение , распознавание речи . Смысл использования нейронные сетей в финансовой области заключается вовсе не в том , чтобы вытеснить традиционные методы или изобретать велосипед . Это просто еще одно возможное средство для решения задач . История нейронных сетей На заре развития электронно-вычислительной техники в середине ХХ века среди ученых и конструкторов еще не существовал о единого мнения ок том , как должна быть реализована и по какому принципу работать типовая электронно-вычислительная машина . Это сейчас мы с Вами изучаем в курсах Основ информатики архитектуру машины фон Неймана , по которой построены практическ и все существующие сегодня компьютеры . При этом в тех же учебниках ни слова не говорится о том , что в те же годы были предложены принципиально иные архитектуры и принципы действия компьютеров . Одна из таких схем получила название нейросетевого компью тера , или просто нейросети . Первый интерес к нейросетям был обусловлен пионерской работой МакКаллока и Питса , изданной в 1943 году , где предлагалась схема компьютера , основанного на аналогии с работой человеческого мозга . Они создали упрощенную модель нервной клетки – нейрон. Мозг человека состоит из белого и серого веществ : белое – это тела нейронов , а серое – это соединительная ткань между нейронами , или аксоны и дендриты . Мозг состоит примерно из 10 11 нейронов , связанных между собой . Каждый нейрон получает информацию через свои дендриты , а передает ее дальше только через единственных аксон , разветвляющийся на конце на тысячи синапсов (см . рис . 1). Рис . 1 Простейший нейрон может иметь до 10000 дендрито в , принимающих сигналы от других клеток . Таким образом , мозг содержит примерно 10 15 взаимосвязей . Если учесть , что любой нейрофизиологический процесс активизирует сразу множество нейронов , то можно представить себе то количество информации или сигналов , которое возникает в мозгу . Нейроны взаимодействуют посредством серий импульсов , длящихся несколько миллисекунд , каждый импульс представляет собой частотный сигнал с частотой от нескольких единиц до сотен герц . Это невообразимо медл енно по сравнению с современными компьютерами , но в тоже время человеческий мозг гораздо быстрее машины может обрабатывать аналоговую информацию , как-то : узнавать изображения , чувствовать вкус , узнавать звуки , читать чужой почерк , оперировать качест в енными параметрами . Все это реализуется посредством сети нейронов , соединенных между собой синапсами . Другими словами , мозг - – это система из параллельных процессоров , работающая гораздо эффективнее , чем популярные сейчас последовательные вычисления. Кстати говоря , недавно в одном из журналов я читал , что технология последовательных вычислений подошла к пределу своих технических возможностей , и в настоящее время остро стоит проблема развития методов параллельного программирования и создания парал лельных компьютеров . Так что , может быть , нейросети являются только очередным шагом в этом направлении . Устройство нейронных сетей Искусственным нейроном называется простой элемент , сначала вычисляющий взвешенную сумму V входных величин x i : . Здесь N – размерность пространства входных сигналов . Затем полученная сумма сравнивается с пороговой величиной W 0 , вслед за чем вступает в действие нелинейная фун кция активации f . Коэффициенты W i во взвешенной сумме обычно называют синаптическими коэффи циентами или весами . Саму же взвешенную сумму V мы будем называть потенциалом нейрона i . Выходной сигнал тогда имеет вид f ( V ) . Величину порогового барьера можно рассматривать как еще один весовой коэффициент при постоянном входном сигнале . В это м случае мы говорим о расширенном входном пространстве : нейрон с N -мерным входом имеет N +1 весовой коэффициент. Если ввести в уравнение пороговую величину W 0 , то оно перепишется так : . В зависимости от способа преобразования сигнала и характера активации возникают различные виды нейронных структур . Существуют детерминированные нейроны , когда активизирующая функция однозна чно вычисляет выход по входу , и вероятностные нейроны , состояние которых в момент t есть случайная функция потенциала и состояния в момент t -1 . Я знаком только с детерминированными нейронами , поэтому далее я буду говорить только о них . Функции акт ивации В искусственных нейронах могут быть различные функции активации , но и в используемых мной программах , и в известной литературе указаны только следующие виды функций : Ё Линейная : выходной сигнал нейрона равен его потенциалу, Ё пороговая : нейрон выбирает решение из двух вариантов : активен / неактивен, Ё Многопороговая : выходной сигнал может принимать одно из q значений , определяемых ( q -1) порогом внутри предельных значений . Ё Сигмоидная : рассматриваются два вида сигмоидных функций : с выходными значениями в промежутке [0,1] и с выходными значениями в промежутке [-1,1] . Коэффициент b определяет крутизну сигмоида . Поскольку сигмоидная функция является гладким отображением (- , ) на (-1,1), то крутизну мож но учесть через величины весов и порогов , и без ограничения общности можно полагать ее равной единице . Графические изображения простейшего нейрона и виды функций с их графиками приведены на рис . 2. Рис . 2 Типы архитектур нейросетей Из точек на плоскости и соединений между ними можно построить множество графических фигур , называемых графами . Если каждую точку представить себе как один нейрон , а соединения между точками – как дендриты и синапсы , то мы получим нейронную сеть. Но не всякое с оединение нейронов будет работоспособно или вообще целесообразно . Поэтому на сегодняшний день существует только несколько работающих и реализованных программно архитектур нейросетей . Я только вкратце опишу их устройство и классы решаемых ими задач. По архитектуре связей нейросети могут быть сгруппированы в два класса : сети прямого распространения , в которых связи не имеют пет ель ( см . рис . 3), и сети рекуррентного типа , в которых возможны обратные связи (см . рис . 4) Рис . 3 Сеть прямого распространения Рис . 4 Рекуррентная сеть Сети прямого распространения подразделяются на однослойные перцепротроны (сети ) и многослойные перцептроны (сети ). Название перцептрона для нейросетей придумал американский нейрофизиолог Ф . Розенблатт , придумавший в 1957 году первый нейропроцессорный элемент (НПЭ ) , то есть нейросеть . Он же доказал сходимость области решений для перцептрона при его обучении . Сразу после этого началось бурное исследование в этой области и был создан самый первый нейрокомпьютер Mark I . Много слойные сети отличаются тем , что между входными и выходными данными располагаются несколько так называемых скрытых слоев нейронов , добавляющих больше нелинейных связей в модель . Рассмотрим устройство простейшей многослойной нейросети . Любая нейр онная сеть состоит из входного слоя и выходного слоя . Соответственно подаются независимые и зависимые переменные . Входные данные преобразуются нейронами сети и сравниваются с выходом . Если отклонение больше заданного , то специальным образом изменяю тся веса связей нейронов между собой и пороговые значения нейронов . Снова происходит процесс вычислений выходного значения и его сравнение с эталоном . Если отклонения меньше заданной погрешности , то процесс обучения прекращается . Помимо входного и выходного слоев в многослойной сети существуют так называемые скрытые слои . Они представляют собой нейроны , которые не имеют неп осредственных входов исходных данных , а связаны только с выходами входного слоя и с входом выходного слоя . Таким образом , скрытые слои дополнительно преобразуют информацию и добавляют нелинейности в модели . Чтобы лучше понять устройство многослой н ого перцептрона я привожу рис . 5. Рис . 5 Если однослойная нейросеть очень хорошо справляется с задачами классификации , так как выходной слой нейронов сравнивает полученные от предыдущего слоя значения с порогом и выдает значение либо ноль , то ес ть меньше порогового значения , либо единицу - больше порогового (для случая пороговой внутренней функции нейрона ), и не способен решать большинство практических задач ( что было доказано Минским и Пейпертом ), то многослойный перцептрон с сигмоидными р ешающими функциями способен аппроксимировать любую функциональную зависимость (это было доказано в виде теоремы ). Но при этом не известно ни нужное число слоев , ни нужное количество скрытых нейронов , ни необходимое для обучения сети время . Эти проблем ы до сих пор стоят перед исследователями и разработчиками нейросетей . Лично мне кажется , что весь энтузиазм в применении нейросетей строится именно на доказательстве этой теоремы . Впоследствии я сам покажу , как нейроны могут моделировать различные класс ы функций , но я не претендую на полноту доказательства . Класс рекуррентных нейросетей гораздо обширнее , да и сами сети сложнее по своему устройству . Поведение рекуррентных сетей описывается дифференциальными или разностными уравнениями , как правило, первого порядка . Это гораздо расширяет области применения нейросетей и способы их обучения . Сеть организована так , что каждый нейрон получает входную информацию от других нейронов , возможно , и от самого себя , и от окружающей среды . Этот тип сетей и меет важное значение , так как с их помощью можно моделировать нелинейные динамические системы . Среди рекуррентных сетей можно выделить сети Хопфилда и сети Кохонена . С помощью сетей Хопфилда можно обрабатывать неупоря доченные (рукописные буквы ), упорядоченные во времени (временные ряды ) или пространстве (графики ) образцы . Рекуррентная нейросеть простейшего вида была введена Хопфилдом и построена она из N нейронов , связанных каждый с каждым кроме самого себя , прич ем все нейроны являются выходными . Нейросеть Хопфилда можно использовать в качестве ассоциативной памяти. Архитектура сети Хопфилда изображена на рис . 6. Рис . 6 Сеть Кохонена еще называют "самоорганизующейся картой признаков ". Сеть такого типа рассчит ана на самостоятельное обучение во время обучения сообщать ей правильные ответы необязательно . В процессе обучения на вход сети подаются различные образцы . Сеть улавливает особенности их структуры и разделяет образцы на кластеры , а уже обученная сеть о т носит каждый вновь поступающий пример к одному из кластеров , руководствуясь некоторым критерием "близости ". Сеть состоит из одного входного и одного выходного слоя . Количество элементов в выходном слое непосредственно определяет , сколько различных кластеров сеть сможет распознать . Каждый из выходных элементов получает на вход весь входной вектор . Как и во всякой нейронной сети , каждой связи приписан некоторый синаптический вес . В большинстве случаев каждый выходной элемент соединен также со с воими соседями . Эти внутрислойные связи играют важную роль в процессе обучения , так как корректировка весов происходит только в окрестности того элемента , который наилучшим образом откликается на очередной вход . Выходные элементы соревнуются между со б ой за право вступить в действи и "получить урок ". Выигрывает тот из них , чей вектор весов окажется ближе всех к входному вектору . Обучение многослойной сети Главное отличие и преимущество нейросетей перед классическими средствами прогнозирования и кла ссификации заключается в их способности к обучению . Так что же такое обучение нейросетей ? На этапе обучения происходит вычисление синаптических коэффициентов в процессе решения нейронной сетью задач , в которых нужный ответ определяется не по правилам , а с помощью примеров , сгруппированных в обучающие множества . Так что нейросеть на этапе обучения сама выполняет роль эксперта в процессе подготовки данных для построения экспертной системы . Предполагается , что правила находятся в структуре о бучающих данных . Для обучения нейронной сети требуются обучающие данные . Они должны отвечать свойствам представительности и случайности или последовательности . Все зависит от класса решаемой задачи . Такие данные представляют собой ряды примеров с указан ием для каждого из них значением выходного параметра , которое было бы желательно получить . Действия , которые при этом происходят , можно назвать контролируемым обучением : "учитель " подаем на вход сети вектор исходных данных , а на выходной узел сообща ет желаемое значение результата вычислений . Контролируемое обучение нейросети можно рассматривать как решение оптимизационной задачи . Ее целью является минимизация функции ошибок Е на данном множестве примеров путем выбора значений весов W. Достижение минимума называется сходимостью процесса обучения . Именно возможность этого и доказал Розенблатт . Поскольку ошибка зависит от весов нелинейно , получить решение в аналитической форме невозможно , и поиск глобального минимума осуществляется посредств ом итерационного процесса - так называемого обучающего алгоритма . Разработано уже более сотни разных обучающих алгоритмов , отличающихся друг от друга стратегией оптимизации и критерием ошибок . Обычно в качестве меры погрешности берется средняя квадрат ичная ошибка (СКО ): , где М – число примеров в обучающем множестве . Минимизация величины Е осуществляется с помощью градиентных методов . Изменение весов происходит в направлении , обратном к направлению наибольшей крутизны для функции : . Здесь - определяемый пользователем парамет р , который называется коэффициентом обучения . Обратное распространение ошибки Одним из самых распространенных алгоритмов обучения нейросетей прямого распространения является алгоритм обратного распространения ошибки ( BackPropagation, BP) . Этот а лгоритм был переоткрыт и популяризован в 1986 г . Румельхартом и МакКлелландом из группы по изучению параллельных распределенных процессов в Массачусетском технологическом институте . Здесь я хочу подробно изложить математическую суть алгоритма , та к как очень часто в литературе ссылаются на какой-то факт или теорему , но никто не приводит его доказательства или источника . Честно говоря , то же самое относится к Теореме об отображении нейросетью любой функциональной зависимости , на которой основы в аются все попытки применить нейросети к моделированию реальных процессов . Я бы хотел посмотреть на ее доказательство , но еще нигде его не смог найти . Вот , чтобы у Вас не возникало такого чувства неудовлетворенности в полноте понимания работы нейросети , я решил привести этот алгоритм полностью , хотя честно сознаюсь , что не совсем понимаю его логику . Итак , это алгоритм градиентного спуска , минимизирующий суммарную квадратичную ошибку : . Здесь индекс i пробегает все выходы многослойной сети . Основная идея ВР состоит в том , чтобы вычислять чувствительность ошибки сети к изменениям весов . Для этого нужно вычислить частные производные от ошибки по весам . П усть обучающее множество состоит из Р образцов , и входы k- го образца обозначены через x i k . Вычисление частных производных осуществляется по правилу цепи : вес входа i-го нейрона , идущего от j- го нейрона , пересчитывается по формуле : где - длина шага в направлении , обратном к градиенту. Если рассмотреть отдельно k- тый образец , то соответствующиее изменение весов равно : Множитель i k вычисляется через аналогичные множители из последующего слоя , и ошибка , таким образом , передается в обратном на правлении . Для выходных элементов получим : Для скрытых элементов множитель i k определяется так : где индекс h пробегает номера всех нейронов , на которые воздействует i- ый нейрон . Чтобы наглядно представить себе алгоритм обратного распространен ия ошибки , можно посмотреть следующий рисунок 7: Рис . 7 Способы обеспечения и ускорения сходимости 1. Выбор начальных весов Перед тем , как начинать процесс обучения нейронной сети , необходимо присвоить весам начальные значения . Цель состоит в том , чтобы найти как можно более хорошее начальное приближение к решению и таким образом сэкономить время обучения и улучшить сходимость . Классический подход к этой проблеме состоит в том , чтобы случайным образом выбрать малые значения для всех весо в , чтобы быть уверенным , что ни один из сигмоидных элементов не перенасыщен . Однако это не дает полной гарантии , что такое приближение приведет к глобальному минимуму или уменьшит время сходимости . 2. Упорядочение данных Чтобы обучение не двигалось в ложном направлении при обработке задачи классификации или распознавания , но не задачи аппроксимирования временных рядов , данные нужно перемешивать случайным образом . Иначе нейросеть "выучит " последовательность случайно оказавшихся рядом значений к а к истинное правило , и потом будет делать ошибку . 3. Импульс Иногда при изменении весов связей нейронов кроме текущего изменения веса к нему прибавляют вектор смещения с предыдущего шага , взятый с некоторым коэффициентом . В этом случае говорят , что учитывается предыдущий импульс движения . Формула изменения веса связи будет выглядеть следующим образом : где - число в интервале (0,1), которое задается пользователем . 4. Управление величиной шага Ранее я уже говорил , что - величина шага сети . По сути это - мера точности обучения сети . Чем он больше , тем более грубым будет следующее уменьшение суммарной ошибки сети . Чем он меньше , тем больше времени сеть будет тратить на обучение и тем более возможно ее попадание в окрестность локального минимума ошибки . Поэтому управление шагом имеет важное значение для улучшения сходимости ней р онной сети . В современных нейросетевых пакетах пользователь может сам определять , как будет изменяться величина шага . Очень часто по умолчанию берется линейная или экспоненциальная зависимость величины шага от количества итераций сети . 5. Оптимизаци я архитектуры сети Одной из самых больших проблем при использовании нейросетей является невозможность предварительного определения оптимального количества скрытых слоев и нейронов в них . Если нейронов будет слишком мало , то это равносильно потер е каких-то нелинейных связей в модели , если нейронов будет много , то это может привести к "переобучению " сети , то есть она просто "выучит " данные , а не распознает их структуру . Поэтому применяется два основных подхода : - деструктивный подход : берется с еть заведомо большего размера , чем нужно , и в процессе обучения из нее удаляются связи и даже сами нейроны ; - конструктивный подход : первоначально берется маленькая сеть , и к ней , в соответствии со структурой и сложностью задачи , добавляются новые элемент ы . 6. Масштабирование данных При рассмотрении решающих функций внутри нейронов я сказал , что диапазон выходных значений нейрона лежит в интервале (0,1) либо (-1,1). Поэтому для лучшей работы сети следует предварительно масштабировать данные обучающе й выборки к интервалу от 0 до 1. Это даст меньшие ошибки при обучении и работе нейросети . Организация процесса обучения Из теоремы об отображении практически любой функции с помощью многослойной нейросети следует , что обучаемая нами нейронная с ет в принципе способна сама подстроиться под любые данные с целью минимизации суммарной квадратичной ошибки . Чтобы этого не происходило при обучении нейросетей используют следующий способ проверки сети . Для этого обучающую выборку еще перед начал ом обучения разбивают случайным образом на две подвыборки : обучающую и тестовую . Обучающую выборку используют собственно для процесса обучения , при этом изменяются веса нейронов . А тестовую используют в процессе обучения для проверки на ней сумм а рной квадратичной ошибки , но при этом не происходит изменение весов . Если нейросеть показывает улучшение аппроксимации и на обучающей , и на тестовой выборках , то обучение сети происходит в правильном направлении . Иначе может снижаться ошибка на обуч а ющей выборке , но происходить ее увеличение на тестовой . Последнее означает , что сеть "переобучилась " и уже не может быть использована для прогнозирования или классификации . В этом случае немного изменяются веса нейронов , чтобы вывести сеть из окрестн о сти локального минимума ошибки . Заключение В этой моей небольшой работе я попытался изложить только общую теорию нейронных сетей . Объяснены главные принципы их устройства и работы . Причем я попытался достаточно подробно изложить математику нейро сетей , чтобы не быть голословным в обсуждении их работы и мнимых или действительных возможностей их применения для прогнозирования реальных финансовых или иных процессов . В целом я считаю , что исследования в области применения нейронных сетей еще тольк о начинаются и , может быть , удастся создать аналитический метод интерпретации результатов обучения нейросети , обосновать число выбранных нейронов и найти более быстрые и лучше сходящиеся алгоритмы обучения.
1Архитектура и строительство
2Астрономия, авиация, космонавтика
 
3Безопасность жизнедеятельности
4Биология
 
5Военная кафедра, гражданская оборона
 
6География, экономическая география
7Геология и геодезия
8Государственное регулирование и налоги
 
9Естествознание
 
10Журналистика
 
11Законодательство и право
12Адвокатура
13Административное право
14Арбитражное процессуальное право
15Банковское право
16Государство и право
17Гражданское право и процесс
18Жилищное право
19Законодательство зарубежных стран
20Земельное право
21Конституционное право
22Конституционное право зарубежных стран
23Международное право
24Муниципальное право
25Налоговое право
26Римское право
27Семейное право
28Таможенное право
29Трудовое право
30Уголовное право и процесс
31Финансовое право
32Хозяйственное право
33Экологическое право
34Юриспруденция
 
35Иностранные языки
36Информатика, информационные технологии
37Базы данных
38Компьютерные сети
39Программирование
40Искусство и культура
41Краеведение
42Культурология
43Музыка
44История
45Биографии
46Историческая личность
47Литература
 
48Маркетинг и реклама
49Математика
50Медицина и здоровье
51Менеджмент
52Антикризисное управление
53Делопроизводство и документооборот
54Логистика
 
55Педагогика
56Политология
57Правоохранительные органы
58Криминалистика и криминология
59Прочее
60Психология
61Юридическая психология
 
62Радиоэлектроника
63Религия
 
64Сельское хозяйство и землепользование
65Социология
66Страхование
 
67Технологии
68Материаловедение
69Машиностроение
70Металлургия
71Транспорт
72Туризм
 
73Физика
74Физкультура и спорт
75Философия
 
76Химия
 
77Экология, охрана природы
78Экономика и финансы
79Анализ хозяйственной деятельности
80Банковское дело и кредитование
81Биржевое дело
82Бухгалтерский учет и аудит
83История экономических учений
84Международные отношения
85Предпринимательство, бизнес, микроэкономика
86Финансы
87Ценные бумаги и фондовый рынок
88Экономика предприятия
89Экономико-математическое моделирование
90Экономическая теория

 Анекдоты - это почти как рефераты, только короткие и смешные Следующий
Ужасно сознавать, что Пушкин не читал Достоевского.
Anekdot.ru

Узнайте стоимость курсовой, диплома, реферата на заказ.

Банк рефератов - РефератБанк.ру
© РефератБанк, 2002 - 2016
Рейтинг@Mail.ru