Реферат: Создание простой нейросети - текст реферата. Скачать бесплатно.
Банк рефератов, курсовых и дипломных работ. Много и бесплатно. # | Правила оформления работ | Добавить в избранное
 
 
   
Меню Меню Меню Меню Меню
   
Napishem.com Napishem.com Napishem.com

Реферат

Создание простой нейросети

Банк рефератов / Информатика, информационные технологии

Рубрики  Рубрики реферат банка

закрыть
Категория: Реферат
Язык реферата: Русский
Дата добавления:   
 
Скачать
Microsoft Word, 327 kb, скачать бесплатно
Заказать
Узнать стоимость написания уникального реферата

Узнайте стоимость написания уникальной работы

5 Элементарная теория процесса обу чения нейросетей Аннотация Задача представимости функции многих переменных в в иде суперпозиции нескольких функций меньшего числа переменных постав ленная еще Гильбертом получила новую жизнь благодаря теореме Хехт-Нильсена “об аппр оксимации функции многих переменных двухслойной однородной нейросеть ю”. Нейросети на сегодняшний день являются важным инструментом при реше нии многих прикладных задач, а потому представляет большой интерес проц есс обучения сетей. В работе сделана попытка анализировать этот процесс и представить его максимально просто и наглядно . Искусственные (формализованные) нейросети построены по схеме бли зкой к естественной нервной системе человека, т.е. достаточно простые ст руктурные единицы, объединяясь в определенной последовательности, обр азуют сложную систему, способную решать огромные классы задач. Формализованный нейрон – это математическая модель естественного не йрона человека. Он включает в себя невырожденные линейные преобразован ия, а также некоторую нелинейную функцию, называемую функцией активации , как правило, сигмоидального типа: =1/(1+ ехр(- ) ) , (1) где - непрерывная, всюду дифференцируемая возрастающая огра ниченная функция. Графически формализованный нейрон (далее просто нейр он) показан на рис.1: Рис.1 Схема форм ализованного нейрона. Х1 , Х2 ,…, Х n - координат ы входного вектора – исходная инф ормация. Числа 1 , 2 ,…, n – так называемые веса синапсов (вх одов нейрона) или сила связи данного входа с нейроном, b – дополнительный вход, называемый сдви гом, его значения, как правило, + 1, 0. Знак о значает операцию линейных преобразований. Каждый вход умножается на со ответствующий ему вес и все суммируется, далее полученная величина расс матривается как аргумент функции (1), значение значение которой является выходом нейрона. Искусственная нейросеть п редставляет из себя группу связанных определенным образом нейронов. Пр остейший случай – это однослойная нейросеть. Аналитически ее можно зап исать следующим образом: У = (Х W ) , (2) где Х , Y – вектор-строки. Активационная функция многослойной сети должна быть нелинейной. Если эта функция будет линейной, легко показать, что любую многослойную сеть можно свести к однослойной. В однородной нейросети все нейроны по отдельности выполняют одинаковы е функции. Основным существенным отличием их друг от друга являются веса синапсов, которые и играют главную роль в работе нейросетей. От правильн ого подбора весовых коэффициентов зависит, корректность работы сети. П роцесс их подбора и называется обучением. Процесс обучения можно сравнить с настройкой. Известно 2 класса обучающих методов: детерминистские и стохастические. Детерминистский метод сост оит в том, что шаг за шагом осуществляется процедура коррекции весов сет и, основанная на использовании их текущих значений, а также величин вход ов и выходов (фактических и ожидаемых). Стохастические методы по определ ению предполагают выполнение псевдослучайных изменений, которые ведут к улучшению результата. Наиболее распространенным алгоритмом обучения нейросетей является а лгоритм обратного распространения ошибки, основанный на методе градие нтного спуска. Обучение при этом проходит в два этапа. Вначале сеть работ ает в обычном режиме, т.е. прямым потоком: на вход подаются начальные данны е, и вычисляется вектор выхода. Затем находят функцию ошибки: , (3) где y j , p – реальная, а t j , p – ожидаемая j -тая координата выхода, при подаче на вход р-го образа. А уменьшают ее, нап рявляя данные по сети в обратном порядке, работа проходит через определе нные этапы следующим образом: 1. Подача на вход сети один из возможных образов и в режиме обычного функционирования нейросе ти, когда сигнал распространяется от входа к выходу, рассчет значения по следнего. 2. Рассчет ошибок N и N с лоя N . 3. Рассчет ошибок n и n для всех остальных слоев, n = N -1,…,1 . 4. Корректировка всех вес ов в сети. 5. Проверка ошибки сети и п ереход на шаг 1 или в конец. Сети на шаге 1 попеременно в случайном порядке предъявляются все образы из обучающего множества, чт обы сеть не “ забывала ” одни по мере “ запоминания ” других. Этот алгоритм, после предварительной подготовки, может быть представлен более наглядно и интерпретирован геометрически. Пусть Е n – n - мерное евклидово п ространство. Множества Х , Y , Т – о бласти пространства Е n – множ ества векторов. Причем, такие что Х соответствующий ему вектор T . Y тако е что = G , (4) где G принад лежит пространству непрерывных операторов. Пусть W - пространство мат риц n n dim =2 , где W рассматривается как сово купность вектор-строк, составляющих матрицу : ( 11 12 … 1 n ) ( 21 22 … 2 n ) (5) ……… ( n 1 n 2 … nn ) Это делается для геометрической представимости. Определим вид оператора G G : X Y . Этот оператор есть ни что иное как суперпозиция двух оператор ов G = S . Рассмотрим подробн ее каждый из составляющих операторов: 1. Первый оператор: S = х (6) Оператор линейных преобразований, где W , x – вектор-ст олбец из X , S – результат умножения – вектор-строка. В развернутом виде матричное умножение выглядит следующим образом: ( 11 12 … 1 n ) х 1 ( 21 22 … 2 n ) х 2 =||( 11 x 1+ … + 1 n x n )…( n 1 x 1+ … + nn x n )|| = S (7) ……… : ( n 1 n 2 … nn ) х n Т . е . , i=1,…,n. (8) 2. Второй оператор - нелине йная функция. Функция (см. формулу (1)) назы вается также сжимающей. Для последующих операций нормализуем вектора множества Х : х = х / | х |, где | х | = , х - нормализованный вектор. Аналогичную опе рацию произведем над множеством Т . Пос кольку W совокупность вектор-с трок, нормализуем и эти вектора: i : i = ( i 1 i 2 … i n ), i = i /| i |. После нормализации векторов х и i , вектор S изм енит свой вид: = ij x j = ij /| i | * х j / | х | = ij х j * 1/ | i || x | , где 1/ | i || x | = k i = Const . Таким образом, нормализация векторов х и i лишь сжимает вектор S , но не меняет его направления. Для простоты обозначений, заменим вновь полученные вектора х , t , i и S * с оответственно на х , t , и S . В результате всех преобразований бу дем иметь радиус-векторы единичной n - мерной сферы. Пусть для наглядности n =2, тогда весь процесс можно предс тавить геометрически. Т т s 1 1 х х 2 2 a. b. Рис.2 Радиус-векторы единичной n -мерной сферы, полученные после нормализации векторов из множеств X , W , T ( a ). Векторы S и Y , полученные после всех преобразова ний ( b ). Х и t – взаимнооднозначная пара вектор ов из множеств Х и Т соответственно, эта пара называется обучающей. Кроме того, вектору х соответствует также вектор у Y , полученный “экспериментально”, путем применения изл оженных выше преобразований. Задача обучения состоит в том, чтобы преобр азования эти были таковы, что у = t , у Y , t T . А это значит, что все координаты у j в ектора у должны быть равны одноименны м коорданатам вектора t . Теперь, после того как все вектора нормализовали линей ное преобразование (6) будет иметь вид: S i = ij x j , i =1,…, n , где ij и x j – координаты но вых векторов. Но S i – это фактически скалярное произведение векторов i и x : S i =( i , х )=| i || х | Cos i , (9) где i – плоский уг ол между х и i . Поскольку, | i |=| х |=1, то S i = Cos i (10) Таким образом, вектор S – это вектор, все координаты которого Cos i , i =1,… n , а | S | n . Получили вектор S , подс тавим его в (1) покоординатно в функцию . Покажем, что векторы S и у л ежат на одной прямой. Имеем у = 1/ (1+ exp(- s ) ), Ехр ( - s )=1+(- s ) +1/2!(- s )І +1/3!(- s )І (- s )+… т.е. разложили экспаненту в ряд по степеням (- s ). Этот ряд сходится, разобьем его на два подряда, которые та кже будут иметь предел, как части сходящегося ряда: Ехр(-s)= /(2k)!+ /(2k+1)! (11) Первое слагаемое есть Const = C 0 ( s ) ( за счет четных степеней ), а второе слагаемое – C 2 ( s ) s . Получили ехр( - s ) = C 0 ( s )- C 2 ( s ) s , поскольку в знам енателе есть еще единица, прибавим ее к C 0 , получим C 0 ( s )+1= C 1 ( s ) . Итак, имеем: Y =1/( C 1 ( s )- C 2 ( s ) ) (12) Вектор, находящийся в знаменателе - = C 1 ( s )- C 2 ( s ) , лежит на одной пря мой с вектором S . Получили ( у , )=1, а это (в случае, если оба вектора имеют единичную длину, либо длины их взаи мнообратные величины, что также возможно) озночает, что вектора у и совпадают по направлению, т.е. вектор у лежит на одной прямой с вектором S . Таким образом процесс обучения нейросети сводится к “ подгону ” вектора S под вектор T за счет измнения угло в между векторами х и i ( рис.2 ( b ) ) , п оскольку было показано, что координаты вектора S есть ни что иное, ка к косинусы этих углов. На сегодняшний день аппара т нейросетей используется практически во всех областях науки, экономик и и т.д. Программа нейротомографии была применена к эксперсс-томографии осесимметричных объектов, которые были изучены с помощью дискретного м оделирования. Результаты работы нейротомографии сравнивались с резуль татами, полученными в ходе вычислительного эксперимента. Соответствие между экспериментом нейротомографии и прямого вычислительного экспер имента оценивались по различным параметрам правдоподобия. Рис.3 В данном случае нейротомография используется для реко нструкции различных осесимметричных объектов ( b ) по единственной радоновской проекции R ( s ) . На ( c ) дано сравнение истинного ( a ) с восстановленным ( b ). Было установлено, что нейротомография может быть использована эффекти вно для решения различных задач томографии.
1Архитектура и строительство
2Астрономия, авиация, космонавтика
 
3Безопасность жизнедеятельности
4Биология
 
5Военная кафедра, гражданская оборона
 
6География, экономическая география
7Геология и геодезия
8Государственное регулирование и налоги
 
9Естествознание
 
10Журналистика
 
11Законодательство и право
12Адвокатура
13Административное право
14Арбитражное процессуальное право
15Банковское право
16Государство и право
17Гражданское право и процесс
18Жилищное право
19Законодательство зарубежных стран
20Земельное право
21Конституционное право
22Конституционное право зарубежных стран
23Международное право
24Муниципальное право
25Налоговое право
26Римское право
27Семейное право
28Таможенное право
29Трудовое право
30Уголовное право и процесс
31Финансовое право
32Хозяйственное право
33Экологическое право
34Юриспруденция
 
35Иностранные языки
36Информатика, информационные технологии
37Базы данных
38Компьютерные сети
39Программирование
40Искусство и культура
41Краеведение
42Культурология
43Музыка
44История
45Биографии
46Историческая личность
47Литература
 
48Маркетинг и реклама
49Математика
50Медицина и здоровье
51Менеджмент
52Антикризисное управление
53Делопроизводство и документооборот
54Логистика
 
55Педагогика
56Политология
57Правоохранительные органы
58Криминалистика и криминология
59Прочее
60Психология
61Юридическая психология
 
62Радиоэлектроника
63Религия
 
64Сельское хозяйство и землепользование
65Социология
66Страхование
 
67Технологии
68Материаловедение
69Машиностроение
70Металлургия
71Транспорт
72Туризм
 
73Физика
74Физкультура и спорт
75Философия
 
76Химия
 
77Экология, охрана природы
78Экономика и финансы
79Анализ хозяйственной деятельности
80Банковское дело и кредитование
81Биржевое дело
82Бухгалтерский учет и аудит
83История экономических учений
84Международные отношения
85Предпринимательство, бизнес, микроэкономика
86Финансы
87Ценные бумаги и фондовый рынок
88Экономика предприятия
89Экономико-математическое моделирование
90Экономическая теория

 Анекдоты - это почти как рефераты, только короткие и смешные Следующий
- Пустите переночевать! Не разочарую!..
Anekdot.ru

Узнайте стоимость курсовой, диплома, реферата на заказ.

Обратите внимание, реферат по информатике и информационным технологиям "Создание простой нейросети", также как и все другие рефераты, курсовые, дипломные и другие работы вы можете скачать бесплатно.

Смотрите также:


Банк рефератов - РефератБанк.ру
© РефератБанк, 2002 - 2016
Рейтинг@Mail.ru