Реферат: Математическая теория информации - текст реферата. Скачать бесплатно.
Банк рефератов, курсовых и дипломных работ. Много и бесплатно. # | Правила оформления работ | Добавить в избранное
 
 
   
Меню Меню Меню Меню Меню
   
Napishem.com Napishem.com Napishem.com

Реферат

Математическая теория информации

Банк рефератов / Информатика, информационные технологии

Рубрики  Рубрики реферат банка

закрыть
Категория: Реферат
Язык реферата: Русский
Дата добавления:   
 
Скачать
Архив Zip, 42 kb, скачать бесплатно
Заказать
Узнать стоимость написания уникального реферата

Узнайте стоимость написания уникальной работы

1 8 МАТЕ МАТИЧЕСКАЯ ТЕОРИЯ ИНФОРМАЦИИ 1 . Количеств о информации, и ее мера На вход системы передачи информации (СПИ) от источни ка инфо р мации подается сов окупность сообщений, выбранных из ансамбля сообщ е ний ( рис. 1 ). Помехи x 1 y 1 x 2 y 2 … … x n y n Рис. 1 . Система передачи информации Ансамбль сообщений – множество возможных сообщений с их вер о ятностными характ еристиками – Х, р(х) . При этом: Х= х 1 , х 2 , …, х m – мн о жество возможных с ообщений источника; i = 1, 2 ,… , m , где m – объем а л фавита; p(x i ) – вероятности появления сообщений, причем p(x i ) 0 и п о скольку вероятности сообщений представляют с обой полную группу соб ы тий, то их суммарная в е роятность равна ед инице . Каждое сообщение несет в себе определенно е количество информ а ции. Определим количество информации, содержащееся в сообщении x i , в ы бранном из ансамбля сообщений источника Х, р(х) . Одним из п араметров, характеризующих данное сообщение, является вероятность его п о явлени я – p(x i ) , поэтому естественно п редположить, что количество информации I(x i ) в сообщении x i является функцией p(x i ). Вероятность появлени я двух незав и симых сообщений x 1 и x 2 равна произведению ве роятн о ст ей p(x 1 , x 2 ) = p(x 1 ).p(x 2 ) , а содержащаяся в них и нформация должна обладать свойством аддитивности, т.е. : I(x 1 , x 2 ) = I(x 1 )+I(x 2 ). (1) Поэтому для оценки количества информации предложена логари ф мическая мера: . (2) При этом наибольшее количество информации соде ржат наименее вер о ятные сообщения, а количество информации в сообщении о достоверном событии равно нулю. Т. к. все логарифмы пропорциональны, то в ыбор осн о вания определяет единицу информации: log a x = log b x/log b a. В зависимости от основания логарифма испо льзуют следующие ед и ницы информации: 2 – [бит] ( bynary digit – двоичная единиц а), используется при анализе ин-формационных процессов в ЭВМ и др. устройс твах, функционирующих на основе двоичной системы счисления; e – [нит] ( natural digit – натуральная ед иница), используется в матем а тич е ских методах теории связи; 10 – [ дит] ( decimal digit – десятичная един ица), используется при анал и зе процессов в приборах работающих с десятичной сист емой счисления. Битом (двоич ной единицей информации) – называется количество инфо р мации, которое сни мает неопределенность в отношении наступления одного из двух равновер оятных, независимых событий. Среднее количество информации для всей совокупнос ти сообщений можно получить путем у с реднения по всем событиям: . (3) Количество информации, в сообщении, состоящем из n не равновер о ятных его элементов равно (эта мера п редложена в 1948 г . К. Шенноном ): . (4) Для случая независимых равновер оя тных событий количество инфор мации определяется (э та мера предложена в 1928 г . Р. Хартли ): . (5) 2 . Свойства к оличества информации 1. Количество информации в сообщении обратно – пропорционально вер о ятности появления данного сообщения. 2. Свойство аддитивности – суммарное количество информации двух исто ч ников равно сум ме информации ист очников. 3. Для события с одним исходом количество ин формации равно нулю. 4. Количество информации в дискретном сообщ ении растет в завис и мости от увеличения объема алфавита – m . Пример 1. Определить количество информации в сообщении из 8 двоичных симв о лов ( n = 8, m = 2), если вероятности равны: p i0 = p i1 = 1/2. Количество информации равно: I = n log m = 8 log 2 2 = 8 бит . Пример 2. Определить количество информации в сообщении из 8 двои ч ных символов ( n = 8, m = 2), если вероятности равны: p i0 = 3/4; p i1 = 1/4. Количество информации равно: 3. Энтропия информации Э нтропия – содержательность, мера неопределенности информации. Э нтропия – математическое ожидан ие H(x) случайн ой величины I(x) о п ределенной на ансамбле Х, р(х) , т.е. она характеризует средн ее значение к о личества информации, приходящееся на один символ. . (6) Определим максимальное значение энтроп ии H max (x) . Воспользуемся ме тодом неопределенного множителя Лагранжа - для отыскания условн о го экстрем у ма функции [6]. На ходим вспомогательную функцию: (7) Представим вспомогательную функцию F в виде: . (8) Найдем максимум этой функции т . к . . Как видно из выражения, величина вероятности p i не зависит от i , а это может быть в случае, если все p i равны, т.е. p 1 =p 2 = … =p m =1/m . При этом выражени е для энтропии равновероятных, независимых элеме н тов равно: . (9) Найдем энтропию системы двух альтернатив ных событий с вероятн о стями p 1 и p 2 . Энтропия равна 4 . Свойства энтропии сообщений 1. Энтропия есть величина вещественная, ограниченная, не отриц а тельная, непрерывн ая на интервале 0 p 1 . 2. Энтропия максимальна для равновероятных событий. 3. Энтропия для детерминированных событий р авна нулю. 4. Энтропия системы двух альтернативных событий изменяется от 0 до 1. Энтропия численно совпадает со средним ко личеством информации но принципиально различны, так как : H(x) – выражает среднюю неопределенность состояния источн ика и является его объективной характеристикой, она может быть вычислен а апр и орн о, т.е. до получения сообщения при наличии статистики сообщ е ний. I(x) – определяется апостери орно, т.е. после получения сообщения. С по лучением информации о состоянии системы энтропия сн ижается. 5. Избыточно сть сообщений Одной из информационных характеристик ис точника дискретных с о общений является избыточность, которая определяет, к акая доля максимал ь но-возможной энтропии не используется источником , (10) где – коэффициент сжатия. Избы точность приводит к увеличению времени передачи сообщений, уменьшению скорости передачи информации, излишней загрузки канала, вместе с тем, из быточность необходима для обеспечения достоверности п е редаваемых данных , т.е. надежности СП Д, повышения помехоусто й чивости. При этом, применяя специальные коды, использ ующие избыточность в пер е даваемых сообщениях, можно обнаружить и исправить ошибки. Пример 1. Вычислить энтропию источника , выдающего два симв о ла 0 и 1 с вероя т ностями p(0) = p(1) = 1/m и определить его избыточность. Решение: Энтропия для случая независимых, равновероятных эл е менто в равна: H(x) = log 2 m = log 2 2 = 1 [дв. е д/симв.] При этом H(x) = H max (x) и избыточность равна R = 0 . Пример 2. Вычислить энтропию источника независимых сообщ е ний, в ы дающего два символ а 0 и 1 с вероятностями p(0) = 3/4, p(1) = 1/4 . Решение: Энтропия для случая независимых, не равновероятн ых элеме н тов равна: При этом избыточность равна R = 1 – 0 ,815=0,18 Пример 3. Определить количество информации и энтропию соо бщ е ния из пяти букв, если число букв в алфавите равно 32 и все сообщения ра в новер о ятные. Решение: Общ ее число пятибуквенных сообщений равно: N = m n = 32 Энтропия для равновероятных сообщений ра вна: H = I = – l og 2 1/ N = log 2 32 5 = 5 log 2 32 = 25 бит ./ симв . Литература 1 Гринченко А.Г. Теория информац ии и кодирование: Учебн. пособие. – Харько в: ХПУ, 2000. 2 Цымбал В.П. Теория информации и кодирование. – М .: Высш. шк., 1986. 3 Кловский Д.Д. Теория передачи сигнал ов. – М .: Связь, 1984. 4 Кудряшов Б . Д . Те ория информации. Учебник для вузов Изд-во ПИТЕР, 2008. – 320 с. 5 Цымбал В.П. Теория информации и кодирование. – М .: Высш. шк., 1986. 6 Асанов М.О. , Баранский В.А. , Расин В.В. Дискретная математика: графы ма т роиды, алгоритмы. – Ижевск: НИЦ «Р ХД », 2001, 288 стр.
1Архитектура и строительство
2Астрономия, авиация, космонавтика
 
3Безопасность жизнедеятельности
4Биология
 
5Военная кафедра, гражданская оборона
 
6География, экономическая география
7Геология и геодезия
8Государственное регулирование и налоги
 
9Естествознание
 
10Журналистика
 
11Законодательство и право
12Адвокатура
13Административное право
14Арбитражное процессуальное право
15Банковское право
16Государство и право
17Гражданское право и процесс
18Жилищное право
19Законодательство зарубежных стран
20Земельное право
21Конституционное право
22Конституционное право зарубежных стран
23Международное право
24Муниципальное право
25Налоговое право
26Римское право
27Семейное право
28Таможенное право
29Трудовое право
30Уголовное право и процесс
31Финансовое право
32Хозяйственное право
33Экологическое право
34Юриспруденция
 
35Иностранные языки
36Информатика, информационные технологии
37Базы данных
38Компьютерные сети
39Программирование
40Искусство и культура
41Краеведение
42Культурология
43Музыка
44История
45Биографии
46Историческая личность
47Литература
 
48Маркетинг и реклама
49Математика
50Медицина и здоровье
51Менеджмент
52Антикризисное управление
53Делопроизводство и документооборот
54Логистика
 
55Педагогика
56Политология
57Правоохранительные органы
58Криминалистика и криминология
59Прочее
60Психология
61Юридическая психология
 
62Радиоэлектроника
63Религия
 
64Сельское хозяйство и землепользование
65Социология
66Страхование
 
67Технологии
68Материаловедение
69Машиностроение
70Металлургия
71Транспорт
72Туризм
 
73Физика
74Физкультура и спорт
75Философия
 
76Химия
 
77Экология, охрана природы
78Экономика и финансы
79Анализ хозяйственной деятельности
80Банковское дело и кредитование
81Биржевое дело
82Бухгалтерский учет и аудит
83История экономических учений
84Международные отношения
85Предпринимательство, бизнес, микроэкономика
86Финансы
87Ценные бумаги и фондовый рынок
88Экономика предприятия
89Экономико-математическое моделирование
90Экономическая теория

 Анекдоты - это почти как рефераты, только короткие и смешные Следующий
Внимание! Чтение может стать причиной развития мозга!
Anekdot.ru

Узнайте стоимость курсовой, диплома, реферата на заказ.

Обратите внимание, реферат по информатике и информационным технологиям "Математическая теория информации", также как и все другие рефераты, курсовые, дипломные и другие работы вы можете скачать бесплатно.

Смотрите также:


Банк рефератов - РефератБанк.ру
© РефератБанк, 2002 - 2016
Рейтинг@Mail.ru