Реферат: Количество информации - текст реферата. Скачать бесплатно.
Банк рефератов, курсовых и дипломных работ. Много и бесплатно. # | Правила оформления работ | Добавить в избранное
 
 
   
Меню Меню Меню Меню Меню
   
Napishem.com Napishem.com Napishem.com

Реферат

Количество информации

Банк рефератов / Информатика, информационные технологии

Рубрики  Рубрики реферат банка

закрыть
Категория: Реферат
Язык реферата: Русский
Дата добавления:   
 
Скачать
Архив Zip, 587 kb, скачать бесплатно
Заказать
Узнать стоимость написания уникального реферата

Узнайте стоимость написания уникальной работы

Реферат По информатике Количество информации Содержание Введение 1. Бит 2. Неопределенность, количество информации и энтропия 3. Формула Шеннона 4. Формула Хартли 5. Количество информации, получаемой в процессе сообщения Список использованной литературы Введение По определению А . Д. Урсула - «информация есть от раженное разнообразие» . Количество информации есть количественная мера разнообразия . Это может быть разнообразие совокупного содержимого памяти ; разнообразие сигнала , воспринятого в процессе конкретного сообщения ; разнообразие исходов конкретной ситуации ; разнообразие элементов некоторой системы… - это оценка разнообразия в самом широком смысле слова. Любое сообщение между источником и приемником информации имеет некоторую продолжительность во времени , но количество информации воспринятой приемником в резул ьтате сообщения , характеризуется в итоге вовсе не длиной сообщения , а разнообразием сигнала порожденного в приемнике этим сообщением . Память носителя информации имеет некоторую физическую ёмкость , в которой она способна накапливать образы , и количество на копленной в памяти информации , характеризуется в итоге именно разнообразием заполнения этой ёмкости . Для объектов неживой природы это разнообразие их истории , для живых организмов это разнообразие их опыта. 1.Бит Разнообразие необходимо при передаче инфо рмации . Нельзя нарисовать белым по белому , одного состояния недостаточно . Если ячейка памяти способна находиться только в одном (исходном ) состоянии и не способна изменять свое состояние под внешним воздействием , это значит , что она не способна воспринима т ь и запоминать информацию . Информационная емкость такой ячейки равна 0. Минимальное разнообразие обеспечивается наличием двух состояний . Если ячейка памяти способна , в зависимости от внешнего воздействия , принимать одно из двух состояний , которые условно о бозначаются обычно как «0» и « 1» , она обладает минимальной информационной ёмкостью. Информационная ёмкость одной ячейки памяти , способной находиться в двух различных состояниях , принята за единицу измерения количества информации - 1 бит. 1 бит ( bit - сокра щение от англ . binary digit - двоичное число ) - единица измерения информационной емкости и количества информации , а также и еще одной величины – информационной энтропии , с которой мы познакомимся позже . Бит , одна из самых безусловных единиц измерения . Есл и единицу измерения длины можно было положить произвольной : локоть , фут , метр , то единица измерения информации не могла быть по сути никакой другой. На физическом уровне бит является ячейкой памяти , которая в каждый момент времени находится в одном из двух состояний : «0» или « 1» . Если каждая точка некоторого изображения может быть только либо черной , либо белой , такое изображение называют битовым , потому что каждая точка представляет собой ячейку памяти емкостью 1 бит . Лампочка , которая может либо «гореть» , либо «не гореть» также символизирует бит . Классический пример , иллюстрирующий 1 бит информации – количество информации , получаемое в результате подбрасывания монеты – “орел” или “решка”. Количество информации равное 1 биту можно получить в ответе на вопр ос типа «да» / «нет» . Если изначально вариантов ответов было больше двух , количество получаемой в конкретном ответе информации будет больше , чем 1 бит , если вариантов ответов меньше двух , т.е . один , то это не вопрос , а утверждение , следовательно , получения информации не требуется , раз неопределенности нет. Информационная ёмкость ячейки памяти , способной воспринимать информацию , не может быть меньше 1 бита , но количество получаемой информации может быть и меньше , чем 1 бит . Это происходит тогда , когда вариант ы ответов «да» и «нет» не равновероятны . Неравновероятность в свою очередь является следствием того , что некоторая предварительная (априорная ) информация по этому вопросу уже имеется , полученная , допустим , на основании предыдущего жизненного опыта . Таким о бразом , во всех рассуждениях предыдущего абзаца следует учитывать одну очень важную оговорку : они справедливы только для равновероятного случая. Количество информации мы будем обозначать символом I , вероятность обозначается символом P . Напомним , что суммар ная вероятность полной группы событий равна 1. 2.Неопределенность , количество информации и энтропия Основоположник теории информации Клод Шеннон определил информацию , как снятую неопределенность . Точнее сказать , получение информации - необходимое условие для снятия неопределенности . Неопределенность возникает в ситуации выбора . Задача , которая решается в ходе снятия неопределенности – уменьшение количества рассматриваемых вариантов (уменьшение разнообразия ), и в итоге выбор одного соответствующего ситуац и и варианта из числа возможных . Снятие неопределенности дает возможность принимать обоснованные решения и действовать . В этом управляющая роль информации . Ситуация максимальной неопределенности предполагает наличие нескольких равновероятных альтернатив (ва риантов ), т.е . ни один из вариантов не является более предпочтительным . Причем , чем больше равновероятных вариантов наблюдается , тем больше неопределенность , тем сложнее сделать однозначный выбор и тем больше информации требуется для этого получить . Для N вариантов эта ситуация описывается следующим распределением вероятностей : 1/ N , 1/ N , … 1/ N . Минимальная неопределенность равна 0, т.е . эта ситуация полной определенности , означающая что выбор сделан , и вся необходимая информация получена . Распределение ве роятностей для ситуации полной определенности выглядит так : 1, 0, …0 . Величина , характеризующая количество неопределенности в теории информации обозначается символом H и имеет название энтропия , точнее информационная энтропия . Энтропия ( H ) – мера неопре деленности , выраженная в битах . Так же энтропию можно рассматривать как меру равномерности распределения случайной величины . Рис . 1. Поведение энтропии для случая двух альтернатив. На рисунке 1. показано поведение энтропии для случая двух альтернатив , при изменении соотношения их вероятностей ( p , (1- p )). Максимального значения энтропия достигает в данном случае тогд а , когда обе вероятности равны между собой и равны Ѕ , нулевое значение энтропии соответствует случаям ( p 0 =0, p 1 =1) и ( p 0 =1, p 1 =0). Рис . 2. Связь между энтропией и количеством информации. Количест во информации I и энтропия H характеризуют одну и ту же ситуацию , но с качественно противоположенных сторон . I – это количество информации , которое требуется для снятия неопределенности H . По определению Леона Бриллюэна информация есть отрицательная энтроп ия (негэнтропия ). Когда неопределенность снята полностью , количество полученной информации I равно изначально существовавшей неопределенности H . При частичном снятии неопределенности , полученное количество информации и оставшаяся неснятой неопределенность составляют в сумме исходную неопределенность . H t + I t = H . По этой причине , формулы , которые будут представлены ниже для расчета энтропии H являются и формулами для расчета количества информации I , т.е . когда речь идет о полном снятии неопределенности , H в них может заменяться на I . 3.Формула Шеннона В общем случае , энтропия H и количество получаемой в результате снятия неопределенности информации I зависят от исходного количества рассматриваемых вариантов N и априорных вероятностей реализации каждого из них P : p 0 , p 1 , … p N -1 , т.е . H = F ( N , P ). Расчет энтропии в этом случае производится по формуле Шеннона , предложенной им в 1948 году в статье "Математическая теория связи ". В частном случае , когда все варианты равновероятны , остается зависимость только от ко личества рассматриваемых вариантов , т.е . H = F ( N ). В этом случае формула Шеннона значительно упрощается и совпадает с формулой Хартли , которая впервые была предложена американским инженером Ральфом Хартли в 1928 году , т.е . на 20 лет раньше. Формула Шеннона и меет следующий вид : (1) Рис . 3. Нахождение логарифма b по основанию a - это нахождение степени , в которую нужно возвести a, чтобы получить b. Напомним , что такое логарифм. Логарифм по основанию 2 называется двоичным : log 2 (8)=3 => 2 3 =8 log 2 (10)=3,32 => 2 3,32 =10 Логарифм по основанию 10 – называется десятичным : log 10 (100)=2 => 10 2 =100 Основные свойства логарифма : 1. log (1)=0, т.к . любое число в нулевой степени дает 1; 2. log(a b )=b*log(a); 3. log(a*b)=log(a)+log(b); 4. log(a/b)=log(a)-log(b); 5. log(1/b)=0-log(b)=-log(b). Знак минус в формуле (1) не означает , чт о энтропия – отрицательная величина . Объясняется это тем , что p i 1 по определению , а логарифм числа меньшего единицы - величина отрицательная . По свойству логарифма , поэтому эту формулу можно записать и во втором варианте , без минуса перед знаком суммы. интерпретируется как частное количество информации , получаемое в случае реализации i -ого варианта . Энтро пия в формуле Шеннона является средней характеристикой – математическим ожиданием распределения случайной величины I 0 , I 1, … I N -1 . Пример расчета энтропии по формуле Шеннона . Пусть в некотором учреждении состав работников распределяется так : ѕ - женщины, ј - мужчины . Тогда неопределенность , например , относительно того , кого вы встретите первым , зайдя в учреждение , будет рассчитана рядом действий , показанных в таблице 1. Таблица 1. p i 1/p i I i = log 2 (1/p i ), бит p i *log 2 (1/p i ), бит Ж 3/4 4/3 log 2 (4/3)=0,42 3/4 * 0,42=0,31 М 1/4 4/1 log 2 (4)=2 1/4 * 2=0,5 1 H=0,81 бит Если же априори известно , что мужчин и женщин в учреждении поровну (два равновероятных варианта ), то при расчете по той же формуле мы должны получить неопред еленность в 1 бит . Проверка этого предположения проведена в таблице 2. Таблица 2. p i 1/p i I i = log 2 (1/p i ), бит p i *log 2 (1/p i ), бит Ж 1 / 2 2 log 2 ( 2 )= 1 1/2 * 1 = 1/2 М 1/ 2 2 log 2 ( 2 )= 1 1/ 2 * 1 = 1/2 1 H= 1 бит 4.Формула Хартли Формула Хартли – частный случай формулы Шеннона для равновероятных альтернатив . Подставив в формулу (1) вместо p i его (в равновероятном случае не зависящее от i ) значение , получим : , таким образом , формула Хартли выглядит очень просто : (2) Из нее явно следует , что чем больше количество альтернатив ( N ), тем больше неопределенность ( H ). Эти величины связаны в формуле (2) не линейно , а через двоичный логарифм . Логариф мирование по основанию 2 и приводит количество вариантов к единицам измерения информации – битам. Энтропия будет являться целым числом лишь в том случае , если N является степенью числа 2, т.е . если N принадлежит ряду : 1, 2, 4, 8, 16, 32, 64, 128, 256, 512 , 1024, 2048… Рис . 3. Зависимось энтропии от количества равновероятных вариантов выбора (равнозначных альтернатив ). Для решения обратных задач , когда известна неопределенность (H) или полученное в результате ее снятия количество информации (I) и нужно определить какое количество равновероятных альтернатив соответствует возникновению этой неопределенности , используют обратную формулу Хартли, которая выводится в соответствии с определением логарифма и выглядит еще проще : (3) Например , если известно , что в результате определения того , ч то интересующий нас Коля Иванов живет на втором этаже , было получено 3 бита информации , то количество этажей в доме можно определить по формуле (3), как N =2 3 =8 этажей. Если же вопрос стоит так : “в доме 8 этажей , какое количество информации мы получили , узн ав , что интересующий нас Коля Иванов живет на втором этаже ?” , нужно воспользоваться формулой (2): I = log 2 (8)=3 бита. 5.Количество информации , получаемой в процессе сообщения До сих пор были приведены формулы для расчета энтропии (неопределенности ) H , указ ывая , что H в них можно заменять на I , потому что количество информации , получаемое при полном снятии неопределенности некоторой ситуации , количественно равно начальной энтропии этой ситуации. Но неопределенность может быть снята только частично , поэтому к оличество информации I , получаемой из некоторого сообщения , вычисляется как уменьшение энтропии , произошедшее в результате получения данного сообщения. (4) Для равновероятного случая , используя для расчета энтропии формулу Хартли , получим : (5) Второе равенство выводится на основании свойств логарифма . Таким образом , в равновероятном случае I зависит от того , во сколько раз изменилось количество рассматриваемых вариантов выбора (рассм атриваемое разнообразие ). Исходя из (5) можно вывести следующее : Если , то - п олное снятие неопределенности , количество полученной в сообщении информации равно неопределенности , которая существовала до получения сообщения. Если , то - неопределенности не изменилась , следовательно , информации получено не было. Если , то => , если , => . Т.е . количество полученной информации будет положительной величиной , если в результате получения сообщения количество рассматриваемых альтернатив уменьшилось , и отрицательной , если увеличилось. Если к оличество рассматриваемых альтернатив в результате получения сообщения уменьшилось вдвое , т.е . , то I= log 2 (2)=1 бит. Другими словами , получение 1 бита информац ии исключает из рассмотрения половину равнозначных вариантов . Рассмотрим в качестве примера опыт с колодой из 36 карт. Рис . 4. Иллюстрация к опыту с колодой из 3 6-ти карт. Пусть некто вынимает одну карту из колоды . Нас интересует , какую именно из 36 карт он вынул . Изначальная неопределенность , рассчитываемая по формуле (2), составляет H = log 2 (36) 5,17 бит . Вытянувший карту сообщает нам часть информации . Используя формулу (5), определим , какое количество информации мы получаем из этих сообщений : Вариант A . “Это карта красной масти”. I=log 2 (36/18)=log 2 (2)=1 бит (красных карт в колоде половина , неопределенность уменьшилась в 2 раза ). Вариа нт B . “Это карта пиковой масти”. I=log 2 (36/9)=log 2 (4)=2 бита (пиковые карты составляют четверть колоды , неопределенность уменьшилась в 4 раза ). Вариант С . “Это одна из старших карт : валет , дама , король или туз”. I=log 2 (36) – log 2 (16)=5,17-4=1,17 бита (неопре деленность уменьшилась больше чем в два раза , поэтому полученное количество информации больше одного бита ). Вариант D . “Это одна карта из колоды ". I=log 2 (36/36)=log 2 (1)=0 бит (неопределенность не уменьшилась - сообщение не информативно ). Вариант D . “Это да ма пик ". I=log 2 (36/1)=log 2 (36)=5,17 бит (неопределенность полностью снята ). Список использованной литературы 1. Зрение . http://schools.keldysh.ru/school1413/bio/novok/zrenie.htm/. 2. Ильина О . В . Кодирование информации в курсе информатики средней школы . http://www.iro.yar.ru:8101/resource/distant/informatics/s/ilina/Chapter3.htm/. 3. Интернет-школа . Просвещение .ru http://www.internet-school.ru/Enc.aspx?folder=265&item=3693/. 4. Информатика , математика лекции учебники курсовые студенту и школьнику . http: //256bit.ru/informat/eu_Hardware/. 5. Петрович Н . Т . Люди и биты . Информационный взрыв : что он несет . М .: Знание , 1986.
1Архитектура и строительство
2Астрономия, авиация, космонавтика
 
3Безопасность жизнедеятельности
4Биология
 
5Военная кафедра, гражданская оборона
 
6География, экономическая география
7Геология и геодезия
8Государственное регулирование и налоги
 
9Естествознание
 
10Журналистика
 
11Законодательство и право
12Адвокатура
13Административное право
14Арбитражное процессуальное право
15Банковское право
16Государство и право
17Гражданское право и процесс
18Жилищное право
19Законодательство зарубежных стран
20Земельное право
21Конституционное право
22Конституционное право зарубежных стран
23Международное право
24Муниципальное право
25Налоговое право
26Римское право
27Семейное право
28Таможенное право
29Трудовое право
30Уголовное право и процесс
31Финансовое право
32Хозяйственное право
33Экологическое право
34Юриспруденция
 
35Иностранные языки
36Информатика, информационные технологии
37Базы данных
38Компьютерные сети
39Программирование
40Искусство и культура
41Краеведение
42Культурология
43Музыка
44История
45Биографии
46Историческая личность
47Литература
 
48Маркетинг и реклама
49Математика
50Медицина и здоровье
51Менеджмент
52Антикризисное управление
53Делопроизводство и документооборот
54Логистика
 
55Педагогика
56Политология
57Правоохранительные органы
58Криминалистика и криминология
59Прочее
60Психология
61Юридическая психология
 
62Радиоэлектроника
63Религия
 
64Сельское хозяйство и землепользование
65Социология
66Страхование
 
67Технологии
68Материаловедение
69Машиностроение
70Металлургия
71Транспорт
72Туризм
 
73Физика
74Физкультура и спорт
75Философия
 
76Химия
 
77Экология, охрана природы
78Экономика и финансы
79Анализ хозяйственной деятельности
80Банковское дело и кредитование
81Биржевое дело
82Бухгалтерский учет и аудит
83История экономических учений
84Международные отношения
85Предпринимательство, бизнес, микроэкономика
86Финансы
87Ценные бумаги и фондовый рынок
88Экономика предприятия
89Экономико-математическое моделирование
90Экономическая теория

 Анекдоты - это почти как рефераты, только короткие и смешные Следующий
В детском саду смекалистые воспитательницы в тихий час придумали конкурс для детей: кто первый заснёт, тому можно не спать!..
Anekdot.ru

Узнайте стоимость курсовой, диплома, реферата на заказ.

Обратите внимание, реферат по информатике и информационным технологиям "Количество информации", также как и все другие рефераты, курсовые, дипломные и другие работы вы можете скачать бесплатно.

Смотрите также:


Банк рефератов - РефератБанк.ру
© РефератБанк, 2002 - 2016
Рейтинг@Mail.ru