Реферат: Количество информации - текст реферата. Скачать бесплатно.
Банк рефератов, курсовых и дипломных работ. Много и бесплатно. # | Правила оформления работ | Добавить в избранное
 
 
   
Меню Меню Меню Меню Меню
   
Napishem.com Napishem.com Napishem.com

Реферат

Количество информации

Банк рефератов / Информатика, информационные технологии

Рубрики  Рубрики реферат банка

закрыть
Категория: Реферат
Язык реферата: Русский
Дата добавления:   
 
Скачать
Архив Zip, 587 kb, скачать бесплатно
Обойти Антиплагиат
Повысьте уникальность файла до 80-100% здесь.
Промокод referatbank - cкидка 20%!
Заказать
Узнать стоимость написания уникального реферата

Узнайте стоимость написания уникальной работы

Реферат По информатике Количество информации Содержание Введение 1. Бит 2. Неопределенность, количество информации и энтропия 3. Формула Шеннона 4. Формула Хартли 5. Количество информации, получаемой в процессе сообщения Список использованной литературы Введение По определению А . Д. Урсула - «информация есть от раженное разнообразие» . Количество информации есть количественная мера разнообразия . Это может быть разнообразие совокупного содержимого памяти ; разнообразие сигнала , воспринятого в процессе конкретного сообщения ; разнообразие исходов конкретной ситуации ; разнообразие элементов некоторой системы… - это оценка разнообразия в самом широком смысле слова. Любое сообщение между источником и приемником информации имеет некоторую продолжительность во времени , но количество информации воспринятой приемником в резул ьтате сообщения , характеризуется в итоге вовсе не длиной сообщения , а разнообразием сигнала порожденного в приемнике этим сообщением . Память носителя информации имеет некоторую физическую ёмкость , в которой она способна накапливать образы , и количество на копленной в памяти информации , характеризуется в итоге именно разнообразием заполнения этой ёмкости . Для объектов неживой природы это разнообразие их истории , для живых организмов это разнообразие их опыта. 1.Бит Разнообразие необходимо при передаче инфо рмации . Нельзя нарисовать белым по белому , одного состояния недостаточно . Если ячейка памяти способна находиться только в одном (исходном ) состоянии и не способна изменять свое состояние под внешним воздействием , это значит , что она не способна воспринима т ь и запоминать информацию . Информационная емкость такой ячейки равна 0. Минимальное разнообразие обеспечивается наличием двух состояний . Если ячейка памяти способна , в зависимости от внешнего воздействия , принимать одно из двух состояний , которые условно о бозначаются обычно как «0» и « 1» , она обладает минимальной информационной ёмкостью. Информационная ёмкость одной ячейки памяти , способной находиться в двух различных состояниях , принята за единицу измерения количества информации - 1 бит. 1 бит ( bit - сокра щение от англ . binary digit - двоичное число ) - единица измерения информационной емкости и количества информации , а также и еще одной величины – информационной энтропии , с которой мы познакомимся позже . Бит , одна из самых безусловных единиц измерения . Есл и единицу измерения длины можно было положить произвольной : локоть , фут , метр , то единица измерения информации не могла быть по сути никакой другой. На физическом уровне бит является ячейкой памяти , которая в каждый момент времени находится в одном из двух состояний : «0» или « 1» . Если каждая точка некоторого изображения может быть только либо черной , либо белой , такое изображение называют битовым , потому что каждая точка представляет собой ячейку памяти емкостью 1 бит . Лампочка , которая может либо «гореть» , либо «не гореть» также символизирует бит . Классический пример , иллюстрирующий 1 бит информации – количество информации , получаемое в результате подбрасывания монеты – “орел” или “решка”. Количество информации равное 1 биту можно получить в ответе на вопр ос типа «да» / «нет» . Если изначально вариантов ответов было больше двух , количество получаемой в конкретном ответе информации будет больше , чем 1 бит , если вариантов ответов меньше двух , т.е . один , то это не вопрос , а утверждение , следовательно , получения информации не требуется , раз неопределенности нет. Информационная ёмкость ячейки памяти , способной воспринимать информацию , не может быть меньше 1 бита , но количество получаемой информации может быть и меньше , чем 1 бит . Это происходит тогда , когда вариант ы ответов «да» и «нет» не равновероятны . Неравновероятность в свою очередь является следствием того , что некоторая предварительная (априорная ) информация по этому вопросу уже имеется , полученная , допустим , на основании предыдущего жизненного опыта . Таким о бразом , во всех рассуждениях предыдущего абзаца следует учитывать одну очень важную оговорку : они справедливы только для равновероятного случая. Количество информации мы будем обозначать символом I , вероятность обозначается символом P . Напомним , что суммар ная вероятность полной группы событий равна 1. 2.Неопределенность , количество информации и энтропия Основоположник теории информации Клод Шеннон определил информацию , как снятую неопределенность . Точнее сказать , получение информации - необходимое условие для снятия неопределенности . Неопределенность возникает в ситуации выбора . Задача , которая решается в ходе снятия неопределенности – уменьшение количества рассматриваемых вариантов (уменьшение разнообразия ), и в итоге выбор одного соответствующего ситуац и и варианта из числа возможных . Снятие неопределенности дает возможность принимать обоснованные решения и действовать . В этом управляющая роль информации . Ситуация максимальной неопределенности предполагает наличие нескольких равновероятных альтернатив (ва риантов ), т.е . ни один из вариантов не является более предпочтительным . Причем , чем больше равновероятных вариантов наблюдается , тем больше неопределенность , тем сложнее сделать однозначный выбор и тем больше информации требуется для этого получить . Для N вариантов эта ситуация описывается следующим распределением вероятностей : 1/ N , 1/ N , … 1/ N . Минимальная неопределенность равна 0, т.е . эта ситуация полной определенности , означающая что выбор сделан , и вся необходимая информация получена . Распределение ве роятностей для ситуации полной определенности выглядит так : 1, 0, …0 . Величина , характеризующая количество неопределенности в теории информации обозначается символом H и имеет название энтропия , точнее информационная энтропия . Энтропия ( H ) – мера неопре деленности , выраженная в битах . Так же энтропию можно рассматривать как меру равномерности распределения случайной величины . Рис . 1. Поведение энтропии для случая двух альтернатив. На рисунке 1. показано поведение энтропии для случая двух альтернатив , при изменении соотношения их вероятностей ( p , (1- p )). Максимального значения энтропия достигает в данном случае тогд а , когда обе вероятности равны между собой и равны Ѕ , нулевое значение энтропии соответствует случаям ( p 0 =0, p 1 =1) и ( p 0 =1, p 1 =0). Рис . 2. Связь между энтропией и количеством информации. Количест во информации I и энтропия H характеризуют одну и ту же ситуацию , но с качественно противоположенных сторон . I – это количество информации , которое требуется для снятия неопределенности H . По определению Леона Бриллюэна информация есть отрицательная энтроп ия (негэнтропия ). Когда неопределенность снята полностью , количество полученной информации I равно изначально существовавшей неопределенности H . При частичном снятии неопределенности , полученное количество информации и оставшаяся неснятой неопределенность составляют в сумме исходную неопределенность . H t + I t = H . По этой причине , формулы , которые будут представлены ниже для расчета энтропии H являются и формулами для расчета количества информации I , т.е . когда речь идет о полном снятии неопределенности , H в них может заменяться на I . 3.Формула Шеннона В общем случае , энтропия H и количество получаемой в результате снятия неопределенности информации I зависят от исходного количества рассматриваемых вариантов N и априорных вероятностей реализации каждого из них P : p 0 , p 1 , … p N -1 , т.е . H = F ( N , P ). Расчет энтропии в этом случае производится по формуле Шеннона , предложенной им в 1948 году в статье "Математическая теория связи ". В частном случае , когда все варианты равновероятны , остается зависимость только от ко личества рассматриваемых вариантов , т.е . H = F ( N ). В этом случае формула Шеннона значительно упрощается и совпадает с формулой Хартли , которая впервые была предложена американским инженером Ральфом Хартли в 1928 году , т.е . на 20 лет раньше. Формула Шеннона и меет следующий вид : (1) Рис . 3. Нахождение логарифма b по основанию a - это нахождение степени , в которую нужно возвести a, чтобы получить b. Напомним , что такое логарифм. Логарифм по основанию 2 называется двоичным : log 2 (8)=3 => 2 3 =8 log 2 (10)=3,32 => 2 3,32 =10 Логарифм по основанию 10 – называется десятичным : log 10 (100)=2 => 10 2 =100 Основные свойства логарифма : 1. log (1)=0, т.к . любое число в нулевой степени дает 1; 2. log(a b )=b*log(a); 3. log(a*b)=log(a)+log(b); 4. log(a/b)=log(a)-log(b); 5. log(1/b)=0-log(b)=-log(b). Знак минус в формуле (1) не означает , чт о энтропия – отрицательная величина . Объясняется это тем , что p i 1 по определению , а логарифм числа меньшего единицы - величина отрицательная . По свойству логарифма , поэтому эту формулу можно записать и во втором варианте , без минуса перед знаком суммы. интерпретируется как частное количество информации , получаемое в случае реализации i -ого варианта . Энтро пия в формуле Шеннона является средней характеристикой – математическим ожиданием распределения случайной величины I 0 , I 1, … I N -1 . Пример расчета энтропии по формуле Шеннона . Пусть в некотором учреждении состав работников распределяется так : ѕ - женщины, ј - мужчины . Тогда неопределенность , например , относительно того , кого вы встретите первым , зайдя в учреждение , будет рассчитана рядом действий , показанных в таблице 1. Таблица 1. p i 1/p i I i = log 2 (1/p i ), бит p i *log 2 (1/p i ), бит Ж 3/4 4/3 log 2 (4/3)=0,42 3/4 * 0,42=0,31 М 1/4 4/1 log 2 (4)=2 1/4 * 2=0,5 1 H=0,81 бит Если же априори известно , что мужчин и женщин в учреждении поровну (два равновероятных варианта ), то при расчете по той же формуле мы должны получить неопред еленность в 1 бит . Проверка этого предположения проведена в таблице 2. Таблица 2. p i 1/p i I i = log 2 (1/p i ), бит p i *log 2 (1/p i ), бит Ж 1 / 2 2 log 2 ( 2 )= 1 1/2 * 1 = 1/2 М 1/ 2 2 log 2 ( 2 )= 1 1/ 2 * 1 = 1/2 1 H= 1 бит 4.Формула Хартли Формула Хартли – частный случай формулы Шеннона для равновероятных альтернатив . Подставив в формулу (1) вместо p i его (в равновероятном случае не зависящее от i ) значение , получим : , таким образом , формула Хартли выглядит очень просто : (2) Из нее явно следует , что чем больше количество альтернатив ( N ), тем больше неопределенность ( H ). Эти величины связаны в формуле (2) не линейно , а через двоичный логарифм . Логариф мирование по основанию 2 и приводит количество вариантов к единицам измерения информации – битам. Энтропия будет являться целым числом лишь в том случае , если N является степенью числа 2, т.е . если N принадлежит ряду : 1, 2, 4, 8, 16, 32, 64, 128, 256, 512 , 1024, 2048… Рис . 3. Зависимось энтропии от количества равновероятных вариантов выбора (равнозначных альтернатив ). Для решения обратных задач , когда известна неопределенность (H) или полученное в результате ее снятия количество информации (I) и нужно определить какое количество равновероятных альтернатив соответствует возникновению этой неопределенности , используют обратную формулу Хартли, которая выводится в соответствии с определением логарифма и выглядит еще проще : (3) Например , если известно , что в результате определения того , ч то интересующий нас Коля Иванов живет на втором этаже , было получено 3 бита информации , то количество этажей в доме можно определить по формуле (3), как N =2 3 =8 этажей. Если же вопрос стоит так : “в доме 8 этажей , какое количество информации мы получили , узн ав , что интересующий нас Коля Иванов живет на втором этаже ?” , нужно воспользоваться формулой (2): I = log 2 (8)=3 бита. 5.Количество информации , получаемой в процессе сообщения До сих пор были приведены формулы для расчета энтропии (неопределенности ) H , указ ывая , что H в них можно заменять на I , потому что количество информации , получаемое при полном снятии неопределенности некоторой ситуации , количественно равно начальной энтропии этой ситуации. Но неопределенность может быть снята только частично , поэтому к оличество информации I , получаемой из некоторого сообщения , вычисляется как уменьшение энтропии , произошедшее в результате получения данного сообщения. (4) Для равновероятного случая , используя для расчета энтропии формулу Хартли , получим : (5) Второе равенство выводится на основании свойств логарифма . Таким образом , в равновероятном случае I зависит от того , во сколько раз изменилось количество рассматриваемых вариантов выбора (рассм атриваемое разнообразие ). Исходя из (5) можно вывести следующее : Если , то - п олное снятие неопределенности , количество полученной в сообщении информации равно неопределенности , которая существовала до получения сообщения. Если , то - неопределенности не изменилась , следовательно , информации получено не было. Если , то => , если , => . Т.е . количество полученной информации будет положительной величиной , если в результате получения сообщения количество рассматриваемых альтернатив уменьшилось , и отрицательной , если увеличилось. Если к оличество рассматриваемых альтернатив в результате получения сообщения уменьшилось вдвое , т.е . , то I= log 2 (2)=1 бит. Другими словами , получение 1 бита информац ии исключает из рассмотрения половину равнозначных вариантов . Рассмотрим в качестве примера опыт с колодой из 36 карт. Рис . 4. Иллюстрация к опыту с колодой из 3 6-ти карт. Пусть некто вынимает одну карту из колоды . Нас интересует , какую именно из 36 карт он вынул . Изначальная неопределенность , рассчитываемая по формуле (2), составляет H = log 2 (36) 5,17 бит . Вытянувший карту сообщает нам часть информации . Используя формулу (5), определим , какое количество информации мы получаем из этих сообщений : Вариант A . “Это карта красной масти”. I=log 2 (36/18)=log 2 (2)=1 бит (красных карт в колоде половина , неопределенность уменьшилась в 2 раза ). Вариа нт B . “Это карта пиковой масти”. I=log 2 (36/9)=log 2 (4)=2 бита (пиковые карты составляют четверть колоды , неопределенность уменьшилась в 4 раза ). Вариант С . “Это одна из старших карт : валет , дама , король или туз”. I=log 2 (36) – log 2 (16)=5,17-4=1,17 бита (неопре деленность уменьшилась больше чем в два раза , поэтому полученное количество информации больше одного бита ). Вариант D . “Это одна карта из колоды ". I=log 2 (36/36)=log 2 (1)=0 бит (неопределенность не уменьшилась - сообщение не информативно ). Вариант D . “Это да ма пик ". I=log 2 (36/1)=log 2 (36)=5,17 бит (неопределенность полностью снята ). Список использованной литературы 1. Зрение . http://schools.keldysh.ru/school1413/bio/novok/zrenie.htm/. 2. Ильина О . В . Кодирование информации в курсе информатики средней школы . http://www.iro.yar.ru:8101/resource/distant/informatics/s/ilina/Chapter3.htm/. 3. Интернет-школа . Просвещение .ru http://www.internet-school.ru/Enc.aspx?folder=265&item=3693/. 4. Информатика , математика лекции учебники курсовые студенту и школьнику . http: //256bit.ru/informat/eu_Hardware/. 5. Петрович Н . Т . Люди и биты . Информационный взрыв : что он несет . М .: Знание , 1986.
1Архитектура и строительство
2Астрономия, авиация, космонавтика
 
3Безопасность жизнедеятельности
4Биология
 
5Военная кафедра, гражданская оборона
 
6География, экономическая география
7Геология и геодезия
8Государственное регулирование и налоги
 
9Естествознание
 
10Журналистика
 
11Законодательство и право
12Адвокатура
13Административное право
14Арбитражное процессуальное право
15Банковское право
16Государство и право
17Гражданское право и процесс
18Жилищное право
19Законодательство зарубежных стран
20Земельное право
21Конституционное право
22Конституционное право зарубежных стран
23Международное право
24Муниципальное право
25Налоговое право
26Римское право
27Семейное право
28Таможенное право
29Трудовое право
30Уголовное право и процесс
31Финансовое право
32Хозяйственное право
33Экологическое право
34Юриспруденция
 
35Иностранные языки
36Информатика, информационные технологии
37Базы данных
38Компьютерные сети
39Программирование
40Искусство и культура
41Краеведение
42Культурология
43Музыка
44История
45Биографии
46Историческая личность
47Литература
 
48Маркетинг и реклама
49Математика
50Медицина и здоровье
51Менеджмент
52Антикризисное управление
53Делопроизводство и документооборот
54Логистика
 
55Педагогика
56Политология
57Правоохранительные органы
58Криминалистика и криминология
59Прочее
60Психология
61Юридическая психология
 
62Радиоэлектроника
63Религия
 
64Сельское хозяйство и землепользование
65Социология
66Страхование
 
67Технологии
68Материаловедение
69Машиностроение
70Металлургия
71Транспорт
72Туризм
 
73Физика
74Физкультура и спорт
75Философия
 
76Химия
 
77Экология, охрана природы
78Экономика и финансы
79Анализ хозяйственной деятельности
80Банковское дело и кредитование
81Биржевое дело
82Бухгалтерский учет и аудит
83История экономических учений
84Международные отношения
85Предпринимательство, бизнес, микроэкономика
86Финансы
87Ценные бумаги и фондовый рынок
88Экономика предприятия
89Экономико-математическое моделирование
90Экономическая теория

 Анекдоты - это почти как рефераты, только короткие и смешные Следующий
— C днем рождения! Держи подарок.
— Спасибо! Ух ты, это деньги! Мои любимые! Как ты узнал?
— Нравится? Сам заработал!
Anekdot.ru

Узнайте стоимость курсовой, диплома, реферата на заказ.

Обратите внимание, реферат по информатике и информационным технологиям "Количество информации", также как и все другие рефераты, курсовые, дипломные и другие работы вы можете скачать бесплатно.

Смотрите также:


Банк рефератов - РефератБанк.ру
© РефератБанк, 2002 - 2017
Рейтинг@Mail.ru