Разлика между версии на „Условна ентропия“

От Администрация и управление
Направо към навигацията Направо към търсенето
Ред 46: Ред 46:
  
 
Важна подобласт на теорията на информацията са източникът на кодиране, кодиране на канала, [[теория на алгоритмичната сложност]], [[теория на алгоритмичната информация]], информация, [[теорията на сигурността]] , както и мерките на информацията.
 
Важна подобласт на теорията на информацията са източникът на кодиране, кодиране на канала, [[теория на алгоритмичната сложност]], [[теория на алгоритмичната информация]], информация, [[теорията на сигурността]] , както и мерките на информацията.
 +
==Ентропия ==
 +
 +
 +
 +
[[Ентропия]] характеризира неопределеността на някаква задача или ситуация, т.е. количествена оценка за неопределеност. Ентропията е средното количество информация на едно съобщение. Нека са дадени N възможни съобщения, групирани в к вида. Съобщението от вида i (i=1...k) се повтаря Ni пъти и доставя информация, която се оценява количествено с Ii. Осредняването може да се извърши, като се използва [[зависимост]]та
 +
 +
[[File:teoriqnainformaciqta20.png|300px]] . (3)
 +
 +
 +
 +
Като се използва, че
 +
 +
[[File:teoriqnainformaciqta21.png|100px]] , i=1…k, следва
 +
 +
 +
 +
[[File:teoriqnainformaciqta22.png|400px]]
 +
 +
 +
 +
[[File:teoriqnainformaciqta23.png|400px]]
 +
 +
 +
 +
[[Честота]]та на повторенията на отделните съобщения е
 +
 +
[[File:teoriqnainformaciqta24.png|80px]]
 +
 +
 +
 +
Следователно
 +
 +
[[File:teoriqnainformaciqta25.png|200px]]
 +
 +
 +
 +
e ентропия по [[Шенън]]. Размерността на ентропията е bit. Ентропията може да се разглежда, като [[функция]] на времето, т.е. H(t), т.е. променя се във времето (при разпознаване на образи). Свойства на ентропията: От самата постановка на гореизложената задача се вижда, че
 +
 +
[[File:teoriqnainformaciqta26.png|40px]] =1.
 +
 +
 +
 +
Ако едно от събитията е достоверно, ентропията е равна на 0: Pj= 1,
 +
 +
[[File:teoriqnainformaciqta27.png|300px]] , H = 0.
 +
 +
 +
 +
При равновероятни събития ентропията има максимална стойност:
 +
 +
[[File:teoriqnainformaciqta28.png|200px]]
 +
 +
 +
[[File:teoriqnainformaciqta29.png|80px]]
 +
 +
 +
Koгато събитията са с различна вероятност и сред тях няма достоверно събитие, ентропията е по- голяма от 0 и по-малка от максималната стойност:
 +
 +
[[File:teoriqnainformaciqta30.png|100px]] , 0< Hmax.
 +
 +
Дискретните съобщения, използвани в практиката, са с понижена ентропия по следните причини:
 +
 +
* символите са с различна вероятност за поява;
 +
* съществува [[корелация|корелационна]] връзка между тях; например често пъти една буква се появява точно след друга и т.н.
  
 
==Вижте още==
 
==Вижте още==

Версия от 10:32, 9 януари 2014

При условната ентропия сложната система обединява две зависими една от друга дискретни системи. Тогава се отчитат и условните вероятности за осъществяване на едни събития спрямо други, като получената при това ентропия се нарича условна. При определени условия ентропията се измерва в битове, NATS или забрани.

Изображението показва графика на ентропия на древните символи.
Брой на символите (подредени по честота).

Определение

Условната ентропия е количество информация на символ при условна вероятност на поява на едни събития относно други. Условната вероятност отразява връзката между състояние bj на система B, при условие, че система A е в състояние ai.

  • съвместна вероятност
  • Ако H (Y | X=X) е ентропия на променливата Y в зависимост от променливата X, заемане на определена стойност на x, то H (Y |X) е резултат от средно H (Y |X=X) над всички възможни стойности на x, които X може да приеме.

H(Y | X) =

Правило на веригата

Ентропията може да бъде обусловена от една случайна величина или на тази случайна е определена дадена стойност. Основното свойство на тази ентропия е правилото на веригата. От определението за условна ентропия и определението за условна вероятност следва, че правилото за веригата е :

H(Y |X)=H(Y,X) - H(X)

Условна ентропия.

Интуицията

Интуитивно, комбинираната система съдържа H(X,Y) бита информация: имаме нужда H(X,Y) бита информация за възпроизвеждане на точното му състояние. Ако научим стойността на X, които сме натрупали H(X) бита информация, а системата е H(Y|X) бита на несигурност в края на годината.

H(Y|X)=0 тогава и само тогава, когато стойността на Y се определя напълно от стойността на X. От друга страна, H(Y|X)=H(Y), ако и само ако Y и X са независими величини.

Теория на квантовата информация

В информацията, квантовата теория, при определени условия ентропията е синтезирано в условната квантова теория. В квантовата механика, квантовата информация е физическа информация, която се провежда в състояние на квантовата система. Квантовата информация се различава от класическата информация в няколко насоки:

  • Не може да се чете без състоянието да се уеднакви с измерената стойност;
  • Произволните състояние не могат да бъдат клонирани;
  • Състоянието може да е в суперпозиция на база ценности.

Една от силните страни на класическата теория на квантовата теория на информацията е, че физическото представяне на информацията може да се пренебрегне. Винаги е възможно информацията ефективно да се трансформира от един носител на друг.

Теория на информацията

  • Определение

Теорията на информацията е клон на приложната математика и електротехниката, включващи количественото определяне на информацията. Тази теория е изработена от Клод Шенън, който намира основните ограничения за обработка на сигналите на операциите, като компресира информацията за надеждно съхраняване и съобщаване на данните. Теорията намира приложение и в много други области, като статистически извод, обработка на естествен език, криптография, невробиология, квантови системи, за откриване на плагиатство и други форми на анализ на данните.

Връзка с ентропията

Основна мярка на информацията в областта на теорията е ентропията, която обикновено се изразява с броя на битовете, необходими за съхранение и комуникация. Ентропията определя количеството на несигурност, като се натъква на дадена случайна величина. Например при хвърлянето на монета, при която има 2 еднакво възможни изхода, има много по-малко ентропия в сравнение с хвърлянето на зара, при който има 6 еднакво възможни изхода.

Важна подобласт на теорията на информацията са източникът на кодиране, кодиране на канала, теория на алгоритмичната сложност, теория на алгоритмичната информация, информация, теорията на сигурността , както и мерките на информацията.

Ентропия

Ентропия характеризира неопределеността на някаква задача или ситуация, т.е. количествена оценка за неопределеност. Ентропията е средното количество информация на едно съобщение. Нека са дадени N възможни съобщения, групирани в к вида. Съобщението от вида i (i=1...k) се повтаря Ni пъти и доставя информация, която се оценява количествено с Ii. Осредняването може да се извърши, като се използва зависимостта

Teoriqnainformaciqta20.png . (3)


Като се използва, че

Teoriqnainformaciqta21.png , i=1…k, следва


Teoriqnainformaciqta22.png


Teoriqnainformaciqta23.png


Честотата на повторенията на отделните съобщения е

Teoriqnainformaciqta24.png


Следователно

Teoriqnainformaciqta25.png


e ентропия по Шенън. Размерността на ентропията е bit. Ентропията може да се разглежда, като функция на времето, т.е. H(t), т.е. променя се във времето (при разпознаване на образи). Свойства на ентропията: От самата постановка на гореизложената задача се вижда, че

Teoriqnainformaciqta26.png =1.


Ако едно от събитията е достоверно, ентропията е равна на 0: Pj= 1,

Teoriqnainformaciqta27.png , H = 0.


При равновероятни събития ентропията има максимална стойност:

Teoriqnainformaciqta28.png


Teoriqnainformaciqta29.png


Koгато събитията са с различна вероятност и сред тях няма достоверно събитие, ентропията е по- голяма от 0 и по-малка от максималната стойност:

Teoriqnainformaciqta30.png , 0< Hmax.

Дискретните съобщения, използвани в практиката, са с понижена ентропия по следните причини:

  • символите са с различна вероятност за поява;
  • съществува корелационна връзка между тях; например често пъти една буква се появява точно след друга и т.н.

Вижте още

Източници

  • Информатика и икономика, 2003 Унив. изд. "Епископ Константин Преславски"
  • Димитър Петров, Антон Палазов, Илко Ангелов Великов, Ваня Лазарова, Деко Б. Дановски, Бизнес информатика
  • Емил Денчев, Информатика

Външни препратки

Взето от „https://wiki.basaga.org/index.php?title=Условна_ентропия&oldid=11448“.