Разлика между версии на „Условна ентропия“

Текуща версия към 13:23, 9 януари 2014

Изображението показва графика на ентропия на древните символи.

Брой на символите (подредени по честота).

При условната ентропия сложната система обединява две зависими една от друга дискретни системи. Тогава се отчитат и условните вероятности за осъществяване на едни събития спрямо други, като получената при това ентропия се нарича условна. При определени условия ентропията се измерва в битове, NATS или забрани.

Същност

Условната ентропия е количество информация на символ при условна вероятност на поява на едни събития относно други. Условната вероятност отразява връзката между състояние bj на система B, при условие, че система A е в състояние ai.

съвместна вероятност
Ако H (Y | X=X) е ентропия на променливата Y в зависимост от променливата X, заемане на определена стойност на x, то H (Y |X) е резултат от средно H (Y |X=X) над всички възможни стойности на x, които X може да приеме.

H(Y | X) =

Правило на веригата

Условна ентропия.

Ентропията може да бъде обусловена от една случайна величина или на тази случайна е определена дадена стойност. Основното свойство на тази ентропия е правилото на веригата. От определението за условна ентропия и определението за условна вероятност следва, че правилото за веригата е :

H(Y |X)=H(Y,X) - H(X)

Интуиция

Интуитивно, комбинираната система съдържа H(X,Y) бита информация: имаме нужда H(X,Y) бита информация за възпроизвеждане на точното му състояние. Ако научим стойността на X, които сме натрупали H(X) бита информация, а системата е H(Y|X) бита на несигурност в края на годината.

H(Y|X)=0 тогава и само тогава, когато стойността на Y се определя напълно от стойността на X. От друга страна, H(Y|X)=H(Y), ако и само ако Y и X са независими величини.

Информация и ентропия

Основна мярка на информацията в областта на теорията е ентропията, която обикновено се изразява с броя на битовете, необходими за съхранение и комуникация. Ентропията определя количеството на несигурност, като се натъква на дадена случайна величина. Например при хвърлянето на монета, при която има 2 еднакво възможни изхода, има много по-малко ентропия в сравнение с хвърлянето на зара, при който има 6 еднакво възможни изхода.

Важна подобласт на теорията на информацията са източникът на кодиране, кодиране на канала, теория на алгоритмичната сложност, теория на алгоритмичната информация, информация, теорията на сигурността , както и мерките на информацията.

Вижте още

Източници

Информатика и икономика, 2003 Унив. изд. "Епископ Константин Преславски"
Димитър Петров, Антон Палазов, Илко Ангелов Великов, Ваня Лазарова, Деко Б. Дановски, Бизнес информатика
Емил Денчев, Информатика

Външни препратки

@@ Ред 10: / Ред 10: @@
 ''H(Y | X) = ''
 ==Правило на веригата==
+[[Image: Conditional_entropy.jpg|thumb|300px|right|Условна ентропия.]]
 Ентропията може да бъде обусловена от една [[случайна величина]] или на тази случайна е определена дадена стойност. Основното свойство на тази ентропия е правилото на веригата. От определението за условна ентропия и определението за условна вероятност следва, че правилото за веригата е :
@@ Ред 15: / Ред 17: @@
 ''H(Y |X)=H(Y,X) - H(X)''
-[[Image: Conditional_entropy.jpg|thumb|left|Условна ентропия.]]
+==Интуиция==
-==Интуицията==
 Интуитивно, комбинираната [[система]] съдържа ''H(X,Y)'' бита информация: имаме нужда ''H(X,Y)'' бита [[информация]] за възпроизвеждане на точното му [[състояние]]. Ако научим стойността на ''X'', които сме натрупали ''H(X)'' бита информация, а системата е ''H(Y|X)'' бита на несигурност в края на годината.
@@ Ред 23: / Ред 23: @@
 ''H(Y|X)=0'' тогава и само тогава, когато стойността на ''Y'' се определя напълно от стойността на ''X''. От друга страна, ''H(Y|X)=H(Y)'', ако и само ако ''Y'' и ''X'' са [[независими величини]].
-===Информацията и ентропията===
+==Информация и ентропия==
 Основна мярка на информацията в областта на теорията е ентропията, която обикновено се изразява с броя на битовете, необходими за съхранение и [[комуникация]]. Ентропията определя количеството  на несигурност, като се натъква на дадена [[случайна величина]]. Например при хвърлянето на монета, при която има 2 еднакво възможни изхода, има много по-малко ентропия в сравнение с хвърлянето на зара, при който има 6 еднакво възможни изхода.
 Важна подобласт на теорията на информацията са източникът на кодиране, кодиране на канала, [[теория на алгоритмичната сложност]], [[теория на алгоритмичната информация]], информация, [[теорията на сигурността]] , както и мерките на информацията.
-==Ентропия ==
-[[Ентропия]] характеризира неопределеността на някаква задача или ситуация, т.е. количествена оценка за неопределеност. Ентропията е средното количество информация на едно съобщение. Нека са дадени N възможни съобщения, групирани в к вида. Съобщението от вида i (i=1...k) се повтаря Ni пъти и доставя информация, която се оценява количествено с Ii. Осредняването може да се извърши, като се използва [[зависимост]]та
-[[File:teoriqnainformaciqta20.png|300px]] . (3)
-Като се използва, че
-[[File:teoriqnainformaciqta21.png|100px]] , i=1…k, следва
-[[File:teoriqnainformaciqta22.png|400px]]
-[[File:teoriqnainformaciqta23.png|400px]]
-[[Честота]]та на повторенията на отделните съобщения е
-[[File:teoriqnainformaciqta24.png|80px]]
-Следователно
-[[File:teoriqnainformaciqta25.png|200px]]
-e ентропия по [[Шенън]]. Размерността на ентропията е bit. Ентропията може да се разглежда, като [[функция]] на времето, т.е. H(t), т.е. променя се във времето (при разпознаване на образи). Свойства на ентропията: От самата постановка на гореизложената задача се вижда, че
-[[File:teoriqnainformaciqta26.png|40px]] =1.
-Ако едно от събитията е достоверно, ентропията е равна на 0: Pj= 1,
-[[File:teoriqnainformaciqta27.png|300px]] , H = 0.
-При равновероятни събития ентропията има максимална стойност:
-[[File:teoriqnainformaciqta28.png|200px]]
-[[File:teoriqnainformaciqta29.png|80px]]
-Koгато събитията са с различна вероятност и сред тях няма достоверно събитие, ентропията е по- голяма от 0 и по-малка от максималната стойност:
-[[File:teoriqnainformaciqta30.png|100px]] , 0&lt; Hmax.
-Дискретните съобщения, използвани в практиката, са с понижена ентропия по следните причини:
-* символите са с различна вероятност за поява;
-* съществува [[корелация|корелационна]] връзка между тях; например често пъти една буква се появява точно след друга и т.н.
 ==Вижте още==
-*[[Система]]
+*[[Клод Шенън]]
-*[[Интеграл]]
+*[[Компютърна програма за шах на Шенън]]
-*[[Интервал]]
+*[[Мишка на Шенън]]
-*[[Граница на функция]]
+*[[Бит]]
-*[[Интерфейс]]
+*[[Симулационен език]]
+*[[Теория на кодиране]]
 ==Източници==