Разлика между версии на „Условна ентропия“

Текуща версия към 13:23, 9 януари 2014

Изображението показва графика на ентропия на древните символи.

Брой на символите (подредени по честота).

При условната ентропия сложната система обединява две зависими една от друга дискретни системи. Тогава се отчитат и условните вероятности за осъществяване на едни събития спрямо други, като получената при това ентропия се нарича условна. При определени условия ентропията се измерва в битове, NATS или забрани.

Същност

Условната ентропия е количество информация на символ при условна вероятност на поява на едни събития относно други. Условната вероятност отразява връзката между състояние bj на система B, при условие, че система A е в състояние ai.

съвместна вероятност
Ако H (Y | X=X) е ентропия на променливата Y в зависимост от променливата X, заемане на определена стойност на x, то H (Y |X) е резултат от средно H (Y |X=X) над всички възможни стойности на x, които X може да приеме.

H(Y | X) =

Правило на веригата

Условна ентропия.

Ентропията може да бъде обусловена от една случайна величина или на тази случайна е определена дадена стойност. Основното свойство на тази ентропия е правилото на веригата. От определението за условна ентропия и определението за условна вероятност следва, че правилото за веригата е :

H(Y |X)=H(Y,X) - H(X)

Интуиция

Интуитивно, комбинираната система съдържа H(X,Y) бита информация: имаме нужда H(X,Y) бита информация за възпроизвеждане на точното му състояние. Ако научим стойността на X, които сме натрупали H(X) бита информация, а системата е H(Y|X) бита на несигурност в края на годината.

H(Y|X)=0 тогава и само тогава, когато стойността на Y се определя напълно от стойността на X. От друга страна, H(Y|X)=H(Y), ако и само ако Y и X са независими величини.

Информация и ентропия

Основна мярка на информацията в областта на теорията е ентропията, която обикновено се изразява с броя на битовете, необходими за съхранение и комуникация. Ентропията определя количеството на несигурност, като се натъква на дадена случайна величина. Например при хвърлянето на монета, при която има 2 еднакво възможни изхода, има много по-малко ентропия в сравнение с хвърлянето на зара, при който има 6 еднакво възможни изхода.

Важна подобласт на теорията на информацията са източникът на кодиране, кодиране на канала, теория на алгоритмичната сложност, теория на алгоритмичната информация, информация, теорията на сигурността , както и мерките на информацията.

Вижте още

Източници

Информатика и икономика, 2003 Унив. изд. "Епископ Константин Преславски"
Димитър Петров, Антон Палазов, Илко Ангелов Великов, Ваня Лазарова, Деко Б. Дановски, Бизнес информатика
Емил Денчев, Информатика

Външни препратки

@@ Ред 1: / Ред 1: @@
-При '''условната ентропия''' сложната система '''обединява две зависими една от друга дискретни системи'''. Тогава се отчитат и условните вероятности за осъществяване на едни събития спрямо други, като получената при това ентропия се нарича условна. При определени условия ентропията се измерва в [[битове]], [[''NATS]]'' или [[забрани]]. [[Image:RaoFig1.jpg|thumb|right|alt= Изображението показва графика на ентропия на древните символи.| Брой на символите (подредени по честота).]]
+[[Image:RaoFig1.jpg|thumb|300px|right|alt= Изображението показва графика на ентропия на древните символи.| Брой на символите (подредени по честота).]]
-==Определение==
+При '''условната ентропия''' сложната система '''обединява две зависими една от друга дискретни системи'''. Тогава се отчитат и условните вероятности за осъществяване на едни събития спрямо други, като получената при това ентропия се нарича условна. При определени условия ентропията се измерва в [[бит]]ове, ''NATS'' или забрани.
+==Същност==
 Условната ентропия е количество информация на [[символ]] при условна [[вероятност]] на поява на едни събития относно други. Условната вероятност отразява връзката между състояние'' bj'' на система B, при условие, че система A е в състояние ''ai''.
 * съвместна вероятност
+* Ако ''H (Y | X=X)'' е ентропия на променливата ''Y'' в зависимост от променливата ''X'', заемане на определена стойност на ''x'', то ''H (Y |X)'' е резултат от средно ''H (Y |X=X)'' над всички възможни стойности на ''x'', които ''X'' може да приеме.
-* Ако ''H (Y | X=X)'' е [[ентропия]] на променливата ''Y'' в зависимост от променливата ''X'', заемане на определена стойност на ''x'', то ''H (Y |X)'' е резултат от средно ''H (Y |X=X)'' над всички възможни стойности на ''x'', които ''X'' може да приеме.
 ''H(Y | X) = ''
+==Правило на веригата==
-==Правило на веригата==
+[[Image: Conditional_entropy.jpg|thumb|300px|right|Условна ентропия.]]
 Ентропията може да бъде обусловена от една [[случайна величина]] или на тази случайна е определена дадена стойност. Основното свойство на тази ентропия е правилото на веригата. От определението за условна ентропия и определението за условна вероятност следва, че правилото за веригата е :
@@ Ред 17: / Ред 17: @@
 ''H(Y |X)=H(Y,X) - H(X)''
-[[Image: Conditional_entropy.jpg|thumb|left|Условна ентропия.]]
+==Интуиция==
-==Интуицията==
 Интуитивно, комбинираната [[система]] съдържа ''H(X,Y)'' бита информация: имаме нужда ''H(X,Y)'' бита [[информация]] за възпроизвеждане на точното му [[състояние]]. Ако научим стойността на ''X'', които сме натрупали ''H(X)'' бита информация, а системата е ''H(Y|X)'' бита на несигурност в края на годината.
@@ Ред 25: / Ред 23: @@
 ''H(Y|X)=0'' тогава и само тогава, когато стойността на ''Y'' се определя напълно от стойността на ''X''. От друга страна, ''H(Y|X)=H(Y)'', ако и само ако ''Y'' и ''X'' са [[независими величини]].
-==Теория на квантовата информация==
+==Информация и ентропия==
-В информацията, квантовата теория, при определени условия ентропията е синтезирано в условната [[квантова теория]]. В квантовата механика, [[квантовата информация]] е физическа информация, която се провежда в състояние на квантовата система. Квантовата информация се различава от класическата информация в няколко насоки:
-* Не може да се чете без състоянието да се уеднакви с измерената стойност;
-* Произволните състояние не могат да бъдат клонирани;
-* Състоянието  може да е в суперпозиция на база ценности.
-Една от силните страни на класическата теория на квантовата теория на информацията е, че физическото представяне на информацията  може да се пренебрегне. Винаги е възможно информацията ефективно да се трансформира от един носител на друг.
-==Теория на информацията==
-*Определение
-[[Теорията на информацията]] е клон на [[приложната математика]] и  [[електротехниката]], включващи количественото определяне на информацията. Тази теория е изработена от [[Д. Клод Шанън]], който намира основните ограничения за обработка на сигналите на операциите, като компресира информацията за надеждно съхраняване и съобщаване на [[данни]]те. Теорията намира приложение и в много други области, като [[статистически извод]], обработка на естествен език, [[криптография]], [[невробиология]], квантови системи, за откриване на [[плагиатство]] и други форми на [[анализ на данни]]те.
-===Връзка с ентропията===
 Основна мярка на информацията в областта на теорията е ентропията, която обикновено се изразява с броя на битовете, необходими за съхранение и [[комуникация]]. Ентропията определя количеството  на несигурност, като се натъква на дадена [[случайна величина]]. Например при хвърлянето на монета, при която има 2 еднакво възможни изхода, има много по-малко ентропия в сравнение с хвърлянето на зара, при който има 6 еднакво възможни изхода.
 Важна подобласт на теорията на информацията са източникът на кодиране, кодиране на канала, [[теория на алгоритмичната сложност]], [[теория на алгоритмичната информация]], информация, [[теорията на сигурността]] , както и мерките на информацията.
 ==Вижте още==
-*[[Система]]
+*[[Клод Шенън]]
-*[[Интеграл]]
+*[[Компютърна програма за шах на Шенън]]
-*[[Интервал]]
+*[[Мишка на Шенън]]
-*[[Граница на функция]]
+*[[Бит]]
-*[[Интерфейс]]
+*[[Симулационен език]]
+*[[Теория на кодиране]]
 ==Източници==