Преглед на кода на Условна ентропия

[[Image:RaoFig1.jpg|thumb|300px|right|alt= Изображението показва графика на ентропия на древните символи.| Брой на символите (подредени по честота).]]

При '''условната ентропия''' сложната система '''обединява две зависими една от друга дискретни системи'''. Тогава се отчитат и условните вероятности за осъществяване на едни събития спрямо други, като получената при това ентропия се нарича условна. При определени условия ентропията се измерва в [[бит]]ове, ''NATS'' или забрани. 

==Същност==

Условната ентропия е количество информация на [[символ]] при условна [[вероятност]] на поява на едни събития относно други. Условната вероятност отразява връзката между състояние'' bj'' на система B, при условие, че система A е в състояние ''ai''.
* съвместна вероятност
* Ако ''H (Y | X=X)'' е ентропия на променливата ''Y'' в зависимост от променливата ''X'', заемане на определена стойност на ''x'', то ''H (Y |X)'' е резултат от средно ''H (Y |X=X)'' над всички възможни стойности на ''x'', които ''X'' може да приеме.
''H(Y | X) = ''
==Правило на веригата==

[[Image: Conditional_entropy.jpg|thumb|300px|right|Условна ентропия.]]

Ентропията може да бъде обусловена от една [[случайна величина]] или на тази случайна е определена дадена стойност. Основното свойство на тази ентропия е правилото на веригата. От определението за условна ентропия и определението за условна вероятност следва, че правилото за веригата е :

''H(Y |X)=H(Y,X) - H(X)''

==Интуиция==

Интуитивно, комбинираната [[система]] съдържа ''H(X,Y)'' бита информация: имаме нужда ''H(X,Y)'' бита [[информация]] за възпроизвеждане на точното му [[състояние]]. Ако научим стойността на ''X'', които сме натрупали ''H(X)'' бита информация, а системата е ''H(Y|X)'' бита на несигурност в края на годината.

''H(Y|X)=0'' тогава и само тогава, когато стойността на ''Y'' се определя напълно от стойността на ''X''. От друга страна, ''H(Y|X)=H(Y)'', ако и само ако ''Y'' и ''X'' са [[независими величини]].

==Информация и ентропия==

Основна мярка на информацията в областта на теорията е ентропията, която обикновено се изразява с броя на битовете, необходими за съхранение и [[комуникация]]. Ентропията определя количеството  на несигурност, като се натъква на дадена [[случайна величина]]. Например при хвърлянето на монета, при която има 2 еднакво възможни изхода, има много по-малко ентропия в сравнение с хвърлянето на зара, при който има 6 еднакво възможни изхода.

Важна подобласт на теорията на информацията са източникът на кодиране, кодиране на канала, [[теория на алгоритмичната сложност]], [[теория на алгоритмичната информация]], информация, [[теорията на сигурността]] , както и мерките на информацията.

==Вижте още==

*[[Клод Шенън]]
*[[Компютърна програма за шах на Шенън]]
*[[Мишка на Шенън]]
*[[Бит]]
*[[Симулационен език]]
*[[Теория на кодиране]]

==Източници==

* Информатика и икономика, 2003	Унив. изд. "Епископ Константин Преславски"
* Димитър Петров, Антон Палазов, Илко Ангелов Великов, Ваня Лазарова, Деко Б. Дановски, Бизнес информатика
* Емил Денчев, Информатика

==Външни препратки==

* [http://www.referati.org/uslovna-entropiq-na-statisticheski-zavisimi-syobshteniq/43919/ref Съдържа информация за условна ентропия на статистически зависими съобщения]
*[http://en.wikipedia.org/wiki/Quantum_information Има информация за квантовата информация]
*  [http://www.itsoc.org/ Общество на теорията на информацията]
* [http://www.quantiki.org/ Уики портал на квантовата информация с уводни уроци]

[[category:Кибернетика]]