Разлика между версии на „Условна ентропия“
| Ред 1: | Ред 1: | ||
| − | При '''условната ентропия''' сложната система '''обединява две зависими една от друга дискретни системи'''. Тогава се отчитат и условните вероятности за осъществяване на едни събития спрямо други, като получената при това ентропия се нарича условна. При определени условия ентропията се измерва в [[ | + | При '''условната ентропия''' сложната система '''обединява две зависими една от друга дискретни системи'''. Тогава се отчитат и условните вероятности за осъществяване на едни събития спрямо други, като получената при това ентропия се нарича условна. При определени условия ентропията се измерва в [[бит]]ове, ''NATS'' или забрани. [[Image:RaoFig1.jpg|thumb|right|alt= Изображението показва графика на ентропия на древните символи.| Брой на символите (подредени по честота).]] |
==Определение== | ==Определение== | ||
| Ред 7: | Ред 7: | ||
* съвместна вероятност | * съвместна вероятност | ||
| − | * Ако ''H (Y | X=X)'' е | + | * Ако ''H (Y | X=X)'' е ентропия на променливата ''Y'' в зависимост от променливата ''X'', заемане на определена стойност на ''x'', то ''H (Y |X)'' е резултат от средно ''H (Y |X=X)'' над всички възможни стойности на ''x'', които ''X'' може да приеме. |
''H(Y | X) = '' | ''H(Y | X) = '' | ||
Версия от 20:45, 18 юни 2012
При условната ентропия сложната система обединява две зависими една от друга дискретни системи. Тогава се отчитат и условните вероятности за осъществяване на едни събития спрямо други, като получената при това ентропия се нарича условна. При определени условия ентропията се измерва в битове, NATS или забрани.
Определение
Условната ентропия е количество информация на символ при условна вероятност на поява на едни събития относно други. Условната вероятност отразява връзката между състояние bj на система B, при условие, че система A е в състояние ai.
- съвместна вероятност
- Ако H (Y | X=X) е ентропия на променливата Y в зависимост от променливата X, заемане на определена стойност на x, то H (Y |X) е резултат от средно H (Y |X=X) над всички възможни стойности на x, които X може да приеме.
H(Y | X) =
Правило на веригата
Ентропията може да бъде обусловена от една случайна величина или на тази случайна е определена дадена стойност. Основното свойство на тази ентропия е правилото на веригата. От определението за условна ентропия и определението за условна вероятност следва, че правилото за веригата е :
H(Y |X)=H(Y,X) - H(X)
Интуицията
Интуитивно, комбинираната система съдържа H(X,Y) бита информация: имаме нужда H(X,Y) бита информация за възпроизвеждане на точното му състояние. Ако научим стойността на X, които сме натрупали H(X) бита информация, а системата е H(Y|X) бита на несигурност в края на годината.
H(Y|X)=0 тогава и само тогава, когато стойността на Y се определя напълно от стойността на X. От друга страна, H(Y|X)=H(Y), ако и само ако Y и X са независими величини.
Теория на квантовата информация
В информацията, квантовата теория, при определени условия ентропията е синтезирано в условната квантова теория. В квантовата механика, квантовата информация е физическа информация, която се провежда в състояние на квантовата система. Квантовата информация се различава от класическата информация в няколко насоки:
- Не може да се чете без състоянието да се уеднакви с измерената стойност;
- Произволните състояние не могат да бъдат клонирани;
- Състоянието може да е в суперпозиция на база ценности.
Една от силните страни на класическата теория на квантовата теория на информацията е, че физическото представяне на информацията може да се пренебрегне. Винаги е възможно информацията ефективно да се трансформира от един носител на друг.
Теория на информацията
- Определение
Теорията на информацията е клон на приложната математика и електротехниката, включващи количественото определяне на информацията. Тази теория е изработена от Д. Клод Шанън, който намира основните ограничения за обработка на сигналите на операциите, като компресира информацията за надеждно съхраняване и съобщаване на данните. Теорията намира приложение и в много други области, като статистически извод, обработка на естествен език, криптография, невробиология, квантови системи, за откриване на плагиатство и други форми на анализ на данните.
Връзка с ентропията
Основна мярка на информацията в областта на теорията е ентропията, която обикновено се изразява с броя на битовете, необходими за съхранение и комуникация. Ентропията определя количеството на несигурност, като се натъква на дадена случайна величина. Например при хвърлянето на монета, при която има 2 еднакво възможни изхода, има много по-малко ентропия в сравнение с хвърлянето на зара, при който има 6 еднакво възможни изхода.
Важна подобласт на теорията на информацията са източникът на кодиране, кодиране на канала, теория на алгоритмичната сложност, теория на алгоритмичната информация, информация, теорията на сигурността , както и мерките на информацията.
Вижте още
Източници
- Информатика и икономика, 2003 Унив. изд. "Епископ Константин Преславски"
- Димитър Петров, Антон Палазов, Илко Ангелов Великов, Ваня Лазарова, Деко Б. Дановски, Бизнес информатика
- Емил Денчев, Информатика