Разлика между версии на „Условна ентропия“
| (Не е показана една междинна версия от същия потребител) | |||
| Ред 17: | Ред 17: | ||
''H(Y |X)=H(Y,X) - H(X)'' | ''H(Y |X)=H(Y,X) - H(X)'' | ||
| − | == | + | ==Интуиция== |
Интуитивно, комбинираната [[система]] съдържа ''H(X,Y)'' бита информация: имаме нужда ''H(X,Y)'' бита [[информация]] за възпроизвеждане на точното му [[състояние]]. Ако научим стойността на ''X'', които сме натрупали ''H(X)'' бита информация, а системата е ''H(Y|X)'' бита на несигурност в края на годината. | Интуитивно, комбинираната [[система]] съдържа ''H(X,Y)'' бита информация: имаме нужда ''H(X,Y)'' бита [[информация]] за възпроизвеждане на точното му [[състояние]]. Ако научим стойността на ''X'', които сме натрупали ''H(X)'' бита информация, а системата е ''H(Y|X)'' бита на несигурност в края на годината. | ||
| Ред 23: | Ред 23: | ||
''H(Y|X)=0'' тогава и само тогава, когато стойността на ''Y'' се определя напълно от стойността на ''X''. От друга страна, ''H(Y|X)=H(Y)'', ако и само ако ''Y'' и ''X'' са [[независими величини]]. | ''H(Y|X)=0'' тогава и само тогава, когато стойността на ''Y'' се определя напълно от стойността на ''X''. От друга страна, ''H(Y|X)=H(Y)'', ако и само ако ''Y'' и ''X'' са [[независими величини]]. | ||
| − | == | + | ==Информация и ентропия== |
Основна мярка на информацията в областта на теорията е ентропията, която обикновено се изразява с броя на битовете, необходими за съхранение и [[комуникация]]. Ентропията определя количеството на несигурност, като се натъква на дадена [[случайна величина]]. Например при хвърлянето на монета, при която има 2 еднакво възможни изхода, има много по-малко ентропия в сравнение с хвърлянето на зара, при който има 6 еднакво възможни изхода. | Основна мярка на информацията в областта на теорията е ентропията, която обикновено се изразява с броя на битовете, необходими за съхранение и [[комуникация]]. Ентропията определя количеството на несигурност, като се натъква на дадена [[случайна величина]]. Например при хвърлянето на монета, при която има 2 еднакво възможни изхода, има много по-малко ентропия в сравнение с хвърлянето на зара, при който има 6 еднакво възможни изхода. | ||
Важна подобласт на теорията на информацията са източникът на кодиране, кодиране на канала, [[теория на алгоритмичната сложност]], [[теория на алгоритмичната информация]], информация, [[теорията на сигурността]] , както и мерките на информацията. | Важна подобласт на теорията на информацията са източникът на кодиране, кодиране на канала, [[теория на алгоритмичната сложност]], [[теория на алгоритмичната информация]], информация, [[теорията на сигурността]] , както и мерките на информацията. | ||
| + | |||
==Вижте още== | ==Вижте още== | ||
| − | *[[ | + | *[[Клод Шенън]] |
| − | *[[ | + | *[[Компютърна програма за шах на Шенън]] |
| − | *[[ | + | *[[Мишка на Шенън]] |
| − | *[[ | + | *[[Бит]] |
| − | *[[ | + | *[[Симулационен език]] |
| + | *[[Теория на кодиране]] | ||
==Източници== | ==Източници== | ||
Текуща версия към 13:23, 9 януари 2014
При условната ентропия сложната система обединява две зависими една от друга дискретни системи. Тогава се отчитат и условните вероятности за осъществяване на едни събития спрямо други, като получената при това ентропия се нарича условна. При определени условия ентропията се измерва в битове, NATS или забрани.
Същност
Условната ентропия е количество информация на символ при условна вероятност на поява на едни събития относно други. Условната вероятност отразява връзката между състояние bj на система B, при условие, че система A е в състояние ai.
- съвместна вероятност
- Ако H (Y | X=X) е ентропия на променливата Y в зависимост от променливата X, заемане на определена стойност на x, то H (Y |X) е резултат от средно H (Y |X=X) над всички възможни стойности на x, които X може да приеме.
H(Y | X) =
Правило на веригата
Ентропията може да бъде обусловена от една случайна величина или на тази случайна е определена дадена стойност. Основното свойство на тази ентропия е правилото на веригата. От определението за условна ентропия и определението за условна вероятност следва, че правилото за веригата е :
H(Y |X)=H(Y,X) - H(X)
Интуиция
Интуитивно, комбинираната система съдържа H(X,Y) бита информация: имаме нужда H(X,Y) бита информация за възпроизвеждане на точното му състояние. Ако научим стойността на X, които сме натрупали H(X) бита информация, а системата е H(Y|X) бита на несигурност в края на годината.
H(Y|X)=0 тогава и само тогава, когато стойността на Y се определя напълно от стойността на X. От друга страна, H(Y|X)=H(Y), ако и само ако Y и X са независими величини.
Информация и ентропия
Основна мярка на информацията в областта на теорията е ентропията, която обикновено се изразява с броя на битовете, необходими за съхранение и комуникация. Ентропията определя количеството на несигурност, като се натъква на дадена случайна величина. Например при хвърлянето на монета, при която има 2 еднакво възможни изхода, има много по-малко ентропия в сравнение с хвърлянето на зара, при който има 6 еднакво възможни изхода.
Важна подобласт на теорията на информацията са източникът на кодиране, кодиране на канала, теория на алгоритмичната сложност, теория на алгоритмичната информация, информация, теорията на сигурността , както и мерките на информацията.
Вижте още
- Клод Шенън
- Компютърна програма за шах на Шенън
- Мишка на Шенън
- Бит
- Симулационен език
- Теория на кодиране
Източници
- Информатика и икономика, 2003 Унив. изд. "Епископ Константин Преславски"
- Димитър Петров, Антон Палазов, Илко Ангелов Великов, Ваня Лазарова, Деко Б. Дановски, Бизнес информатика
- Емил Денчев, Информатика