Разлика между версии на „Условна ентропия“

Версия от 13:19, 9 януари 2014

Изображението показва графика на ентропия на древните символи.

Брой на символите (подредени по честота).

При условната ентропия сложната система обединява две зависими една от друга дискретни системи. Тогава се отчитат и условните вероятности за осъществяване на едни събития спрямо други, като получената при това ентропия се нарича условна. При определени условия ентропията се измерва в битове, NATS или забрани.

Същност

Условната ентропия е количество информация на символ при условна вероятност на поява на едни събития относно други. Условната вероятност отразява връзката между състояние bj на система B, при условие, че система A е в състояние ai.

съвместна вероятност
Ако H (Y | X=X) е ентропия на променливата Y в зависимост от променливата X, заемане на определена стойност на x, то H (Y |X) е резултат от средно H (Y |X=X) над всички възможни стойности на x, които X може да приеме.

H(Y | X) =

Правило на веригата

Ентропията може да бъде обусловена от една случайна величина или на тази случайна е определена дадена стойност. Основното свойство на тази ентропия е правилото на веригата. От определението за условна ентропия и определението за условна вероятност следва, че правилото за веригата е :

H(Y |X)=H(Y,X) - H(X)

Условна ентропия.

Интуицията

Интуитивно, комбинираната система съдържа H(X,Y) бита информация: имаме нужда H(X,Y) бита информация за възпроизвеждане на точното му състояние. Ако научим стойността на X, които сме натрупали H(X) бита информация, а системата е H(Y|X) бита на несигурност в края на годината.

H(Y|X)=0 тогава и само тогава, когато стойността на Y се определя напълно от стойността на X. От друга страна, H(Y|X)=H(Y), ако и само ако Y и X са независими величини.

Информацията и ентропията

Основна мярка на информацията в областта на теорията е ентропията, която обикновено се изразява с броя на битовете, необходими за съхранение и комуникация. Ентропията определя количеството на несигурност, като се натъква на дадена случайна величина. Например при хвърлянето на монета, при която има 2 еднакво възможни изхода, има много по-малко ентропия в сравнение с хвърлянето на зара, при който има 6 еднакво възможни изхода.

Важна подобласт на теорията на информацията са източникът на кодиране, кодиране на канала, теория на алгоритмичната сложност, теория на алгоритмичната информация, информация, теорията на сигурността , както и мерките на информацията.

Ентропия

Ентропия характеризира неопределеността на някаква задача или ситуация, т.е. количествена оценка за неопределеност. Ентропията е средното количество информация на едно съобщение. Нека са дадени N възможни съобщения, групирани в к вида. Съобщението от вида i (i=1...k) се повтаря Ni пъти и доставя информация, която се оценява количествено с Ii. Осредняването може да се извърши, като се използва зависимостта

. (3)

Като се използва, че

, i=1…k, следва

Честотата на повторенията на отделните съобщения е

Следователно

e ентропия по Шенън. Размерността на ентропията е bit. Ентропията може да се разглежда, като функция на времето, т.е. H(t), т.е. променя се във времето (при разпознаване на образи). Свойства на ентропията: От самата постановка на гореизложената задача се вижда, че

=1.

Ако едно от събитията е достоверно, ентропията е равна на 0: Pj= 1,

, H = 0.

При равновероятни събития ентропията има максимална стойност:

Koгато събитията са с различна вероятност и сред тях няма достоверно събитие, ентропията е по- голяма от 0 и по-малка от максималната стойност:

, 0< Hmax.

Дискретните съобщения, използвани в практиката, са с понижена ентропия по следните причини:

символите са с различна вероятност за поява;
съществува корелационна връзка между тях; например често пъти една буква се появява точно след друга и т.н.

Вижте още

Източници

Информатика и икономика, 2003 Унив. изд. "Епископ Константин Преславски"
Димитър Петров, Антон Палазов, Илко Ангелов Великов, Ваня Лазарова, Деко Б. Дановски, Бизнес информатика
Емил Денчев, Информатика

Външни препратки

@@ Ред 1: / Ред 1: @@
-При '''условната ентропия''' сложната система '''обединява две зависими една от друга дискретни системи'''. Тогава се отчитат и условните вероятности за осъществяване на едни събития спрямо други, като получената при това ентропия се нарича условна. При определени условия ентропията се измерва в [[бит]]ове, ''NATS'' или забрани. [[Image:RaoFig1.jpg|thumb|right|alt= Изображението показва графика на ентропия на древните символи.| Брой на символите (подредени по честота).]]
+[[Image:RaoFig1.jpg|thumb|300px|right|alt= Изображението показва графика на ентропия на древните символи.| Брой на символите (подредени по честота).]]
-==Определение==
+При '''условната ентропия''' сложната система '''обединява две зависими една от друга дискретни системи'''. Тогава се отчитат и условните вероятности за осъществяване на едни събития спрямо други, като получената при това ентропия се нарича условна. При определени условия ентропията се измерва в [[бит]]ове, ''NATS'' или забрани.
+==Същност==
 Условната ентропия е количество информация на [[символ]] при условна [[вероятност]] на поява на едни събития относно други. Условната вероятност отразява връзката между състояние'' bj'' на система B, при условие, че система A е в състояние ''ai''.
 * съвместна вероятност
 * Ако ''H (Y | X=X)'' е ентропия на променливата ''Y'' в зависимост от променливата ''X'', заемане на определена стойност на ''x'', то ''H (Y |X)'' е резултат от средно ''H (Y |X=X)'' над всички възможни стойности на ''x'', които ''X'' може да приеме.
 ''H(Y | X) = ''
 ==Правило на веригата==
@@ Ред 25: / Ред 23: @@
 ''H(Y|X)=0'' тогава и само тогава, когато стойността на ''Y'' се определя напълно от стойността на ''X''. От друга страна, ''H(Y|X)=H(Y)'', ако и само ако ''Y'' и ''X'' са [[независими величини]].
-==Теория на квантовата информация==
+===Информацията и ентропията===
-В информацията, квантовата теория, при определени условия ентропията е синтезирано в условната [[квантова теория]]. В квантовата механика, [[квантовата информация]] е физическа информация, която се провежда в състояние на квантовата система. Квантовата информация се различава от класическата информация в няколко насоки:
-* Не може да се чете без състоянието да се уеднакви с измерената стойност;
-* Произволните състояние не могат да бъдат клонирани;
-* Състоянието  може да е в суперпозиция на база ценности.
-Една от силните страни на класическата теория на квантовата теория на информацията е, че физическото представяне на информацията  може да се пренебрегне. Винаги е възможно информацията ефективно да се трансформира от един носител на друг.
-==Теория на информацията==
-*Определение
-[[Теорията на информацията]] е клон на [[приложната математика]] и  [[електротехниката]], включващи количественото определяне на информацията. Тази теория е изработена от [[Клод Шенън]], който намира основните ограничения за обработка на сигналите на операциите, като компресира информацията за надеждно съхраняване и съобщаване на [[анализ на данните|данни]]те. Теорията намира приложение и в много други области, като [[статистически извод]], обработка на естествен език, [[криптография]], [[невробиология]], квантови системи, за откриване на [[плагиатство]] и други форми на [[анализ на данните|анализ на данни]]те.
-===Връзка с ентропията===
 Основна мярка на информацията в областта на теорията е ентропията, която обикновено се изразява с броя на битовете, необходими за съхранение и [[комуникация]]. Ентропията определя количеството  на несигурност, като се натъква на дадена [[случайна величина]]. Например при хвърлянето на монета, при която има 2 еднакво възможни изхода, има много по-малко ентропия в сравнение с хвърлянето на зара, при който има 6 еднакво възможни изхода.