Условна ентропия - Редакционна история

Detelina Staneva: /* Информация и ентропия */

2014-01-09T10:23:32Z

Информация и ентропия

Detelina Staneva в 10:23, 9 януари 2014

2014-01-09T10:23:12Z

Detelina Staneva: /* Правило на веригата */

2014-01-09T10:21:35Z

Правило на веригата

Detelina Staneva: /* Ентропия */

2014-01-09T10:21:07Z

Ентропия

Detelina Staneva в 10:19, 9 януари 2014

2014-01-09T10:19:58Z

Detelina Staneva в 07:32, 9 януари 2014

2014-01-09T07:32:22Z

Detelina Staneva в 19:45, 13 ноември 2012

2012-11-13T19:45:37Z

Detelina Staneva: /* Теория на информацията */

2012-06-18T17:47:22Z

Теория на информацията

Detelina Staneva: /* Теория на информацията */

2012-06-18T17:47:10Z

Теория на информацията

Detelina Staneva в 17:45, 18 юни 2012

2012-06-18T17:45:44Z

@@ Ред 23: / Ред 23: @@
 ''H(Y|X)=0'' тогава и само тогава, когато стойността на ''Y'' се определя напълно от стойността на ''X''. От друга страна, ''H(Y|X)=H(Y)'', ако и само ако ''Y'' и ''X'' са [[независими величини]].
-===Информация и ентропия===
+==Информация и ентропия==
 Основна мярка на информацията в областта на теорията е ентропията, която обикновено се изразява с броя на битовете, необходими за съхранение и [[комуникация]]. Ентропията определя количеството  на несигурност, като се натъква на дадена [[случайна величина]]. Например при хвърлянето на монета, при която има 2 еднакво възможни изхода, има много по-малко ентропия в сравнение с хвърлянето на зара, при който има 6 еднакво възможни изхода.
 Важна подобласт на теорията на информацията са източникът на кодиране, кодиране на канала, [[теория на алгоритмичната сложност]], [[теория на алгоритмичната информация]], информация, [[теорията на сигурността]] , както и мерките на информацията.
 ==Вижте още==

@@ Ред 17: / Ред 17: @@
 ''H(Y |X)=H(Y,X) - H(X)''
-==Интуицията==
+==Интуиция==
 Интуитивно, комбинираната [[система]] съдържа ''H(X,Y)'' бита информация: имаме нужда ''H(X,Y)'' бита [[информация]] за възпроизвеждане на точното му [[състояние]]. Ако научим стойността на ''X'', които сме натрупали ''H(X)'' бита информация, а системата е ''H(Y|X)'' бита на несигурност в края на годината.
@@ Ред 23: / Ред 23: @@
 ''H(Y|X)=0'' тогава и само тогава, когато стойността на ''Y'' се определя напълно от стойността на ''X''. От друга страна, ''H(Y|X)=H(Y)'', ако и само ако ''Y'' и ''X'' са [[независими величини]].
-===Информацията и ентропията===
+===Информация и ентропия===
 Основна мярка на информацията в областта на теорията е ентропията, която обикновено се изразява с броя на битовете, необходими за съхранение и [[комуникация]]. Ентропията определя количеството  на несигурност, като се натъква на дадена [[случайна величина]]. Например при хвърлянето на монета, при която има 2 еднакво възможни изхода, има много по-малко ентропия в сравнение с хвърлянето на зара, при който има 6 еднакво възможни изхода.
@@ Ред 30: / Ред 30: @@
 ==Вижте още==
-*[[Система]]
+*[[Клод Шенън]]
-*[[Интеграл]]
+*[[Компютърна програма за шах на Шенън]]
-*[[Интервал]]
+*[[Мишка на Шенън]]
-*[[Граница на функция]]
+*[[Бит]]
-*[[Интерфейс]]
+*[[Симулационен език]]
 ==Източници==

@@ Ред 10: / Ред 10: @@
 ''H(Y | X) = ''
 ==Правило на веригата==
 Ентропията може да бъде обусловена от една [[случайна величина]] или на тази случайна е определена дадена стойност. Основното свойство на тази ентропия е правилото на веригата. От определението за условна ентропия и определението за условна вероятност следва, че правилото за веригата е :
 ''H(Y |X)=H(Y,X) - H(X)''
 ==Интуицията==

← По-стара версия		Версия от 10:21, 9 януари 2014
Ред 28:		Ред 28:

	Важна подобласт на теорията на информацията са източникът на кодиране, кодиране на канала, [[теория на алгоритмичната сложност]], [[теория на алгоритмичната информация]], информация, [[теорията на сигурността]] , както и мерките на информацията.		Важна подобласт на теорията на информацията са източникът на кодиране, кодиране на канала, [[теория на алгоритмичната сложност]], [[теория на алгоритмичната информация]], информация, [[теорията на сигурността]] , както и мерките на информацията.
−	~~==Ентропия ==~~
−
−
−
−	[[Ентропия]] характеризира неопределеността на някаква задача или ситуация, т.е. количествена оценка за неопределеност. Ентропията е средното количество информация на едно съобщение. Нека са дадени N възможни съобщения, групирани в к вида. Съобщението от вида i (i=1...k) се повтаря Ni пъти и доставя информация, която се оценява количествено с Ii. Осредняването може да се извърши, като се използва [[зависимост]]та
−
−	~~[[File:teoriqnainformaciqta20.png\|300px]] . (3)~~
−
−
−
−	~~Като се използва, че~~
−
−	~~[[File:teoriqnainformaciqta21.png\|100px]] , i=1…k, следва~~
−
−
−
−	~~[[File:teoriqnainformaciqta22.png\|400px]]~~
−
−
−
−	~~[[File:teoriqnainformaciqta23.png\|400px]]~~
−
−
−
−	~~[[Честота]]та на повторенията на отделните съобщения е~~
−
−	~~[[File:teoriqnainformaciqta24.png\|80px]]~~
−
−
−
−	~~Следователно~~
−
−	~~[[File:teoriqnainformaciqta25.png\|200px]]~~
−
−
−
−	e ентропия по [[Шенън]]. Размерността на ентропията е bit. Ентропията може да се разглежда, като [[функция]] на времето, т.е. H(t), т.е. променя се във времето (при разпознаване на образи). Свойства на ентропията: От самата постановка на гореизложената задача се вижда, че
−
−	~~[[File:teoriqnainformaciqta26.png\|40px]] =1.~~
−
−
−
−	~~Ако едно от събитията е достоверно, ентропията е равна на 0: Pj= 1,~~
−
−	~~[[File:teoriqnainformaciqta27.png\|300px]] , H = 0.~~
−
−
−
−	~~При равновероятни събития ентропията има максимална стойност:~~
−
−	~~[[File:teoriqnainformaciqta28.png\|200px]]~~
−
−
−	~~[[File:teoriqnainformaciqta29.png\|80px]]~~
−
−
−	Koгато събитията са с различна вероятност и сред тях няма достоверно събитие, ентропията е по- голяма от 0 и по-малка от максималната стойност:
−
−	~~[[File:teoriqnainformaciqta30.png\|100px]] , 0< Hmax.~~
−
−	~~Дискретните съобщения, използвани в практиката, са с понижена ентропия по следните причини:~~
−
−	* символите са с различна вероятност за поява;
−	* съществува [[корелация\|корелационна]] връзка между тях; например често пъти една буква се появява точно след друга и т.н.
−
	==Вижте още==		==Вижте още==

@@ Ред 1: / Ред 1: @@
-При '''условната ентропия''' сложната система '''обединява две зависими една от друга дискретни системи'''. Тогава се отчитат и условните вероятности за осъществяване на едни събития спрямо други, като получената при това ентропия се нарича условна. При определени условия ентропията се измерва в [[бит]]ове, ''NATS'' или забрани. [[Image:RaoFig1.jpg|thumb|right|alt= Изображението показва графика на ентропия на древните символи.| Брой на символите (подредени по честота).]]
+[[Image:RaoFig1.jpg|thumb|300px|right|alt= Изображението показва графика на ентропия на древните символи.| Брой на символите (подредени по честота).]]
-==Определение==
+При '''условната ентропия''' сложната система '''обединява две зависими една от друга дискретни системи'''. Тогава се отчитат и условните вероятности за осъществяване на едни събития спрямо други, като получената при това ентропия се нарича условна. При определени условия ентропията се измерва в [[бит]]ове, ''NATS'' или забрани.
 Условната ентропия е количество информация на [[символ]] при условна [[вероятност]] на поява на едни събития относно други. Условната вероятност отразява връзката между състояние'' bj'' на система B, при условие, че система A е в състояние ''ai''.
 * съвместна вероятност
 * Ако ''H (Y | X=X)'' е ентропия на променливата ''Y'' в зависимост от променливата ''X'', заемане на определена стойност на ''x'', то ''H (Y |X)'' е резултат от средно ''H (Y |X=X)'' над всички възможни стойности на ''x'', които ''X'' може да приеме.
 ''H(Y | X) = ''
 ==Правило на веригата==
@@ Ред 25: / Ред 23: @@
 ''H(Y|X)=0'' тогава и само тогава, когато стойността на ''Y'' се определя напълно от стойността на ''X''. От друга страна, ''H(Y|X)=H(Y)'', ако и само ако ''Y'' и ''X'' са [[независими величини]].
-==Теория на квантовата информация==
+===Информацията и ентропията===
 Основна мярка на информацията в областта на теорията е ентропията, която обикновено се изразява с броя на битовете, необходими за съхранение и [[комуникация]]. Ентропията определя количеството  на несигурност, като се натъква на дадена [[случайна величина]]. Например при хвърлянето на монета, при която има 2 еднакво възможни изхода, има много по-малко ентропия в сравнение с хвърлянето на зара, при който има 6 еднакво възможни изхода.

← По-стара версия		Версия от 07:32, 9 януари 2014
Ред 46:		Ред 46:

	Важна подобласт на теорията на информацията са източникът на кодиране, кодиране на канала, [[теория на алгоритмичната сложност]], [[теория на алгоритмичната информация]], информация, [[теорията на сигурността]] , както и мерките на информацията.		Важна подобласт на теорията на информацията са източникът на кодиране, кодиране на канала, [[теория на алгоритмичната сложност]], [[теория на алгоритмичната информация]], информация, [[теорията на сигурността]] , както и мерките на информацията.
		+	==Ентропия ==
		+
		+
		+
		+	[[Ентропия]] характеризира неопределеността на някаква задача или ситуация, т.е. количествена оценка за неопределеност. Ентропията е средното количество информация на едно съобщение. Нека са дадени N възможни съобщения, групирани в к вида. Съобщението от вида i (i=1...k) се повтаря Ni пъти и доставя информация, която се оценява количествено с Ii. Осредняването може да се извърши, като се използва [[зависимост]]та
		+
		+	[[File:teoriqnainformaciqta20.png\|300px]] . (3)
		+
		+
		+
		+	Като се използва, че
		+
		+	[[File:teoriqnainformaciqta21.png\|100px]] , i=1…k, следва
		+
		+
		+
		+	[[File:teoriqnainformaciqta22.png\|400px]]
		+
		+
		+
		+	[[File:teoriqnainformaciqta23.png\|400px]]
		+
		+
		+
		+	[[Честота]]та на повторенията на отделните съобщения е
		+
		+	[[File:teoriqnainformaciqta24.png\|80px]]
		+
		+
		+
		+	Следователно
		+
		+	[[File:teoriqnainformaciqta25.png\|200px]]
		+
		+
		+
		+	e ентропия по [[Шенън]]. Размерността на ентропията е bit. Ентропията може да се разглежда, като [[функция]] на времето, т.е. H(t), т.е. променя се във времето (при разпознаване на образи). Свойства на ентропията: От самата постановка на гореизложената задача се вижда, че
		+
		+	[[File:teoriqnainformaciqta26.png\|40px]] =1.
		+
		+
		+
		+	Ако едно от събитията е достоверно, ентропията е равна на 0: Pj= 1,
		+
		+	[[File:teoriqnainformaciqta27.png\|300px]] , H = 0.
		+
		+
		+
		+	При равновероятни събития ентропията има максимална стойност:
		+
		+	[[File:teoriqnainformaciqta28.png\|200px]]
		+
		+
		+	[[File:teoriqnainformaciqta29.png\|80px]]
		+
		+
		+	Koгато събитията са с различна вероятност и сред тях няма достоверно събитие, ентропията е по- голяма от 0 и по-малка от максималната стойност:
		+
		+	[[File:teoriqnainformaciqta30.png\|100px]] , 0< Hmax.
		+
		+	Дискретните съобщения, използвани в практиката, са с понижена ентропия по следните причини:
		+
		+	* символите са с различна вероятност за поява;
		+	* съществува [[корелация\|корелационна]] връзка между тях; например често пъти една буква се появява точно след друга и т.н.

	==Вижте още==		==Вижте още==

@@ Ред 39: / Ред 39: @@
 *Определение
-[[Теорията на информацията]] е клон на [[приложната математика]] и  [[електротехниката]], включващи количественото определяне на информацията. Тази теория е изработена от [[Клод Шенън]], който намира основните ограничения за обработка на сигналите на операциите, като компресира информацията за надеждно съхраняване и съобщаване на [[данни]]те. Теорията намира приложение и в много други области, като [[статистически извод]], обработка на естествен език, [[криптография]], [[невробиология]], квантови системи, за откриване на [[плагиатство]] и други форми на [[анализ на данните|анализ на данни]]те.
+[[Теорията на информацията]] е клон на [[приложната математика]] и  [[електротехниката]], включващи количественото определяне на информацията. Тази теория е изработена от [[Клод Шенън]], който намира основните ограничения за обработка на сигналите на операциите, като компресира информацията за надеждно съхраняване и съобщаване на [[анализ на данните|данни]]те. Теорията намира приложение и в много други области, като [[статистически извод]], обработка на естествен език, [[криптография]], [[невробиология]], квантови системи, за откриване на [[плагиатство]] и други форми на [[анализ на данните|анализ на данни]]те.
 ===Връзка с ентропията===