|
|
| (Не са показани 27 междинни версии от същия потребител) |
| Ред 1: |
Ред 1: |
| − | '''Бейсовата вероятност''' е една от '''типичните представители на [[теория]]та на вероятностите''' за изчисляване степента на определеност на твърденията.Правилото на Бейс се базира на понятието условна вероятност.Нека са дадени твърденията(събитията) Н и Е. Условната вероятност на Н е просто вероятността на, че Н ще се случи, ако е станало Е. | + | [[Image:thomas_bayes_1.jpg|thumb|right|alt=Thomas Bayes.|Томас Бейс]] |
| | + | '''Бейсовата вероятност''' е една от '''типичните представители на теорията на [[вероятност]]ите''' за изчисляване степента на определеност на твърденията. |
| | + | |
| | + | ==Същност== |
| | + | Правилото на Бейс се базира на понятието условна вероятност.Нека са дадени твърденията(събитията) Н и Е. Условната вероятност на Н е просто вероятността на, че Н ще се случи, ако е станало Е. |
| | | | |
| | Отправна точка в съвременната Бейс теория на вероятностите е, че вероятността се интерпретира като степен на вяра. [[Ричард Кокс]] показва някой много общи изисквания за смятане в правилата на теорията на [[вероятност]]ите. Решението също води до едни и същи правила с една и съща [[интерпретация]]. | | Отправна точка в съвременната Бейс теория на вероятностите е, че вероятността се интерпретира като степен на вяра. [[Ричард Кокс]] показва някой много общи изисквания за смятане в правилата на теорията на [[вероятност]]ите. Решението също води до едни и същи правила с една и съща [[интерпретация]]. |
| | | | |
| − | Вярванията винаги са [[субективност|субективни]] и поради това всички вероятности, включени в Бейс теорията на вероятностите, са условни. По-специално, при тълкуването на вероятностите вярванията в [[решение]]то и точния резултат не са цел, а [[резултат]] на някои физически интерпретации и зависят от предварително предположената на система за обучение. Понякога вероятността може да се приравни грубо с [[емпирични]]те честоти, но това може да се разглежда като специален случай на вероятното тълкуване, както се вижда от методите на Кокс. | + | Вярванията винаги са [[субективност|субективни]] и поради това всички вероятности, включени в Бейс теорията на вероятностите, са условни. По-специално, при тълкуването на вероятностите вярванията в [[решение]]то и точния резултат не са цел, а [[резултат]] на някои физически интерпретации и зависят от предварително предположената на система за обучение. Понякога вероятността може да се приравни грубо с емпиричните честоти, но това може да се разглежда като специален случай на вероятното тълкуване, както се вижда от методите на Кокс. |
| − | | |
| − | | |
| − | | |
| − | ==Бейс методология ==
| |
| − | | |
| − | Като цяло, Бейс метода се характеризира със следните [[понятия]] и процедури:
| |
| − | | |
| − | •Използването на [[йерархия|йерархични]] модели и [[маргинализация]] над стойностите на противообществените прояви [[параметри]] . Марков веригата Монте Карло
| |
| − | | |
| − | • Поредният използване на Бейс "формула: когато повече не са налични данни, след изчисляване на задната [[дистрибуция]], задната става на следващия преди.
| |
| − | | |
| − | •В [[обикновената статистика]], една хипотеза е твърдение (което трябва да бъде или истина или лъжа ), така че (frequentist) вероятността за обикновена [[хипотеза]] е, едно или нула. В Бейс статистиката, една вероятност може да се причисли към една хипотеза
| |
| − | | |
| − | ==История==
| |
| − | | |
| − | Терминът се отнася до Бейс Томас Бейс (1702-1761), който се оказва виновника за това, което сега се нарича "[[теорема]]та на Бейс . Въпреки това, [[първоизточник]]а е [[Пиер-Симон Лаплас]] (1749-1827), който въвежда обща версия на теоремата и я използва за подход при проблемите в небесната механика , медицинска статистика, надеждността , както и съдебната практика . Изводът на Бейс, се нарича "обратна вероятност "(тъй като той прави извод назад от наблюдения на параметрите, свързани с [[последствия]]та ). След 1920 година, "обратната вероятност" до голяма степен измества останалите [[метод]]и и започва да се нарича обикновена (frenquentist) [[статистика]] .
| |
| − | | |
| − | През 20-ти век, идеите на Лаплас са доразвити в две различни посоки, което води до обективни и субективни течения в Бейс практиката. В обективния поток на статистическия анализ зависимостта е от самия модел и анализираните данни. Никакви субективни решения не трябва да бъдат включвани. За разлика от "subjectivist" (субективистите), статистиците отричат съществуването на изцяло обективен [[анализ]] за общия случай.
| |
| − | | |
| − | През 1980 г. има значително нарастване на научните изследвания и приложения на Бейс, което се дължи най-вече на откриването на веригата от [[Монте Карло]] методи, с която се премахват много от изчислителните проблеми и интересът към нестандартните, сложни приложения става все по-голям. Въпреки растежа на популярността на Бейс [[изследвания]]та,при повечето студенти обучението е все още на базата на стандартната статистика. Независимо от това, Бейс методите са широко признати и използвани( например в областта на машинното обучение).
| |
| − | | |
| − | | |
| − | | |
| − | ===Обосновка на Бейс вероятностите ===
| |
| − | | |
| − | | |
| − | | |
| − | The use of Bayesian probabilities as the basis of [http://translate.googleusercontent.com/translate_c?hl=bg&langpair=en|bg&u=http://en.wikipedia.org/wiki/Bayesian_inference&rurl=translate.google.bg&usg=ALkJrhj_nBtlw68fr-i5Qd2nWdddFqDv_g Bayesian inference] has been supported by several arguments, such as the [http://translate.googleusercontent.com/translate_c?hl=bg&langpair=en|bg&u=http://en.wikipedia.org/wiki/Cox's_theorem&rurl=translate.google.bg&usg=ALkJrhhLZYVuNLDgwAq7wrV8i96YEN4w8w Cox axioms] , the [http://translate.googleusercontent.com/translate_c?hl=bg&langpair=en|bg&u=http://en.wikipedia.org/wiki/Dutch_book&rurl=translate.google.bg&usg=ALkJrhiAXMyZvkCg6h5rh0eMfnk5mdfY6g Dutch book argument] , arguments based on [http://translate.googleusercontent.com/translate_c?hl=bg&langpair=en|bg&u=http://en.wikipedia.org/wiki/Decision_theory&rurl=translate.google.bg&usg=ALkJrhjtGWagNhDF9OBV_ffX-2FW_9NiWg decision theory] and [http://translate.googleusercontent.com/translate_c?hl=bg&langpair=en|bg&u=http://en.wikipedia.org/wiki/De_Finetti's_theorem&rurl=translate.google.bg&usg=ALkJrhi4G9BEjTuV9RmipfydzKx2WKtrCg de Finetti's theorem] . Използването на Бейс вероятностите се основава на аргументацията на няколко други подхода.
| |
| − | | |
| − | ===Аксиоматичен подход ===
| |
| − | | |
| − | Ричард У. Кокс показва, че Бейс актуализирането се дължи на няколко [[аксиома|аксиоми]], включително две функционални уравнения и противоречиви [[хипотеза|хипотези]], че вероятността трябва да се разглежда като непрекъсната [[функция]]. Тук "приемственост" е еквивалентно на изброима [[адитивност]].
| |
| − | | |
| − | === Холандски подход ===
| |
| − | | |
| − | Холандският [[аргумент]] е предложен от [[Де Финети]] и се основава на залагане. Холандската аргументация поставя своята теория,при положение на която един умен комарджия прави набор от залози, които гарантират печалба независимо от [[резултат]]а на залозите. Ако [[букмейкър]] следва правилата на Бейс, ще удари на камък и Холандския подход няма да бъде възможен. Въпреки това, [[Иян Хакинг]] отбелязва, че традиционните холандски аргументи не са уточнени при Бейс методите.
| |
| − | | |
| − | ===Примери===
| |
| − | | |
| − | Този раздел дава някои примери за приложения на Бейс теорията на вероятностите:
| |
| − | | |
| − | (Параметър) приблизителна оценка.
| |
| − | | |
| − | * Полицейски скоростен радар.
| |
| − | | |
| − | * Предвиждане на траекторията на някои небесни тела.
| |
| − | | |
| − | * Управление на космически кораби на Юпитер.
| |
| − | | |
| − | * Модел на съвпадение / Хипотеза за тестване.
| |
| − | | |
| − | * Oткриване на тумор в сканиране на изображението.
| |
| − | | |
| − | * Oткриване на генни последователности.
| |
| − | | |
| − | * Rазпознаване на реч.
| |
| − | | |
| − | * Модел на сграда.
| |
| − | | |
| − | * Привеждане.
| |
| − | | |
| − | * Самостоятелна навигация на робот.
| |
| − | | |
| − | | |
| − | | |
| − | ==Аргументация чрез „Теоремата на Бейс”==
| |
| − | | |
| − | | |
| | | | |
| − | Бейсов подход: дадени вероятности се изчисляват на основата на предходни [[събитие|събития]] и техните вероятности. Смисълът на Бейсовия подход е в разглеждането на неизвестния [[параметър]] като с някаква (известна или не) плътност ''q''(''s'') на разпределение по отношение на мярката m (на Лебег или някаква вероятност). Плътността ''q'' наричаме [[''априорна'']], т.е. зададена до експеримента. В Бейсовия подход се предполага, че в момента на провеждане на експермента параметъра q се избира случайно съгласно тази [[плътност]]. Така, когато е известно семейството на плътности на разпределение
| + | ==Подход== |
| − | | |
| − | | |
| − | | |
| − | ''p''(''x'',''t'')
| |
| − | | |
| − | | |
| − | | |
| − | относно l, получаваме съвместно разпределение за извадката и параметъра –
| |
| − | | |
| − | | |
| − | | |
| − | f(x,t)=p(x,t)q(t)
| |
| − | | |
| − | | |
| − | | |
| − | ===Теорема на Бейс:=== | |
| − | | |
| − | | |
| − | | |
| − | Когато един агент разсъждава при несигурни знания, разумно е да се модифицира вярата на агента при наличие на нови наблюдения. Това означава, че новопостъпилите [[наблюдения]] трябва да се присъединят към съществуващите, да се формира ново множество от наблюдения, които да бъдат отразени в мярата за убеденост на агента. Теоремата на Бейс специфицира именно „как да се модифицира вярата на агент, на основата на нови наблюдения”. Тя служи за основа на т.н. вероятностни мрежи.
| |
| − | | |
| − | Нека P(X/K) е текущата вяра на агента за [[съждение]]то X, основана на наблюдение K и нека той извършва ново наблюдение E. Агентът сега се интересува каква е вероятността P(X|E^K). Теоремата на Бейс твърди:
| |
| − | | |
| − | [[File:beisova_veroqtnost.jpg]]
| |
| − | | |
| − | | |
| − | | |
| − | ===Същност на бейсовия подход===
| |
| − | | |
| − | Щом за наблюдаваните данни се приема, че са [[генерирани]] от някакъв вероятностен механизъм, а неизвестният [[параметър]] (параметри) на модела се третира като случайна [[величина]] поради използването на субективна вероятност, то за наличната [[извадка]]
| |
| | | | |
| | + | Щом за наблюдаваните данни се приема, че са [[генериране|генерирани]] от някакъв вероятностен механизъм, а неизвестният [[параметър]] (параметри) на модела се третира като случайна [[величина]] поради използването на субективна вероятност, то за наличната [[извадка]] |
| | | | |
| | x = (x1,...,xn) | | x = (x1,...,xn) |
| | | | |
| − | | + | и за параметрите може да се разглежда съвместна функция на разпределение или, при допускането за [[абсолютна]] непрекъснатост, съвместна [[плътност]]. В нашия случай може да се разглежда съвместната плътност на x и µ f(x,µ). Тази [[постановка]] позволява да формализираме във вероятностни термини идеята за несигурността по отношение на стойностите на оценявания параметър, но не преодолява невъзможността да се възпроизвеждат данните от [[експеримент]]а. Понеже повечето от практически интересните ситуации се занимават със случая, в който извадката x е фиксирана и е трудно или невъзможно да се получат още данни, релевантният обект за изследване е всъщност условната плътност на параметъра при условие наблюдаваните данни f(µ|x). Последната може да бъде получена с прилагане на формулата на Бейс във варианта ´и за плътности на [[разпределение|разпределения]] на случайни величини |
| − | и за параметрите може да се разглежда съвместна функция на разпределение или, при допускането за [[абсолютна]] непрекъснатост, съвместна [[плътност]]. В нашия случай може да се разглежда съвместната плътност на x и µ f(x,µ). Тази [[постановка]] позволява да формализираме във вероятностни термини идеята за несигурността по отношение на стойностите на оценявания параметър, но не преодолява невъзможността да се възпроизвеждат данните от [[експеримент]]а. Понеже повечето от практически интересните ситуации се занимават със случая, в който извадката x е фиксирана и е трудно или невъзможно да се получат още данни, релевантният обект за изследване е всъщност условната плътност на параметъра при условие наблюдаваните данни f(µ|x). Последната може да бъде получена с прилагане на формулата на Бейс във варианта ´и за плътности на [[разпределения]] на случайни величини | |
| − | | |
| − | | |
| | | | |
| | (µ|x) =f(x,µ)f(x)=f(x|µ)f(µ)f(x) | | (µ|x) =f(x,µ)f(x)=f(x|µ)f(µ)f(x) |
| − |
| |
| − |
| |
| − |
| |
| − |
| |
| | | | |
| | При зададена [[извадка]] x стойността на плътността f(x) се превръща в известно число и съответно не влияе върху [[анализ]]а на µ, а само скалира другите членове в последното равенство. Тогава формулатa може да бъде записана като: | | При зададена [[извадка]] x стойността на плътността f(x) се превръща в известно число и съответно не влияе върху [[анализ]]а на µ, а само скалира другите членове в последното равенство. Тогава формулатa може да бъде записана като: |
| − |
| |
| − |
| |
| | | | |
| | f(µ|x) ∝ f(x|µ)f(µ), | | f(µ|x) ∝ f(x|µ)f(µ), |
| − |
| |
| − |
| |
| | | | |
| | където ∝ е знак за [[пропорционалност]]. | | където ∝ е знак за [[пропорционалност]]. |
| | | | |
| | + | Този запис на формулата на Бейс съдържа ключовите елементи за анализа. Членът f(x|µ) е добре познатата ни функция на правдоподобие, която в разглеждания от нас пример се задава с първата [[формула]] която въведохме. Членът f(µ) се нарича ''[[априорна плътност]] ''на параметъра µ. Априорната плътност съдържа предварителната (преди провеждане на експеримента) [[информация]] за стойнoстите на параметъра µ. |
| | | | |
| | + | Тази информация може да отразява чисто субективни убеждения (подобно на дадените по-горе примери), но може да бъде формирана например и на база теоретични резултати или информация от подобни експерименти, които са били провеждани в миналото. Условната плътност f(µ|x) се нарича ''апостериорно разпределение ''на µ. [[Апостериорно разпределение|Апостериорното разпределение]] посредством формулата на Бейс обединява експерименталната и неексперименталната информация за стойностите на параметъра µ и именно оттам са влезли в употреба понятия като „Бейсов анализ” и „Бейсова статистика”. |
| | | | |
| − | Този запис на формулата на Бейс съдържа [[ключови]]те елементи за анализа. Членът f(x|µ) е добре познатата ни функция на правдоподобие, която в разглеждания от нас пример се задава с първата [[формула]] която въведохме. Членът f(µ) се нарича ''[[априорна плътност]] ''на параметъра µ. Априорната плътност съдържа предварителната (преди провеждане на експеримента) [[информация]] за стойнoстите на параметъра µ. Тази информация може да отразява чисто субективни убеждения (подобно на дадените по-горе примери), но може да бъде формирана например и на база теоретични резултати или информация от подобни експерименти, които са били провеждани в миналото. Условната плътност f(µ|x) се нарича ''апостериорно разпределение ''на µ. [[Апостериорно разпределение|Апостериорното разпределение]] посредством формулата на Бейс обединява експерименталната и неексперименталната информация за стойностите на параметъра µ и именно оттам са влезли в употреба понятия като „Бейсов анализ” и „Бейсова статистика”. Изразът в (3) отдясно на знака за пропорционалност понякога се нарича ''ядро ''на апостериорната плътност. Ясно е, че горните принципи остават в сила и за многомерния случай. Последната формула може да се разглежда като формален [[механизъм]] за ревизиране на някаква [[извънекспериментална]] информация с помощта на емпирични данни. [[Алтернативно]] тя може да бъде интерпретирана и като начин в емпиричния статистически анализ да бъде вкарана допълнителна информация като [[теория|теоретични]] резултати или експертен опит. И в двата случая основен проблем е как наличната информация да бъде [[кодиран]]a с помощта на априорната плътност. За това съществуват различни варианти, по-сложните от които например са базирани на итеративни сесии с групи от експерти, чиито мнения последователно се [[ревизират]] и обобщават. В най-стандартния случай се действа по-просто, като се избира клас разпределения според типа [[параметър]] (например нормално за параметър без [[ограничения]], гама за положителен параметър, бета за параметър между 0 и 1 и т.н.) и от този клас се избира представител с необходимите [[характеристикa|характеристики]] (например подходяща средна, която да отразява стойността на параметъра, считана от нас за най-достоверна, и подходяща дисперсия, която да отразява несигурността ни за достоверността на нашата преценка).
| + | Изразът в (3) отдясно на знака за пропорционалност понякога се нарича ''ядро ''на апостериорната плътност. Ясно е, че горните принципи остават в сила и за многомерния случай. Последната формула може да се разглежда като формален [[механизъм]] за ревизиране на някаква [[извънекспериментална информация]] с помощта на емпирични данни. |
| | | | |
| − | ==Бейсов анализ при повече от една извадка с данни==
| + | [[алтернатива|Алтернативно]] тя може да бъде интерпретирана и като начин в емпиричния статистически анализ да бъде вкарана допълнителна информация като [[теория|теоретични]] резултати или експертен опит. И в двата случая основен проблем е как наличната информация да бъде [[код]]иранa с помощта на априорната плътност. |
| | | | |
| − | Теоремата на Бейс може да се използва и за последователно актуализиране на [[разполагаемата информация]] при получаване на нови извадки с данни. Ако от първоначалния експеримент сме имали извадка x1 и априорна плътност f(µ), то апостериорната плътност е
| + | Затова съществуват различни варианти, по-сложните от които например са базирани на итеративни сесии с групи от експерти, чиито мнения последователно се [[ревизия|ревизират]] и обобщават. В най-стандартния случай се действа по-просто, като се избира клас разпределения според типа [[параметър]] (например нормално за параметър без [[ограничение|ограничения]], гама за положителен параметър, бета за параметър между 0 и 1 и т.н.) и от този клас се избира представител с необходимите [[характеристикa|характеристики]] (например подходяща средна, която да отразява стойността на параметъра, считана от нас за най-достоверна, и подходяща дисперсия, която да отразява несигурността ни за достоверността на нашата преценка). |
| | | | |
| | + | ==История== |
| | | | |
| | + | Откривател на Бейсовата верочтност е [[Пиер Симон Лаплас]] (1749-1827), който въвежда обща версия на теоремата и я използва за подход при проблемите в небесната механика , медицинска статистика, надеждността , както и съдебната практика . Изводът на Бейс, се нарича "обратна вероятност "(тъй като той прави извод назад от наблюдения на параметрите, свързани с последствията ). След 1920 година, "обратната вероятност" до голяма степен измества останалите [[метод]]и и започва да се нарича обикновена (frenquentist) [[статистика]] . |
| | | | |
| − | f(µ|x1) ∝ f(µ)f(x1|µ).
| + | През 20-ти век, идеите на Лаплас са доразвити в две различни посоки, което води до обективни и субективни течения в Бейс практиката. В обективния поток на статистическия анализ зависимостта е от самия модел и анализираните данни. Никакви субективни решения не трябва да бъдат включвани. За разлика от "subjectivist" (субективистите), статистиците отричат съществуването на изцяло обективен [[анализ]] за общия случай. |
| − | | |
| − | | |
| − | | |
| − | Нека сме получили допълнителна [[извадъчна информация]] под формата на нови наблюдения (x2). Тогава апостериорната плътност
| |
| − | | |
| − | | |
| − | | |
| − | f(µ|x1)
| |
| − | | |
| − | | |
| − | | |
| − | може да се използва като априорна за новата извадка и с помощта на теоремата на Бейс получаваме
| |
| − | | |
| − | | |
| − | | |
| − | f(µ|x1,x2) ∝ f(µ|x1)f(x2|µ),
| |
| − | | |
| − | | |
| − | | |
| − | където f(µ|x1,x2)
| |
| − | | |
| − | | |
| − | | |
| − | означава апостериорната плътност, получена при обединяването на двете извадки. Формулата може да бъде записана и като
| |
| − | | |
| − | | |
| − | | |
| − | f(µ|x1,x2) ∝ f(µ)f(x1|µ)f(x2|µ).
| |
| − | | |
| − | | |
| − | | |
| − | Тъй като f(x1|µ)f(x2|µ)
| |
| − | | |
| − | | |
| − | | |
| − | е [[функция]]та на [[правдоподобие]] за µ, основана на обединената информация от двете извадки x1 и x2, за новата [[апостериорна плътност]] се получава един и същи резултат, независимо дали сме получавали извадъчната информация последователно или още в началото сме получили пълната [[извадка]] (x1,x2). Ясно е също, че тази процедура се обобщава директно за случая на повече от две извадки.
| |
| − | | |
| − | | |
| − | ==Точкови оценки на параметри при бейсовия подход==
| |
| − | | |
| − | | |
| − | Макар че [[апостериорната плътност]] обобщава всичката информация за интересуващите ни параметри (извадъчна и извънекспериментална), с която разполагаме, често пъти е необходимо да можем да характеризираме неизвестните параметри с [[конкретни стойности]], т.е. да получим [[точкови оценки]] за тези параметри. При наличието на апостериорната плътност като източник на информация за параметъра θ, за точковата оценка
| |
| − | | |
| − | | |
| − | | |
| − | ˆθ = ˆθ(x)
| |
| − | | |
| − | | |
| − | | |
| − | е най-подходящо да бъде получена в контекста на теорията за вземане на решения. Съгласно принципите на тази теория изследователят трябва да има ''''функция на загубите'', L(θ, ˆθ), която да отразява колко „вредни” са [[отклонения]]та на оценката ˆθ от истинската стойност θ. Тъй като в нашия случай θ се разглежда като случайна величина, съответно L(θ, ˆθ) е също случайна, макар че наблюденията x са фиксирани. Понеже апостериорната плътност отразява всичката налична информация за възможните изходи на θ, логично е да претеглим [[стойност]]ите на функцията на загубите с апостериорната плътност, за да получим очакваната [[загуба]] при използването на конкретна точкова оценка ˆθ. При това положение оптималната точкова оценка е онази, която минимизира математическото очакване на функцията на загубите:
| |
| − | | |
| − | Очакването на функцията на загубите се нарича ''риск ''или ''функция на риска''. Тук
| |
| − | | |
| − | [[имплицитно]] се предполага, че очакването е крайно и че минимумът съществува.
| |
| − | | |
| − | Като пример за типа точкова оценка, която се получава при използване на конкретна функция на загубите, нека разгледаме квадратична функция на загубите
| |
| − | | |
| − | | |
| − | | |
| − | L(θ, θ)=(θ − ˆ θ) C(θ − ˆ θ),
| |
| − | | |
| − | | |
| − | | |
| − | където C е зададена положително определена симетрична матрица. Тогава апостериорното очакване на
| |
| − | | |
| − | | |
| − | | |
| − | L(θ, ˆθ) ще бъде E[L(θ,ˆθ)] =E[(θ −ˆθ) C(θ −ˆθ)]=E[((θ − E[θ]) − (ˆθ− E[θ])) C((θ − E[θ]) − (ˆθ− E[θ]))]=E[(θ − E[θ]) C(θ − E[θ])] + (ˆθ− E[θ]) C(ˆθ− E[θ]),
| |
| − | | |
| − | | |
| − | | |
| − | където в последното равенство вторият член от сумата е не[[стохастичен]] и излиза извън очакването. Същевременно именно вторият член зависи от ˆθ и съответно минимумът на [[формула]]та зависи само него. Ясно е, че за положително определена C минимум се достига при
| |
| − | | |
| − | | |
| − | | |
| − | ˆθ∗ = E[θ].
| |
| − | | |
| − | | |
| − | | |
| − | Тоест за квадратична функция на загубите оптималната точкова оценка се дава от математическото очакване на апостериорното разпределение.
| |
| − | | |
| − | ==Бейсови области на достоверност==
| |
| − | | |
| − | | |
| − | Бейсовият [[аналог]] на [[доверителни интервали|доверителните интервали]] в [[класическия анализ]] са т.нар. ''области на достоверност''. При положение, че разполагаме с апостериорната плътност
| |
| − | | |
| − | f(θ|x),
| |
| − | | |
| − | можем да изчислим вероятността векторът на параметрите θ да лежи в дадена подобласт ¯R на параметричното пространство
| |
| − | | |
| − | P(θ ∈¯R|x) =∫¯R f(θ|x)dθ.
| |
| − | | |
| − | | |
| − | | |
| − | Задачата може да бъде разгледана и в обратната формулировка: ако сме фиксирали вероятността
| |
| − | | |
| − | P(θ ∈ ¯R|x),
| |
| − | | |
| − | да се намери област ¯R, за която е изпълнено. При това положение обаче за областта ¯R не е гарантирано, че е единствена. Ако апостериорната плътност е [[унимодална]], за някои случаи единствена Бейсова област R може да бъде получена като се наложи допълнителното изискване стойностите на апостериорната плътност за ¯R да не бъдат по-малки, отколкото стойностите ´и за всяка друга област, [[удовлетворяваща]] за избраната вероятност (''критерий за'' ''максимална апостериорна плътност''). За [[унимодална]] [[симетрична плътност]] в едномерния случай например областта на достоверност е интервал със среда, центрирана върху модата на разпределението, за който стойностите на апостериорната плътност са най-големи. Обръщаме специално внимание на факта, че интерпретацията на бейсовите области на достоверност е съвсем различна в сравнение с класическите доверителни интервали. В контекста на класическата [[статистика]] доверителният интервал е случаен, понеже зависи от реализациите на данните и съответно вероятностните [[твърдениe|твърдения]] се отнасят до вероятността, с която този случаен интервал ще покрие (неизвестната) стойност на параметъра. В бейсов контекст [[областта на достоверност]] е напълно детерминистична и вероятностните твърдения се отнасят до вероятността, с която случайният параметър попада във фиксираната област на достоверност.
| |
| − | | |
| − | | |
| − | | |
| − | ==Бейсова проверка на хипотези==
| |
| − | | |
| − | В контекста на бейсовата статистика проверката на хипотези представлява вероятностно сравняване на [[''равнопоставени ''алтернативи]], поради което понятието за нулева [[хипотеза]] няма особеното значение, което му се придава в класическите изследвания. В общия случай разглеждаме твърдения H0 и H1, които се отнасят до различни модели M0 и M1 за данните x. За модел Mi, i = 1,2, съответната функция на правдоподобие е fi(x|θi), а [[априорната плътност]] е fi(θi). Тук долните индекси i в правдоподобията и априорните плътности са използвани, за да отчетем възможността да се сравняват хипотези за различни механизми на генериране на данните, съответно с различни априорни очаквания. Това не изключва възможността да се разглеждат по-прости случаи, например когато параметрите θ0 и θ1, в съответствие с хипотези H0 и H1 се изменят в различни области на едно и също параметрично пространство. При условие, че е верен модел Mi, [[маргинална плътност|маргиналната плътност]] на данните (''маргинална'' ''функция на правдоподобие'') е
| |
| − | | |
| − | f(x|Mi) =∫Rθi (x|θi)fi(θi)dθi
| |
| − | | |
| − | | |
| − | | |
| − | Тогава [[''множител на Бейс]] ''се дефинира като отношението между маргиналните [[функции на правдоподобие]] за двата модела:
| |
| − | | |
| − | | |
| − | | |
| − | B01(x)=f(x|M0) f(x|M1) | |
| − | | |
| − | | |
| − | | |
| − | Интуитивно множител на Бейс, който е по-голям от 1, може да се интерпретира като индикация за по-голяма достоверност на модел M0 (или съответно H0) в сравнение с M1 (H1). При анализ в Бейсова схема може да има априорна информация и за достоверността на самите модели, която да се отчете при сравняването на хипотезите. Ако P(Mi) е априорната вероятност на модел Mi, то можем да изчислим [[апостериорната вероятност]] на на този модел при условие данните x с помощта на формулата на Бейс:
| |
| − | | |
| − | | |
| − | | |
| − | P(Mi|x)=P(Mi)f(x|Mi)∑1j=0P(Mj)f(x|Mj)
| |
| − | | |
| − | | |
| − | | |
| − | Тогава ''апостериорният шанс ''в полза на модел M0 сравнен с M1 се дефинира като отношението на апостериорните вероятности на двата модела:
| |
| − | | |
| − | | |
| − | | |
| − | K01(x) =P(M0|x)P(M1|x)P(M0) (M1)×f(x|M1)P(M0) (x).
| |
| − | | |
| − | | |
| − | | |
| − | Уравнение (22) показва защо B01(x) се нарича множител на Бейс: това е величината, с която умножаваме ''априорния шанс''
| |
| − | | |
| − | | |
| − | | |
| − | '' ''P(M0)/P(M1),
| |
| − | | |
| − | | |
| − | | |
| − | за да го коригираме с информацията от данните и да стигнем до апостериорния шанс. С други думи, множителят на Бейс показва дали наблюдаваните данни увеличават или намаляват [[достоверност]]та на единия модел в сравнение с другия. Макар че горните разглеждания бяха дадени в термините на сравняване на модели, те се пренасят без изменения и за случая на [[сравняване на хипотези]]. Това означава, че ако сме изчислили [[апостериорeн шанс|апостериорния шанс]] K01(x) при сравняване на хипотеза H0 с H1, с негова помощ можем да определим коя хипотеза е по-вероятна. При отсъствието на априорна информация в полза на едната от двете хипотези, те могат да се разглеждат като равновероятни и съответно априорният шанс е единица. Тогава апостериорният шанс става равен на множителя на Бейс и B01(x) е достатъчен, за да се направи извод за сравняваните хипотези. Ако задачата е в явен вид да се приеме или отхвърли [[хипотеза]]та H0 в сравнение с H1, използването само на апостериорния шанс е относително непрецизно средство за вземане на решение. В такива случаи се препоръчва да се работи от гледна точка на теорията за вземане на решения, като се запише в явен вид функция на загубите L(Hi,ˆHj), където Hi е истинското [[състояние]], а ˆHj е приетата от изследователя [[хипотеза]][. След това можем да изчислим очакването на функцията на загубите при условие, че е взето решение ˆHj и да приемем онова ˆHj, за което съответната очаквана [[загуба]] е най-малка.
| |
| − | | |
| − | | |
| − | | |
| − | ==Общи бележки върху бейсовите методи==
| |
| − | | |
| − | ===Информативни и неинформативни априорни плътности===
| |
| − | | |
| − | | |
| − | Дотук в изложението приемахме, че априорните плътности са избрани така, че да отразяват наличната [[неекспериментална информация]]. В този смисъл тези плътности могат да бъдат наречени ''информативни''. Можем да си зададем въпроса как да провеждаме бейсовия анализ в ситуации, за които не разполагаме с предварителна информация. [[Интуитивно]] е да се приеме, че в такива случаи различните възможни стойности на изследваните параметри са равновероятни. За съжаление подобна [[трактовка]] води до проблеми в непрекъснатия случай: ако например сме решили да изберем априорната плътност като [[плътност]] на равномерно разпределение в някакъв интервал, тогава фиксирането на носителя на равномерното разпределение всъщност представлява вкарване на информация в анализа, доколкото извън него слагаме вероятност нула на съответните стойности на параметъра. При това положение понятието за [[''неинформативна ''плътност]] става проблематично. Може да се покаже, че при налагането на определени изисквания за неинформативност плътностите, които отговарят на тях са несобствени в смисъл, че те не се [[интеграция|интегрират]] до крайно число. При положение, че интеграл от неинформативна „плътност” е разходящ, такъв обект разбира се не се явява плътност на [[вероятностно разпределение]] в истинския смисъл на думата. Въпреки всичко функции с такива свойства могат да бъдат полезни, ако апостериорната плътност остава истинска вероятностна плътност или, с други думи, ако ядрото и е с краен [[интеграл]]. Тогава бейсовият анализ може да бъде провеждан и съответно изводите от него ще бъдат само на база информация, получена от наблюдаваните данни. Често пъти изводи или оценки, получени при използването на неинформативни априорни плътности за достатъчно големи извадки съвпадат с тези, получени от класическия [[статистически анализ]]. Макар че тук няма да разглеждаме бейсов анализ с неинформативни плътности, заради пълнотата на изложението отбелязваме това важно направление в бейсовата статистика.
| |
| − | | |
| − | | |
| − | | |
| − | ==Виж още ==
| |
| − | | |
| − | * [[Бейс мозъка]] - прилагането на Бейс теория за функционирането на мозъка
| |
| − | | |
| − | * [[Бейс експеримента]]
| |
| − | | |
| − | * [[Бейс извод]] - статистическия извод и методите, които използват Бейс вероятност
| |
| − | | |
| − | * [[Бейс Кеплер periodogram]] - метод, използван за намиране на нови екзопланети
| |
| − | | |
| − | * [[Бейс мрежа]] - Бейс мотивите за множество променливи в присъствието на условно independencies
| |
| − | | |
| − | * [[Бертран парадокс]] : парадокс в класическата вероятност, решен с Bayesian методи
| |
| − | | |
| − | * [[Очакваната полезност]]
| |
| − | | |
| − | * [[De Finetti игра]] - процедура за оценка на субективните вероятността някой
| |
| − | | |
| − | * [[Емпиричните Бейс метод]]
| |
| − | | |
| − | * [[Координатни извод]] - опита на Фишер за производство на вероятностно дистрибуция на параметър пространство, без да използвате предварително.
| |
| − | | |
| − | * [[Честота на вероятностите]] - основната алтернатива на Бейс оглед
| |
| − | | |
| − | * [[Извод]]
| |
| − | | |
| − | * [[Вероятност функция]]
| |
| − | | |
| − | * [[Максимален ентропията термодинамиката]] - на Бейс оглед на термодинамиката поради Jaynes Едвин T.
| |
| − | | |
| − | * [[Предсказуем извод]]
| |
| − | | |
| − | * [[Вероятност тълкувания]]
| |
| − | | |
| − | * [[Несигурност]]
| |
| − | | |
| − | * [[Dempster-Shafer теория]] - Обобщаване на Бейс теория
| |
| | | | |
| | + | През 1980 г. има значително нарастване на научните изследвания и приложения на Бейс, което се дължи най-вече на откриването на веригата от [[Монте Карло]] методи, с която се премахват много от изчислителните проблеми и интересът към нестандартните, сложни приложения става все по-голям. Въпреки растежа на популярността на Бейс [[изследване|изследванията]], при повечето студенти обучението е все още на базата на стандартната статистика. Независимо от това, Бейс методите са широко признати и използвани (например в областта на машинното обучение). |
| | | | |
| | + | ==Вижте още == |
| | | | |
| | + | * [[Томас Бейс]] |
| | + | * [[Вероятност]] |
| | + | *[[Бейс формула]] |
| | + | *[[Бейсова теорема]] |
| | + | *[[Бейсова проверка на хипотези]] |
| | + | *[[Бейсови области на достоверност]] |
| | + | *[[Бейсов анализ при повече от една извадка с данни]] |
| | + | *[[Точкови оценки на параметри при бейсовия подход]] |
| | | | |
| | ==Източници == | | ==Източници == |
| Ред 372: |
Ред 90: |
| | * Stigler, Стивън М. (1999) Статистически данни за маса: "История на статистически понятия и методи | | * Stigler, Стивън М. (1999) Статистически данни за маса: "История на статистически понятия и методи |
| | | | |
| | + | ==Външни препратки == |
| | | | |
| − | | + | * [http://translate.googleusercontent.com/translate_c?hl=bg&langpair=en|bg&u=http://www.inference.phy.cam.ac.uk/mackay/itila/book.html&rurl=translate.google.bg&usg=ALkJrhi36QB5QQ_GsT88v68eek97kQhI5g Теория на информацията] |
| − | ==Външни връзки ==
| |
| − | | |
| − | * [http://translate.googleusercontent.com/translate_c?hl=bg&langpair=en|bg&u=http://www.inference.phy.cam.ac.uk/mackay/itila/book.html&rurl=translate.google.bg&usg=ALkJrhi36QB5QQ_GsT88v68eek97kQhI5g Теория на информацията | |
| | * [http://translate.googleusercontent.com/translate_c?hl=bg&langpair=en|bg&u=http://yudkowsky.net/rational/bayes&rurl=translate.google.bg&usg=ALkJrhgz3t9rsdsq8kCeTDqgkAXqpGHJvA An Intuitive Explanation of Bayesian Reasoning A very gentle introduction by Eliezer Yudkowsky] | | * [http://translate.googleusercontent.com/translate_c?hl=bg&langpair=en|bg&u=http://yudkowsky.net/rational/bayes&rurl=translate.google.bg&usg=ALkJrhgz3t9rsdsq8kCeTDqgkAXqpGHJvA An Intuitive Explanation of Bayesian Reasoning A very gentle introduction by Eliezer Yudkowsky] |
| − | * [http://translate.googleusercontent.com/translate_c?hl=bg&langpair=en|bg&u=http://www.dcs.qmw.ac.uk/~norman/BBNs/BBNs.htm&rurl=translate.google.bg&usg=ALkJrhhxlPmn_i36sdy-sv_S48uNwstAOg Една он-лайн уводния урок да Бейс вероятността] An on-line introductory tutorial to Bayesian probability from Queen Mary University of London от "Куин Мери" към Лондонския университет | + | * [http://translate.googleusercontent.com/translate_c?hl=bg&langpair=en|bg&u=http://www.dcs.qmw.ac.uk/~norman/BBNs/BBNs.htm&rurl=translate.google.bg&usg=ALkJrhhxlPmn_i36sdy-sv_S48uNwstAOg Една он-лайн уводния урок да Бейс вероятността] |
| − | * Bretthorst, G. Larry, 1988, ''[http://translate.googleusercontent.com/translate_c?hl=bg&langpair=en|bg&u=http://bayes.wustl.edu/glb/book.pdf&rurl=translate.google.bg&usg=ALkJrhhd74oT1_SMfjOMm5LLzqBBCgFwvQ Bayesian Spectrum Analysis and Parameter Estimation''] in Lecture Notes in Statistics, 48, Springer-Verlag, New York, New York;http://translate.googleusercontent.com/translate_c?hl=bg&langpair=en|bg&u=http://www.eecs.qmul.ac.uk/~norman/BBNs/BBNs.htm&rurl=translate.google.bg&usg=ALkJrhgJHbGxrF6vdzMg3XK_gC3S7KnKVgJames Franklin [http://translate.googleusercontent.com/translate_c?hl=bg&langpair=en|bg&u=http://web.archive.org/web/20080207144237/http://www.press.jhu.edu/books/title_pages/2844.html&rurl=translate.google.bg&usg=ALkJrhgaZLjVwjTsMIUiBo2-wBZNif0gFg The Science of Conjecture: Evidence and Probability Before Pascal] , history from a Bayesian point of view. Вероятности
| |
| − | * [http://translate.googleusercontent.com/translate_c?hl=bg&langpair=en|bg&u=http://web.archive.org/web/20080207144237/http://www.press.jhu.edu/books/title_pages/2844.html&rurl=translate.google.bg&usg=ALkJrhgaZLjVwjTsMIUiBo2-wBZNif0gFg http://translate.googleusercontent.com/translate_c?hl=bg&langpair=en|bg&u=http://web.archive.org/web/20080207144237/http://www.press.jhu.edu/books/title_pages/2844.html&rurl=translate.google.bg&usg=ALkJrhgaZLjVwjTsMIUiBo2-wBZNif0gFg] историята от гледна точка на Бейс.
| |
| | | | |
| − | [[category:Управленски решения и риск|Стратегическо управление]] | + | [[category:Управленски решения и риск]][[category:Стратегическо управление]][[category:Статистика]] |
Бейсовата вероятност е една от типичните представители на теорията на вероятностите за изчисляване степента на определеност на твърденията.
Същност
Правилото на Бейс се базира на понятието условна вероятност.Нека са дадени твърденията(събитията) Н и Е. Условната вероятност на Н е просто вероятността на, че Н ще се случи, ако е станало Е.
Отправна точка в съвременната Бейс теория на вероятностите е, че вероятността се интерпретира като степен на вяра. Ричард Кокс показва някой много общи изисквания за смятане в правилата на теорията на вероятностите. Решението също води до едни и същи правила с една и съща интерпретация.
Вярванията винаги са субективни и поради това всички вероятности, включени в Бейс теорията на вероятностите, са условни. По-специално, при тълкуването на вероятностите вярванията в решението и точния резултат не са цел, а резултат на някои физически интерпретации и зависят от предварително предположената на система за обучение. Понякога вероятността може да се приравни грубо с емпиричните честоти, но това може да се разглежда като специален случай на вероятното тълкуване, както се вижда от методите на Кокс.
Подход
Щом за наблюдаваните данни се приема, че са генерирани от някакъв вероятностен механизъм, а неизвестният параметър (параметри) на модела се третира като случайна величина поради използването на субективна вероятност, то за наличната извадка
x = (x1,...,xn)
и за параметрите може да се разглежда съвместна функция на разпределение или, при допускането за абсолютна непрекъснатост, съвместна плътност. В нашия случай може да се разглежда съвместната плътност на x и µ f(x,µ). Тази постановка позволява да формализираме във вероятностни термини идеята за несигурността по отношение на стойностите на оценявания параметър, но не преодолява невъзможността да се възпроизвеждат данните от експеримента. Понеже повечето от практически интересните ситуации се занимават със случая, в който извадката x е фиксирана и е трудно или невъзможно да се получат още данни, релевантният обект за изследване е всъщност условната плътност на параметъра при условие наблюдаваните данни f(µ|x). Последната може да бъде получена с прилагане на формулата на Бейс във варианта ´и за плътности на разпределения на случайни величини
(µ|x) =f(x,µ)f(x)=f(x|µ)f(µ)f(x)
При зададена извадка x стойността на плътността f(x) се превръща в известно число и съответно не влияе върху анализа на µ, а само скалира другите членове в последното равенство. Тогава формулатa може да бъде записана като:
f(µ|x) ∝ f(x|µ)f(µ),
където ∝ е знак за пропорционалност.
Този запис на формулата на Бейс съдържа ключовите елементи за анализа. Членът f(x|µ) е добре познатата ни функция на правдоподобие, която в разглеждания от нас пример се задава с първата формула която въведохме. Членът f(µ) се нарича априорна плътност на параметъра µ. Априорната плътност съдържа предварителната (преди провеждане на експеримента) информация за стойнoстите на параметъра µ.
Тази информация може да отразява чисто субективни убеждения (подобно на дадените по-горе примери), но може да бъде формирана например и на база теоретични резултати или информация от подобни експерименти, които са били провеждани в миналото. Условната плътност f(µ|x) се нарича апостериорно разпределение на µ. Апостериорното разпределение посредством формулата на Бейс обединява експерименталната и неексперименталната информация за стойностите на параметъра µ и именно оттам са влезли в употреба понятия като „Бейсов анализ” и „Бейсова статистика”.
Изразът в (3) отдясно на знака за пропорционалност понякога се нарича ядро на апостериорната плътност. Ясно е, че горните принципи остават в сила и за многомерния случай. Последната формула може да се разглежда като формален механизъм за ревизиране на някаква извънекспериментална информация с помощта на емпирични данни.
Алтернативно тя може да бъде интерпретирана и като начин в емпиричния статистически анализ да бъде вкарана допълнителна информация като теоретични резултати или експертен опит. И в двата случая основен проблем е как наличната информация да бъде кодиранa с помощта на априорната плътност.
Затова съществуват различни варианти, по-сложните от които например са базирани на итеративни сесии с групи от експерти, чиито мнения последователно се ревизират и обобщават. В най-стандартния случай се действа по-просто, като се избира клас разпределения според типа параметър (например нормално за параметър без ограничения, гама за положителен параметър, бета за параметър между 0 и 1 и т.н.) и от този клас се избира представител с необходимите характеристики (например подходяща средна, която да отразява стойността на параметъра, считана от нас за най-достоверна, и подходяща дисперсия, която да отразява несигурността ни за достоверността на нашата преценка).
История
Откривател на Бейсовата верочтност е Пиер Симон Лаплас (1749-1827), който въвежда обща версия на теоремата и я използва за подход при проблемите в небесната механика , медицинска статистика, надеждността , както и съдебната практика . Изводът на Бейс, се нарича "обратна вероятност "(тъй като той прави извод назад от наблюдения на параметрите, свързани с последствията ). След 1920 година, "обратната вероятност" до голяма степен измества останалите методи и започва да се нарича обикновена (frenquentist) статистика .
През 20-ти век, идеите на Лаплас са доразвити в две различни посоки, което води до обективни и субективни течения в Бейс практиката. В обективния поток на статистическия анализ зависимостта е от самия модел и анализираните данни. Никакви субективни решения не трябва да бъдат включвани. За разлика от "subjectivist" (субективистите), статистиците отричат съществуването на изцяло обективен анализ за общия случай.
През 1980 г. има значително нарастване на научните изследвания и приложения на Бейс, което се дължи най-вече на откриването на веригата от Монте Карло методи, с която се премахват много от изчислителните проблеми и интересът към нестандартните, сложни приложения става все по-голям. Въпреки растежа на популярността на Бейс изследванията, при повечето студенти обучението е все още на базата на стандартната статистика. Независимо от това, Бейс методите са широко признати и използвани (например в областта на машинното обучение).
Вижте още
Източници
- Бергер, Джеймс O (1985). Статистически решение Теория и Bayesian анализ. Springer серия по статистика (втори изд.).
- Бернардо Жозе М. ; Смит, Ейдриън Е. М. 1994 г. Bickel, Питър Дж. и Doksum, Kjell A. (2001 г.). Математическа статистика, том 1 Основни и избраните теми
- Дейвидсън, Доналд ; Suppes, Патрик ; Сийгъл, Сидни 1957). (вземане на решения: експериментално подход
- де Finetti, Бруно . "Probabilism: критично есе върху теория на вероятностите и върху стойността на науките" (превод от 1931 г. статия) в Erkenntnis, том 31 септември 1989 година.
- де Finetti, Бруно (1937) "La предвиждане: ЕЕН Лоис logiques, SES източници subjectives" Annales де l'Institut Анри Поанкаре,
- де Finetti, Бруно. "Форсайт: Logical си закони, му Субективните източници"
- де Finetti, Бруно от. теория на вероятностите,
- DeGroot, Морис (2004) Оптимално статистически решения. Wiley Classics Library.
- Сух, Йън (декември 1967 г.). "малко по-реалистична Лични вероятностите" .
- Сух, I (1988 г.) "малко по-реалистична Лични вероятностите". 1967 статия частично препечатани в: Gärdenfors, Петър и Салин, Нилс-Ерик. (1988 г.) решение, вероятностите, и полезни: Избрани четения.
- Хайек, А. и Хартман, С. (2010): "Бейс епистемологията", в:, Данси J., Соса, Д., Steup, М. (ред.) (2001) спътник на епистемологията, Уайли.
- Hald, Андерс (1998). История на Математическа статистика Хартман, С. и Sprenger, Дж. (2011 г.) "Бейс епистемологията", в: Bernecker, С. и Причард, Д. (ред.) (2011 г.) Routledge спътник на епистемологията.
- Хаусън, В. ; Urbach, П. (2005). научните аргументи на Бейс подход
- Jaynes ET (2003) Теория на вероятностите: Логиката на науката,
- Моргенщерн, Оскар (1978). "Някои Из Utility ". В Андрю Schotter. Избрани икономически писането на Оскар Моргенщерн. Пиърс, CS и Jastrow J. (1885). " На малките разлики в Sensation " Pfanzagl, J (1967 г.). "Субективните вероятности Въз основа на Моргенщерн-фон Нойман Utility Theory"
- Pfanzagl, в сътрудничество с Й. В. З. Бауман и Хубер (1968 г.). "Събитията, полезни и субективно на вероятностите". Теория на оценяване. Уайли
- Рамзи, Франк Plumpton (1931) "Истина и вероятностите" ( PDF ), глава VII в основите на математиката и други есета Логически,
- Stigler, Стивън М. (1990). "История на статистиката неопределеността на измерването преди 1900 година
- Stigler, Стивън М. (1999) Статистически данни за маса: "История на статистически понятия и методи
Външни препратки
