Бейсова вероятност

От Администрация и управление
Направо към навигацията Направо към търсенето

Бейсовата вероятност е една от типичните представители на теорията на вероятностите за изчисляване степента на определеност на твърденията.Правилото на Бейс се базира на понятието условна вероятност.Нека са дадени твърденията(събитията) Н и Е. Условната вероятност на Н е просто вероятността на, че Н ще се случи, ако е станало Е.

Отправна точка в съвременната Бейс теория на вероятностите е, че вероятността се интерпретира като степен на вяра. Ричард Кокс показва някой много общи изисквания за смятане в правилата на теорията на вероятностите. Решението също води до едни и същи правила с една и съща интерпретация.

Вярванията винаги са субективни и поради това всички вероятности, включени в Бейс теорията на вероятностите, са условни. По-специално, при тълкуването на вероятностите вярванията в решението и точния резултат не са цел, а резултат на някои физически интерпретации и зависят от предварително предположената на система за обучение. Понякога вероятността може да се приравни грубо с емпиричните честоти, но това може да се разглежда като специален случай на вероятното тълкуване, както се вижда от методите на Кокс.


Бейс методология

Като цяло, Бейс метода се характеризира със следните понятия и процедури:

•Използването на йерархични модели и маргинализация над стойностите на противообществените прояви параметри . Марков веригата Монте Карло

• Поредният използване на Бейс "формула: когато повече не са налични данни, след изчисляване на задната дистрибуция, задната става на следващия преди.

•В обикновената статистика, една хипотеза е твърдение (което трябва да бъде или истина или лъжа ), така че (frequentist) вероятността за обикновена хипотеза е, едно или нула. В Бейс статистиката, една вероятност може да се причисли към една хипотеза

История

Терминът се отнася до Бейс Томас Бейс (1702-1761), който се оказва виновника за това, което сега се нарича "теоремата на Бейс . Въпреки това, първоизточника е Пиер-Симон Лаплас (1749-1827), който въвежда обща версия на теоремата и я използва за подход при проблемите в небесната механика , медицинска статистика, надеждността , както и съдебната практика . Изводът на Бейс, се нарича "обратна вероятност "(тъй като той прави извод назад от наблюдения на параметрите, свързани с последствията ). След 1920 година, "обратната вероятност" до голяма степен измества останалите методи и започва да се нарича обикновена (frenquentist) статистика .

През 20-ти век, идеите на Лаплас са доразвити в две различни посоки, което води до обективни и субективни течения в Бейс практиката. В обективния поток на статистическия анализ зависимостта е от самия модел и анализираните данни. Никакви субективни решения не трябва да бъдат включвани. За разлика от "subjectivist" (субективистите), статистиците отричат съществуването на изцяло обективен анализ за общия случай.

През 1980 г. има значително нарастване на научните изследвания и приложения на Бейс, което се дължи най-вече на откриването на веригата от Монте Карло методи, с която се премахват много от изчислителните проблеми и интересът към нестандартните, сложни приложения става все по-голям. Въпреки растежа на популярността на Бейс изследванията,при повечето студенти обучението е все още на базата на стандартната статистика. Независимо от това, Бейс методите са широко признати и използвани( например в областта на машинното обучение).


Обосновка на Бейс вероятностите

The use of Bayesian probabilities as the basis of Bayesian inference has been supported by several arguments, such as the Cox axioms , the Dutch book argument , arguments based on decision theory and de Finetti's theorem . Използването на Бейс вероятностите се основава на аргументацията на няколко други подхода.

Аксиоматичен подход

Ричард У. Кокс показва, че Бейс актуализирането се дължи на няколко аксиоми, включително две функционални уравнения и противоречиви хипотези, че вероятността трябва да се разглежда като непрекъсната функция. Тук "приемственост" е еквивалентно на изброима адитивност.

Холандски подход

Холандският аргумент е предложен от Де Финети и се основава на залагане. Холандската аргументация поставя своята теория,при положение на която един умен комарджия прави набор от залози, които гарантират печалба независимо от резултата на залозите. Ако букмейкър следва правилата на Бейс, ще удари на камък и Холандския подход няма да бъде възможен. Въпреки това, Иян Хакинг отбелязва, че традиционните холандски аргументи не са уточнени при Бейс методите.

Примери

Този раздел дава някои примери за приложения на Бейс теорията на вероятностите:

(Параметър) приблизителна оценка.

  • Полицейски скоростен радар.
  • Предвиждане на траекторията на някои небесни тела.
  • Управление на космически кораби на Юпитер.
  • Модел на съвпадение / Хипотеза за тестване.
  • Oткриване на тумор в сканиране на изображението.
  • Oткриване на генни последователности.
  • Rазпознаване на реч.
  • Модел на сграда.
  • Привеждане.
  • Самостоятелна навигация на робот.


Аргументация чрез „Теоремата на Бейс”

Бейсов подход: дадени вероятности се изчисляват на основата на предходни събития и техните вероятности. Смисълът на Бейсовия подход е в разглеждането на неизвестния параметър като с някаква (известна или не) плътност q(s) на разпределение по отношение на мярката m (на Лебег или някаква вероятност). Плътността q наричаме ''априорна, т.е. зададена до експеримента. В Бейсовия подход се предполага, че в момента на провеждане на експермента параметъра q се избира случайно съгласно тази плътност. Така, когато е известно семейството на плътности на разпределение 


p(x,t)


относно l, получаваме съвместно разпределение за извадката и параметъра – 


f(x,t)=p(x,t)q(t)


Теорема на Бейс:

Когато един агент разсъждава при несигурни знания, разумно е да се модифицира вярата на агента при наличие на нови наблюдения. Това означава, че новопостъпилите наблюдения трябва да се присъединят към съществуващите, да се формира ново множество от наблюдения, които да бъдат отразени в мярата за убеденост на агента. Теоремата на Бейс специфицира именно „как да се модифицира вярата на агент, на основата на нови наблюдения”. Тя служи за основа на т.н. вероятностни мрежи.

Нека P(X/K) е текущата вяра на агента за съждението X, основана на наблюдение K и нека той извършва ново наблюдение E. Агентът сега се интересува каква е вероятността P(X|E^K). Теоремата на Бейс твърди:

Файл:Beisova veroqtnost.jpg


Същност на бейсовия подход

Щом за наблюдаваните данни се приема, че са генерирани от някакъв вероятностен механизъм, а неизвестният параметър (параметри) на модела се третира като случайна величина поради използването на субективна вероятност, то за наличната извадка 


x = (x1,...,xn)


и за параметрите може да се разглежда съвместна функция на разпределение или, при допускането за абсолютна непрекъснатост, съвместна плътност. В нашия случай може да се разглежда съвместната плътност на x и µ f(x,µ). Тази постановка позволява да формализираме във вероятностни термини идеята за несигурността по отношение на стойностите на оценявания параметър, но не преодолява невъзможността да се възпроизвеждат данните от експеримента. Понеже повечето от практически интересните ситуации се занимават със случая, в който извадката x е фиксирана и е трудно или невъзможно да се получат още данни, релевантният обект за изследване е всъщност условната плътност на параметъра при условие наблюдаваните данни f(µ|x). Последната може да бъде получена с прилагане на формулата на Бейс във варианта ´и за плътности на разпределения на случайни величини 


(µ|x) =f(x,µ)f(x)=f(x|µ)f(µ)f(x)



При зададена извадка x стойността на плътността f(x) се превръща в известно число и съответно не влияе върху анализа на µ, а само скалира другите членове в последното равенство. Тогава формулатa може да бъде записана като: 


f(µ|x) ∝ f(x|µ)f(µ),


където ∝ е знак за пропорционалност.


Този запис на формулата на Бейс съдържа ключовите елементи за анализа. Членът f(x|µ) е добре познатата ни функция на правдоподобие, която в разглеждания от нас пример се задава с първата формула която въведохме. Членът f(µ) се нарича априорна плътност на параметъра µ. Априорната плътност съдържа предварителната (преди провеждане на експеримента) информация за стойнoстите на параметъра µ. Тази информация може да отразява чисто субективни убеждения (подобно на дадените по-горе примери), но може да бъде формирана например и на база теоретични резултати или информация от подобни експерименти, които са били провеждани в миналото. Условната плътност f(µ|x) се нарича апостериорно разпределение на µ. Апостериорното разпределение посредством формулата на Бейс обединява експерименталната и неексперименталната информация за стойностите на параметъра µ и именно оттам са влезли в употреба понятия като „Бейсов анализ” и „Бейсова статистика”. Изразът в (3) отдясно на знака за пропорционалност понякога се нарича ядро на апостериорната плътност. Ясно е, че горните принципи остават в сила и за многомерния случай. Последната формула може да се разглежда като формален механизъм за ревизиране на някаква извънекспериментална информация с помощта на емпирични данни. Алтернативно тя може да бъде интерпретирана и като начин в емпиричния статистически анализ да бъде вкарана допълнителна информация като теоретични резултати или експертен опит. И в двата случая основен проблем е как наличната информация да бъде кодиранa с помощта на априорната плътност. За това съществуват различни варианти, по-сложните от които например са базирани на итеративни сесии с групи от експерти, чиито мнения последователно се ревизират и обобщават. В най-стандартния случай се действа по-просто, като се избира клас разпределения според типа параметър (например нормално за параметър без ограничения, гама за положителен параметър, бета за параметър между 0 и 1 и т.н.) и от този клас се избира представител с необходимите характеристики (например подходяща средна, която да отразява стойността на параметъра, считана от нас за най-достоверна, и подходяща дисперсия, която да отразява несигурността ни за достоверността на нашата преценка).

Бейсов анализ при повече от една извадка с данни

Теоремата на Бейс може да се използва и за последователно актуализиране на разполагаемата информация при получаване на нови извадки с данни. Ако от първоначалния експеримент сме имали извадка x1 и априорна плътност f(µ), то апостериорната плътност е 


f(µ|x1) ∝ f(µ)f(x1|µ).


Нека сме получили допълнителна извадъчна информация под формата на нови наблюдения (x2). Тогава апостериорната плътност 


f(µ|x1)


може да се използва като априорна за новата извадка и с помощта на теоремата на Бейс получаваме 


f(µ|x1,x2) ∝ f(µ|x1)f(x2|µ),


където f(µ|x1,x2)


означава апостериорната плътност, получена при обединяването на двете извадки. Формулата може да бъде записана и като 


f(µ|x1,x2) ∝ f(µ)f(x1|µ)f(x2|µ).


Тъй като f(x1|µ)f(x2|µ)


е функцията на правдоподобие за µ, основана на обединената информация от двете извадки x1 и x2, за новата апостериорна плътност се получава един и същи резултат, независимо дали сме получавали извадъчната информация последователно или още в началото сме получили пълната извадка (x1,x2). Ясно е също, че тази процедура се обобщава директно за случая на повече от две извадки.


Точкови оценки на параметри при бейсовия подход

Макар че апостериорната плътност обобщава всичката информация за интересуващите ни параметри (извадъчна и извънекспериментална), с която разполагаме, често пъти е необходимо да можем да характеризираме неизвестните параметри с конкретни стойности, т.е. да получим точкови оценки за тези параметри. При наличието на апостериорната плътност като източник на информация за параметъра θ, за точковата оценка 


ˆθ = ˆθ(x)


е най-подходящо да бъде получена в контекста на теорията за вземане на решения. Съгласно принципите на тази теория изследователят трябва да има ''функция на загубите, L(θ, ˆθ), която да отразява колко „вредни” са отклоненията на оценката ˆθ от истинската стойност θ. Тъй като в нашия случай θ се разглежда като случайна величина, съответно L(θ, ˆθ) е също случайна, макар че наблюденията x са фиксирани. Понеже апостериорната плътност отразява всичката налична информация за възможните изходи на θ, логично е да претеглим стойностите на функцията на загубите с апостериорната плътност, за да получим очакваната загуба при използването на конкретна точкова оценка ˆθ. При това положение оптималната точкова оценка е онази, която минимизира математическото очакване на функцията на загубите:

Очакването на функцията на загубите се нарича риск или функция на риска. Тук

имплицитно се предполага, че очакването е крайно и че минимумът съществува.

Като пример за типа точкова оценка, която се получава при използване на конкретна функция на загубите, нека разгледаме квадратична функция на загубите


L(θ, θ)=(θ − ˆ θ) C(θ − ˆ θ),


където C е зададена положително определена симетрична матрица. Тогава апостериорното очакване на


L(θ, ˆθ) ще бъде E[L(θ,ˆθ)] =E[(θ −ˆθ) C(θ −ˆθ)]=E[((θ − E[θ]) − (ˆθ− E[θ])) C((θ − E[θ]) − (ˆθ− E[θ]))]=E[(θ − E[θ]) C(θ − E[θ])] + (ˆθ− E[θ]) C(ˆθ− E[θ]),


където в последното равенство вторият член от сумата е нестохастичен и излиза извън очакването. Същевременно именно вторият член зависи от ˆθ и съответно минимумът на формулата зависи само него. Ясно е, че за положително определена C минимум се достига при 


ˆθ∗ = E[θ].


Тоест за квадратична функция на загубите оптималната точкова оценка се дава от математическото очакване на апостериорното разпределение.


Бейсови области на достоверност

Бейсовият аналог на доверителните интервали в класическия анализ са т.нар. области на достоверност. При положение, че разполагаме с апостериорната плътност 

f(θ|x),

можем да изчислим вероятността векторът на параметрите θ да лежи в дадена подобласт ¯R на параметричното пространство

P(θ ∈¯R|x) =∫¯R f(θ|x)dθ.


Задачата може да бъде разгледана и в обратната формулировка: ако сме фиксирали вероятността 

P(θ ∈ ¯R|x),

да се намери област ¯R, за която е изпълнено. При това положение обаче за областта ¯R не е гарантирано, че е единствена. Ако апостериорната плътност е унимодална, за някои случаи единствена Бейсова област R може да бъде получена като се наложи допълнителното изискване стойностите на апостериорната плътност за ¯R да не бъдат по-малки, отколкото стойностите ´и за всяка друга област, удовлетворяваща за избраната вероятност (критерий за максимална апостериорна плътност). За унимодална симетрична плътност в едномерния случай например областта на достоверност е интервал със среда, центрирана върху модата на разпределението, за който стойностите на апостериорната плътност са най-големи. Обръщаме специално внимание на факта, че интерпретацията на бейсовите области на достоверност е съвсем различна в сравнение с класическите доверителни интервали. В контекста на класическата статистика доверителният интервал е случаен, понеже зависи от реализациите на данните и съответно вероятностните твърдения се отнасят до вероятността, с която този случаен интервал ще покрие (неизвестната) стойност на параметъра. В бейсов контекст областта на достоверност е напълно детерминистична и вероятностните твърдения се отнасят до вероятността, с която случайният параметър попада във фиксираната област на достоверност.


Бейсова проверка на хипотези

В контекста на бейсовата статистика проверката на хипотези представлява вероятностно сравняване на ''равнопоставени ''алтернативи, поради което понятието за нулева хипотеза няма особеното значение, което му се придава в класическите изследвания. В общия случай разглеждаме твърдения H0 и H1, които се отнасят до различни модели M0 и M1 за данните x. За модел Mi, i = 1,2, съответната функция на правдоподобие е fi(x|θi), а априорната плътност е fi(θi). Тук долните индекси i в правдоподобията и априорните плътности са използвани, за да отчетем възможността да се сравняват хипотези за различни механизми на генериране на данните, съответно с различни априорни очаквания. Това не изключва възможността да се разглеждат по-прости случаи, например когато параметрите θ0 и θ1, в съответствие с хипотези H0 и H1 се изменят в различни области на едно и също параметрично пространство. При условие, че е верен модел Mi, маргиналната плътност на данните (маргинална функция на правдоподобие) е 

f(x|Mi) =∫Rθi (x|θi)fi(θi)dθi


Тогава ''множител на Бейс се дефинира като отношението между маргиналните функции на правдоподобие за двата модела: 


B01(x)=f(x|M0) f(x|M1)


Интуитивно множител на Бейс, който е по-голям от 1, може да се интерпретира като индикация за по-голяма достоверност на модел M0 (или съответно H0) в сравнение с M1 (H1). При анализ в Бейсова схема може да има априорна информация и за достоверността на самите модели, която да се отчете при сравняването на хипотезите. Ако P(Mi) е априорната вероятност на модел Mi, то можем да изчислим апостериорната вероятност на на този модел при условие данните x с помощта на формулата на Бейс: 


P(Mi|x)=P(Mi)f(x|Mi)∑1j=0P(Mj)f(x|Mj)


Тогава апостериорният шанс в полза на модел M0 сравнен с M1 се дефинира като отношението на апостериорните вероятности на двата модела: 


K01(x) =P(M0|x)P(M1|x)P(M0) (M1)×f(x|M1)P(M0) (x).


Уравнение (22) показва защо B01(x) се нарича множител на Бейс: това е величината, с която умножаваме априорния шанс


P(M0)/P(M1),


за да го коригираме с информацията от данните и да стигнем до апостериорния шанс. С други думи, множителят на Бейс показва дали наблюдаваните данни увеличават или намаляват достоверността на единия модел в сравнение с другия. Макар че горните разглеждания бяха дадени в термините на сравняване на модели, те се пренасят без изменения и за случая на сравняване на хипотези. Това означава, че ако сме изчислили апостериорния шанс K01(x) при сравняване на хипотеза H0 с H1, с негова помощ можем да определим коя хипотеза е по-вероятна. При отсъствието на априорна информация в полза на едната от двете хипотези, те могат да се разглеждат като равновероятни и съответно априорният шанс е единица. Тогава апостериорният шанс става равен на множителя на Бейс и B01(x) е достатъчен, за да се направи извод за сравняваните хипотези. Ако задачата е в явен вид да се приеме или отхвърли хипотезата H0 в сравнение с H1, използването само на апостериорния шанс е относително непрецизно средство за вземане на решение. В такива случаи се препоръчва да се работи от гледна точка на теорията за вземане на решения, като се запише в явен вид функция на загубите L(Hi,ˆHj), където Hi е истинското състояние, а ˆHj е приетата от изследователя хипотеза[. След това можем да изчислим очакването на функцията на загубите при условие, че е взето решение ˆHj и да приемем онова ˆHj, за което съответната очаквана загуба е най-малка.


Общи бележки върху бейсовите методи

Информативни и неинформативни априорни плътности

Дотук в изложението приемахме, че априорните плътности са избрани така, че да отразяват наличната неекспериментална информация. В този смисъл тези плътности могат да бъдат наречени информативни. Можем да си зададем въпроса как да провеждаме бейсовия анализ в ситуации, за които не разполагаме с предварителна информация. Интуитивно е да се приеме, че в такива случаи различните възможни стойности на изследваните параметри са равновероятни. За съжаление подобна трактовка води до проблеми в непрекъснатия случай: ако например сме решили да изберем априорната плътност като плътност на равномерно разпределение в някакъв интервал, тогава фиксирането на носителя на равномерното разпределение всъщност представлява вкарване на информация в анализа, доколкото извън него слагаме вероятност нула на съответните стойности на параметъра. При това положение понятието за ''неинформативна ''плътност става проблематично. Може да се покаже, че при налагането на определени изисквания за неинформативност плътностите, които отговарят на тях са несобствени в смисъл, че те не се интегрират до крайно число. При положение, че интеграл от неинформативна „плътност” е разходящ, такъв обект разбира се не се явява плътност на вероятностно разпределение в истинския смисъл на думата. Въпреки всичко функции с такива свойства могат да бъдат полезни, ако апостериорната плътност остава истинска вероятностна плътност или, с други думи, ако ядрото и е с краен интеграл. Тогава бейсовият анализ може да бъде провеждан и съответно изводите от него ще бъдат само на база информация, получена от наблюдаваните данни. Често пъти изводи или оценки, получени при използването на неинформативни априорни плътности за достатъчно големи извадки съвпадат с тези, получени от класическия статистически анализ. Макар че тук няма да разглеждаме бейсов анализ с неинформативни плътности, заради пълнотата на изложението отбелязваме това важно направление в бейсовата статистика.


Виж още

  • Бейс мозъка - прилагането на Бейс теория за функционирането на мозъка
  • Бейс извод - статистическия извод и методите, които използват Бейс вероятност
  • Бейс мрежа - Бейс мотивите за множество променливи в присъствието на условно independencies
  • De Finetti игра - процедура за оценка на субективните вероятността някой
  • Координатни извод - опита на Фишер за производство на вероятностно дистрибуция на параметър пространство, без да използвате предварително.



Източници

  • Бергер, Джеймс O (1985). Статистически решение Теория и Bayesian анализ. Springer серия по статистика (втори изд.).
  • Бернардо Жозе М. ; Смит, Ейдриън Е. М. 1994 г. Bickel, Питър Дж. и Doksum, Kjell A. (2001 г.). Математическа статистика, том 1 Основни и избраните теми
  • Дейвидсън, Доналд ; Suppes, Патрик ; Сийгъл, Сидни 1957). (вземане на решения: експериментално подход
  • де Finetti, Бруно . "Probabilism: критично есе върху теория на вероятностите и върху стойността на науките" (превод от 1931 г. статия) в Erkenntnis, том 31 септември 1989 година.
  • де Finetti, Бруно (1937) "La предвиждане: ЕЕН Лоис logiques, SES източници subjectives" Annales де l'Institut Анри Поанкаре,
  • де Finetti, Бруно. "Форсайт: Logical си закони, му Субективните източници"
  • де Finetti, Бруно от. теория на вероятностите,
  • DeGroot, Морис (2004) Оптимално статистически решения. Wiley Classics Library.
  • Сух, Йън (декември 1967 г.). "малко по-реалистична Лични вероятностите" .
  • Сух, I (1988 г.) "малко по-реалистична Лични вероятностите". 1967 статия частично препечатани в: Gärdenfors, Петър и Салин, Нилс-Ерик. (1988 г.) решение, вероятностите, и полезни: Избрани четения.
  • Хайек, А. и Хартман, С. (2010): "Бейс епистемологията", в:, Данси J., Соса, Д., Steup, М. (ред.) (2001) спътник на епистемологията, Уайли.
  • Hald, Андерс (1998). История на Математическа статистика Хартман, С. и Sprenger, Дж. (2011 г.) "Бейс епистемологията", в: Bernecker, С. и Причард, Д. (ред.) (2011 г.) Routledge спътник на епистемологията.
  • Хаусън, В. ; Urbach, П. (2005). научните аргументи на Бейс подход
  • Jaynes ET (2003) Теория на вероятностите: Логиката на науката,
  • Моргенщерн, Оскар (1978). "Някои Из Utility ". В Андрю Schotter. Избрани икономически писането на Оскар Моргенщерн. Пиърс, CS и Jastrow J. (1885). " На малките разлики в Sensation " Pfanzagl, J (1967 г.). "Субективните вероятности Въз основа на Моргенщерн-фон Нойман Utility Theory"
  • Pfanzagl, в сътрудничество с Й. В. З. Бауман и Хубер (1968 г.). "Събитията, полезни и субективно на вероятностите". Теория на оценяване. Уайли
  • Рамзи, Франк Plumpton (1931) "Истина и вероятностите" ( PDF ), глава VII в основите на математиката и други есета Логически,
  • Stigler, Стивън М. (1990). "История на статистиката неопределеността на измерването преди 1900 година
  • Stigler, Стивън М. (1999) Статистически данни за маса: "История на статистически понятия и методи


Външни връзки

Взето от „https://wiki.basaga.org/index.php?title=Бейсова_вероятност&oldid=1936“.