Закон за големите числа
В теорията на вероятностите, законът за големите числа (на англ. Law of large numbers - LLN) е теорема, която описва резултата от извършването на същия експеримент голям брой пъти.
Според закона средната стойност на резултатите получени от голям брой опити трябва да бъде близка до очакваната стойност и ще са склонни да станат по близки, тъй като се извършват повече проучвания.
Например, едно зарче със шест страни може да изведе едно от числата 1, 2, 3, 4, 5, 6, всяко с еднаква вероятност. Следователно очакваната стойност на единичния зар е.
Според закона за големите числа, ако голяма част от заровете са хвърлени, средните на техните стойности е вероятно да са близки до 3.5, като точността се увеличава, кагато повече зарове са хвърлени.
Друг пример може да бъде: Средното тегло на 10 ябълки взети от куп със 100 ябълки е вероятно по-близо до истинското средно тегло на 100-те ябълки отколкото средното тегло на 3 ябълки взети от същия куп. Това е така, защото мострата от 10 ябълки е по-голяма от мострата от 3 ябълки и по-добре представлява цялата група. По същия начин, ако се вземе средното тегло на 99 ябълки, то ще е почти същото като средното тегло на всичките сто ябълки.
От закона за големите числа следва, че емпиричната вероятност за успех, в поредица от опити на Бернулий, ще се приближи до теоретичната вероятност. За случайната променлива на Бернулий, очакваната стойност е теоретичната вероятност на успех и средната n стойност като променлива (въпреки, че са независими и тъждествено разпределени, на англ. i.i.d.) е именно относителната честота.
Например , опитът на Бернулий с подхвърлянето на една честна монета (на англ. fair coin). Когато честната монета се хвърли веднъж, теоретичната вероятност тя да бъде с лице нагоре равнява на 1/2. Поради това, в съответствие със закона за големите числа пропорцията монетата да е с лице нагоре при хвърлянето на голям брой монети "трябва да бъде" приблизително 1/2. По специално, делът на пропорцията след обръщане на n почти със сигурност ще бъде 1/2 когато n клони към безкрайност.
Това е вероятността, при която абсолютната разлика е малко число, приближаващо се до нула, когато броят на хвърлянията се увеличава. Също така почти със сигурност съотношението на абсолютната разлика на броя на хвърлянията се приближава до нула.
Закона за големите числа е важен, защото „гарантира” стабилни резултати за случайни събития в дългосрочен план. Например докато в казино можеш да загубиш пари с едно завъртане колелото на рулетката твоята печалба ще е склонна към предвидим процент вурху голям брой завъртания. Всяка печеливша серия от играч в крайна сметка ще бъде преодоляна чрез параметрите на играта. Важно е да запомните, че закона за големите числа се прилага само (както показва името), когато голям брой наблюдения са взети под внимание. Не е принцип, че малък брой наблюдения ще клонят към очакваната стойност, или че серия от една стойност, веднага ще бъде "балансирана" от другите. Виж Заблуда на комарджията.
История
Италианският математик Героламо Кардано (1501-1576) посочва, без доказателство, че точността на емпиричните статистически данни е склонна да се подобри с броя на опитите. Специалната форма на Закона за големите числа (за бинерни случайни променливи) пръв доказал Якоб Бернулий. Повече от 20 години той разработва достатъчно строги математически доказателства, които са публикувани в "Изкуството на предполагането” през 1713 год. Той нарича това своята "Златна Теорема", но тя става известна като "теорема на Бернулий”. Това не бива да се бърка с принципа в областта на физиката, който е със същото наименование, но носи името на племенника на Якоб Бернулий – Даниел Бернулий.
През 1835 г., С. Д. Пойсонс (на англ. S.D. Poisson) допълнително я описва под името " La loi des grands nombres " ("Законът на големите числа").
След като Бернули и Пойсонс публикуват своите усилия, други математици също допринасят за усъвършенстването на закона, включително Чебушев, Марков , Борел, Кантели и Колмогоров и Кинчин (който най-накрая предоставя пълни доказателства за закона за големите числа за произволни случайни величини ). Тези допълнителни изследвания водят до две известни форми на закона за големите числа. Едната е наречена "слаб" закон и другата"силен" закон. Тези форми не описват различни закони, но се отнасят до различни начини за описание на начина на сближаване на кумулативната проба към очакваната стойност и силната форма загатваща слабата.
Форми
И двете версии на закона посочват .. с виртуална сигурност – примерното средно равнище
клонящо към очакваната стойност
където X 1, X 2, ... е безкрайна поредица от независими и тъждествено разпределени IID случайни величини, с ограничена очаквана стойност E (X 1)= E (X 2) = ... = µ, където µ < ∞.
Поемането на крайни противоречия Var (X 1) = Var (X 2) = ... = σ 2 < ∞ не е необходимо. Голямо или безкрайно противоречие ще направи сближаването по-бавно, но закона за големите числа е в сила винаги. Това допускане се използва често, защото прави доказателствата по-лесни и по-кратки.
Слаб закон
Слабият закон на големите числа определя, че средната извадка се доближава до очакваната стойност
Това означава, че за всяко положително ε число,
Тълкуване на този резултат е, че слабият закон по същество посочва, че за нула определен марж, без значение колко малък, с достатъчно голяма извадка, ще има много голяма вероятност, че средните стойност на изследванията ще бъдат близо до очакваната стойност, т.е. в рамките на маржа.
Приближената вероятност се нарича слаба конвергенция на случайни величини. Тази версия се нарича слаб закон, защото случайни величини могат да се сближат слабо (по вероятност) както по-горе, без да сесближават силно (почти със сигурност) по-долу.
Силен закон
Силният закон на големите числа гласи че извадката средно се доближава почти със сигурнос към очакваната стойност
Това е,
Доказателството за това е по-сложно от тава на слабия закон. С този закон се оправдава интуитивното тълкуване на очакваната стойност на случайна величина като дългосрочните средни стойности при многократно вземане на проби
Конвергенция се нарича силното сближаване на случайни величини. Тази версия се нарича силен закон, тъй като случайните величини, които се събират силни (почти със сигурност) са гарантирани за сближаване на слаби (в вероятност). Силният закон предполага слаб закон.
Освен това, ако събираемите са независими, но не еднакво разпределени, тогава
при условие че всяка к X е ограничена до вторият момент и
Това изявление е известен като ''силен закон на Колмогоров.
Разлики между силен закон и слаб закон
''Слабият закон гласи, че за определени големи величини n, средната Файл:LLN10 е вероятно да е близка до μ. По този начин остава отворена възможността, че 
се случва безкрайно много пъти, макар и на редки интервали.
Силното право показва, че почти сигурно това няма да се случи. По-специално, това предполага, че с вероятност 1 имаме, че за всяко ε > 0, неравенството
се отнася и за всички достатъчно големи n.
Единен закон за големите числа
Да предположим, е (х, θ) е функция, определена за θ ∈ Θ, и непрекъсната, θ. Тогава за всяка фиксирана θ, последователността {F (X1, θ), е (X2, θ), ...} ще бъде поредица от независими и еднакво разпределени случайни величини, така че средната стойност на извадката на тази поредица да се доближава с вероятност до Е [е (X, θ)].
Единният закон за големите числа излага условията, при които конвергенцията се случва по еднакъв начин в θ. Ако
1. Θ е компактен,
2. е (х, θ) е непрекъсната във всяка Θ θ ∈ за почти всички Х,
3. съществува доминираща функция d (х), така че E [d (X)] < ∞, и
Тогава E[f(X,θ)] е непрекъсната в θ, и
Закон на Борел за големите числа
В закона на Борел за големите числа (на името на Емил Борел) се посочва, че ако експериментът се повтаря голям брой пъти, независимо при същите условия, тогава частта от времето, в която всяко специфично събитие се случва приблизително се равнява на вероятността от настъпване на събитието при всеки частен случай; по-големият брой повторения, по-добра тенденция за сближаване. По-точно, ако Е е въпросното събитие, р вероятността от грешка и Nn(E) броя събитията E случващи се през първите n опити с вероятност 1
Тази теорема прави строга интуитивната представа за вероятност, както в дългосрочен план относителната честота на настъпването на събитието. Това е частен случай при някои по-общи закони на големите числа в теорията на вероятностите.
Доказателство
Като се има предвид X1, X2, ... безкрайна поредица от независими и тъждествено разпределени i.i.d. случайни величини, с ограниченa очаквана E стойност (X1) = E (X2) = ... = μ <∞, ние сме заинтересовани от сходството на примерната средна
Слабият закон на големите числа:
Теорема: 
Доказателство използващо неравенството на Чебушев
Това доказателство използва допускането на крайно противоречие Файл:LLN18 (за всяко i). Независимостта на случайни величини предполага липса на корелация между тях, а ние имаме, че
Общото значение μ на поредицата е средната стойност на:
Използвайки неравенството на Чебушев за 
резултатът е:
Това може да се използва, за да се получи следното:
Когато n клони към безкрайност изразът се доближава до 1. И по дефиниция на сходство във вероятностите (Вж. Сходство на случайни величини ) получаваме:
Доказателство използващо сходство на характерни функции
При теоремата на Тейлър за комплексна функция характерната функция на всяка случайна величина, X, с ограничено значение μ, може да се запише като
Всички X1, X2, ... имат същата характерна функция, така че ние просто ще означаваме това φX.
Сред основните свойства на характерните функции са
Тези правила могат да бъдат използвани за изчисляване на характеристиките на функцията през период φX.
Границата eitμ е характерна функция на постоянната случайна променлива μ и следователно от теоремата за последователност на Леви, клони в разпределението към μ:
Μ μ е константа което означава, че сближаването в областта на дистрибуцията на μ и сближаването вероятността на μ са еквивалентни. (Вж. Сходство на случайни величини). Това означава, че
Това доказателство посочва, че средната стойност на извадката клони по вероятност до производната на функцията характеристика на произхода, при условие че той съществува.
Източници
- Grimmett, G. R. and Stirzaker, D. R. (1992). Probability and Random Processes, 2nd Edition. Clarendon Press, Oxford.
- Richard Durrett (1995). Probability: Theory and Examples, 2nd Edition. Duxbury Press.
- Martin Jacobsen (1992). Videregående Sandsynlighedsregning (Advanced Probability Theory) 3rd Edition. HCØ-tryk, Copenhagen.
- Loève, Michel (1977). Probability theory 1 (4th ed.). Springer Verlag.
- Newey, Whitney K.; McFadden, Daniel (1994). Large sample estimation and hypothesis testing. Handbook of econometrics, vol.IV, Ch.36. Elsevier Science. pp. 2111–2245.
- Ross, Sheldon (2009). A first course in probability (8th ed.). Prentice Hall press.
- Sen, P. K; Singer, J. M. (1993). Large sample methods in statistics. Chapman & Hall, Inc.