Центральная предельная теорема статистики. Центральная предельная теорема в MS EXCEL

Центральная предельная теорема (ЦПТ) представляет собой вторую группу предельных теорем, которые устанавливают связь между законом распределения суммы случайных величин и его предельной формой –нормальным законом распределения.

До сих пор мы часто говорили об устойчивости средних характеристик большого числа испытаний, говоря точнее, об устойчивости сумм вида

Однако следует обратить внимание, что величина
случайная, а значить, она имеет некоторый закон распределения. Оказывается этот замечательный факт, составляет содержание

другой группы теорем, объединяемых под общим названием центральная предельная теорема , что при досточно общих условиях закон распределенияблизок к нормальному закону.

Поскольку величина отличается от суммы

лишь постоянным множителем
то в общих чертах содержание ЦПТ может быть сформулировано следующим образом.

Распределение суммы большого числа независимых случайных величин при весьма

общих условиях близко к нормальному закону распределению.

Известно, что нормально распределенные случайные величины широко распространены на практике (не только в теории вероятностей, но и в её многочисленных приложениях). Чем такое явление объясняется? Ответ на такой «феномен» впервые был дан выдающимся русским математиком А.М. Ляпуновым в 1901году: «Центральная предельная теорема Ляпунова». Ответ Ляпунова заключается в его условии, при которых справедливо ЦПТ (см. далее).

В целях подготовки точной формулировки ЦПТ, поставим перед собой два вопроса:

1. Какой точный смысл содержит в себе утверждение о том, что «закон распределения суммы «близка» к нормальному закону?».

2. При каких условиях справедлива эта близость?

Чтобы ответить на эти вопросы, рассмотрим бесконечную последовательность случайных величин:
Составим «частичные суммы» нашей последовательности с.в.

(23)

От каждой случайных величин перейдём к «нормированной» случайной величине

(24)

Нами было установлено (см.Т.8., п.3, равенства (19)), что
.

Ответ на первый вопрос теперь можно сформулировать в виду предельного равенства

(25)
, (
,

означающего, что закон распределения с.в. с ростомприближается к нормальному закону с
. Разумеется, из того факта, что величинаимеет приближенно нормальное распределение, следует, что и величинараспределена приближенно нормально,

(26)

Формула для определения вероятности того, что сумма нескольких с.в. окажется в заданных пределах. Часто ЦПТ используют при

По поводу условий, которые следует наложить на величины
можно высказать следующие соображения. Рассмотрим разность
Получим отклонение с.вот её математического ожидания. Общий смысл накладываемых условий, на величины
заключается в том, что отдельные отклонения
должны быть равномерно малы по сравнению с суммарным отклонением
Точную формулировку этих условий, при которых справедливо предельное соотношение дал М.А. Ляпунов в 1901 году. Она заключается в следующем.

Пусть для каждой из величин
числаконечны, (заметим, чтоесть дисперсия с.в.
- «центральный момент третьего порядка» ).

Если при

то будем говорить, что последовательность
удовлетворяетусловию Ляпунова.

В частности, ЦПТ для случаев, когда в сумме случайных величин каждый слагаемый имеет одинаковое распределение, т.е. все и
то условие Ляпунова выполняется

Именно, на практике такой случай ЦПТ чаще всего используется. Потому, что в математической статистике любая случайная выборка с.в. имеют одинаковые распределения, поскольку «выборки» получены из одной и той же генеральной совокупности.

Сформулируем этот случай как отдельное утверждение ЦПТ.

Теорема 10.7 (ЦПТ). Пусть случайные величины
независимы, одинаково распределены, имеют конечные математическое ожидание
и дисперсию

Тогда функция распределения центрированной и нормированной суммы этих с.в. при
стремится к функции распределения стандартной нормальной случайной величины:

(27)

На этом частном случае хорошо осмыслить, в чем находит своё проявление равномерная «малость» слагаемых,
где величинаимеет порядок, а величина
порядок
, тем самым отношение первой величины ко второй стремится, к 0.

Теперь мы в состоянии сформулировать центральную предельную теорему в форме А.М. Ляпунова.

Теорема 10.8. (Ляпунова). Если последовательность
независимых случайных величин удовлетворяет условию Ляпунова, то справедливо предельное соотношение

(28)
,

для любых
и, при этом (
.

Иными словами, в этом случае закон распределения нормированной суммы сходится к нормальному закону с параметрами

Следует отметить, что для доказательства ЦПТ А.М. Ляпунов разработал специальный метод, основанный на теорию так называемых характеристических функций. Этот метод оказался весьма полезным и в других разделах математики (см. доказательство ЦПТ например в кн. Бородин […]). В этой книге мы, о производящих функциях будем давать краткую информацию и некоторые применения к подсчёту числовых характеристик случайных величин.

Краткие сведения об ошибке измерений. Известно, что при повторении измерений одного и того же объекта, выполненными одним и тем же измерительным прибором с одинаковой тщательностью (при одинаковых условиях) не всегда достигаются одинаковые результаты. Разброс результатов измерения вызван тем, что на процесс измерения влияют многочисленные факторы, которые не возможно и не целесообразно учитывать. В этой ситуации ошибку, возникающую при измерении интересующей нас величины часто можно рассматривать как сумму большого числа независимых между собой слагаемых, каждое из которых даёт лишь незначительный вклад в образование всей суммы. Но такие случаи приводят нас как раз к условиям применимости теоремы Ляпунова и можно ожидать, что распределение ошибки измеряемой величины мало отличается от нормального распределения.

В более общем случае, ошибка является функцией большого числа случайных аргументов, каждый из которых лишь немного отличается от своего математического ожидания. Линеаризуя эту функцию, то есть, заменяя её линейной, опять приходят к предыдущему случаю. Накопленный опыт по статистической обработке результатов измерений действительно подтверждает этот факт в большинстве практических случаев.

Аналогичные рассуждения объясняют появление нормального распределения в отклонениях параметров, определяющих выпущенную готовую продукцию (изделия), от нормативных значений при массовом производстве.

Рассмотрим следующий пример.

Пример 5. Независимые случайные величиныраспределены равномерно на отрезке . Найти закон распределения с.в.
, а также вероятность того, что

Решение. Условия ЦПТ соблюдается, поэтому с.в.имеет приближенно плотность распределения

По известным формулам для м.о. и дисперсии в случае равномерного распределения находим: Тогда

На основании формулы (26), находим (с учётом табличных значений функции Лапласа)

Многие задачи ТВ связаны с изучением суммы независимых случайных величин, которая при определенных условиях имеет распределение, близкое к нормальному. Эти условия выражаются центральной предельной теоремой (ЦПТ).

Пусть ξ 1, ξ 2 , …, ξ n , …– последовательность независимых случайных величин. Обозначим

n η = ξ 1 + ξ 2 +…+ ξ n. Говорят, что к последовательности ξ 1, ξ 2 , …, ξ n , … применима ЦТП,

если при n → ∞ закон распределения η n стремится к нормальному:

Суть ЦПТ: при неограниченном увеличении числа случайных величин закон распределения их суммы стремится к нормальному.

Центральная предельная теорема Ляпунова

Закон больших чисел не исследует вид предельного закона распределения суммы случайных величин. Этот вопрос рассмотрен в группе теорем, называемых центральной предельной теоремой. Они утверждают, что закон распределения суммы случайных величин, каждая из которых может иметь различные распределения, приближается к нормальному при достаточ-но большом числе слагаемых. Этим объясняется важность нормального закона для практичес-ких приложений.

Характеристические функции.

Для доказательства центральной предельной теоремы используется метод характеристичес-ких функций.

Определение 14.1. Характеристической функцией случайной величины Х называется функция

g (t ) = M ( e itX ) (14.1)

Таким образом, g (t ) представляет собой математическое ожидание некоторой комплексной случайной величины U = e itX , связанной с величиной Х . В частности, если Х – дискретная случайная величина, заданная рядом распределения, то

. (14.2)

Для непрерывной случайной величины с плотностью распределения f (x )

(14.3)

Пример 1. Пусть Х – число выпадений 6 очков при одном броске игральной кости. Тогда по формуле (14.2) g (t ) =

Пример 2. Найдем характеристическую функцию для нормированной непрерывной случайной величины, распределенной по нормальному закону . По формуле (14.3) (использовалась формула и то, что i ² = -1).

Свойства характеристических функций.

1. Функцию f (x ) можно найти по известной функции g (t ) по формуле

(14.4)

(преобразование (14.3) называется преобразованием Фурье , а преобразование (14.4) – обратным преобразованием Фурье ).

2. Если случайные величины Х и Y связаны соотношением Y = aX , то их характеристические функции связаны соотношением

g y (t ) = g x (at ). (14.5)

3. Характеристическая функция суммы независимых случайных величин равна произведению характеристических функций слагаемых: для

Теорема 14.1 (центральная предельная теорема для одинаково распределенных слагае-мых). Если Х 1 , Х 2 ,…, Х п ,… - независимые случайные величины с одинаковым законом распределения, математическим ожиданием т и дисперсией σ 2 , то при неограниченном увеличении п закон распределения суммы неограниченно приближается к нор-мальному.

Доказательство.

Докажем теорему для непрерывных случайных величин Х 1 , Х 2 ,…, Х п (доказательство для дискретных величин аналогично). Согласно условию теоремы, характеристические функции слагаемых одинаковы: Тогда по свойству 3 характеристическая функция суммы Y n будет Разложим функцию g x (t ) в ряд Маклорена:

, где при .

Если предположить, что т = 0 (то есть перенести начало отсчета в точку т ), то .

(так как т = 0). Подставив полученные результаты в формулу Маклорена, найдем, что

Рассмотрим новую случайную величину , отличающуюся от Y n тем, что ее дисперсия при любом п равна 0. Так как Y n и Z n связаны линейной зависимостью, достаточно доказать, что Z n распределена по нормальному закону, или, что то же самое, что ее характе-ристическая функция приближается к характеристической функции нормального закона (см. пример 2). По свойству характеристических функций

Прологарифмируем полученное выражение:

где

Разложим в ряд при п → ∞, ограничившись двумя членами разложения, тогда ln(1 - k ) ≈ - k .

Где последний предел равен 0, так как при . Следовательно, , то есть - характеристическая функция нормального распределения. Итак, при неограниченном увеличении числа слагаемых характеристическая функция величины Z n неограниченно приближается к характеристической функции нормального закона; следова-тельно, закон распределения Z n (и Y n ) неограниченно приближается к нормальному. Теорема доказана.

А.М.Ляпунов доказал центральную предельную теорему для условий более общего вида:

Теорема 14.2 (теорема Ляпунова). Если случайная величина Х представляет собой сумму очень большого числа взаимно независимых случайных величин, для которых выполнено условие:

где b k – третий абсолютный центральный момент величины Х к , а D k – ее дисперсия, то Х имеет распределение, близкое к нормальному (условие Ляпунова означает, что влияние каждого слагаемого на сумму ничтожно мало).

Практически можно использовать центральную предельную теорему при достаточно небольшом количестве слагаемых, так как вероятностные расчеты требуют сравнительно малой точности. Опыт показывает, что для суммы даже десяти и менее слагаемых закон их распределения можно заменить нормальным.

Рассмотренный выше закон больших чисел устанавливает факт приближения средней большого числа случайных величин к определен- н ы м ностоянн ы м. Но этим не ограничиваются закономерности, возникающие в результате суммарного действия случайных величии. Оказывается, что при некоторых весьма общих условиях совокупное действие большого числа случайных величин приводит к определен - н о м у, а именно - к н о р м а л ь н о м у закону распределения.

Центральная предельная теорема представляет собой группу теорем, посвященных установлению условий, при которых возникает нормальный закон распределения. Среди этих теорем важнейшее место принадлежит теореме Ляпунова.

Теорема Ляпунова. Если Х { , Х ъ ..., , у каждой из которых существует математическое ожидание М(Х г) = а ,

дисперсия 0(Хд =а 2 , абсолютный центральный момент третьего порядка и

то закон распределения суммы при п -> оо неограничен

но приближается к нормальному с математическим ожиданием и дисперсией

Теорему принимаем без доказательства.

Неограниченное приближение закона распределения суммы

к нормальному закону при п -> оо в соответствии со свойствами нормального закона означает, что

где Ф(г) - функция Лапласа (2.11).

Смысл условия (6.20) состоит в том, чтобы в сумме не было

слагаемых, влияние которых на рассеяние У п подавляюще велико по сравнению с влиянием всех остальных, а также не должно быть большого числа случайных слагаемых, влияние которых очень мало по сравнению с суммарным влиянием остальных. Таким образом, удельный вес каждого отдельного слагаемого должен стремиться к нулю при увеличении числа слагаемых.

Так, например, потребление электроэнергии для бытовых нужд за месяц в каждой квартире многоквартирного дома можно представить в виде п различных случайных величин. Если потребление электроэнергии в каждой квартире по своему значению резко не выделяется среди остальных, то на основании теоремы Ляпунова можно считать, что потребление электроэнергии всего дома, т.е. сумма п независимых случайных величин будет случайной величиной, имеющей приближенно нормальный закон распределения. Если, например, в одном из помещений дома разместится вычислительный центр, у которого уровень потребления электроэнергии несравнимо выше, чем в каждой квартире для бытовых нужд, то вывод о приближенно нормальном распределении потребления электроэнергии всего дома будет неправомерен, так как нарушено условие (6.20), ибо потребление электроэнергии вычислительного центра будет играть превалирующую роль в образовании всей суммы потребления.

Другой пример. При устойчивом и отлаженном режиме работы станков, однородности обрабатываемого материала и т.д. варьирование качества продукции принимает форму нормального закона распределения в силу того, что производственная погрешность представляет собой результат суммарного действия большого числа случайных величин: погрешности станка, инструмента, рабочего и т.д.

Следствие. Если Х { , Х 2 , ..., Х п - независимые случайные величины , у которых существуют равные математические ожидания М(Х {) = а , дисперсии 0(Х,) = а 2 и абсолютные центральные моменты третьего

порядка то закон распределения суммы

при п -> со неограниченно приближается к нормальному

закону.

Доказательство сводится к проверке условия (6.20):

следовательно, имеет место и равенство (6.21). ?

В частности, если все случайные величины Х } одинаково распределены , то закон распределения их суммы неограниченно приближается к нормальному закону при п -> оо.

Проиллюстрируем это утверждение па примере суммирования независимых случайных величин, имеющих равномерное распределение на интервале (0, 1). Кривая распределения одной такой случайной величины показана на рис. 6.2, а. На рис. 6.2, б показана плотность вероятности суммы двух таких случайных величин (см. пример 5.9), а на рис. 6.2, в - плотность вероятности суммы трех таких случайных величин (ее график состоит из трех отрезков парабол на интервалах (0; 1), (1; 2) и (2; 3) и но виду уже напоминает нормальную кривую).

Если сложить шесть таких случайных величин, то получится случайная величина с плотностью вероятности, практически не отличающейся от нормальной.

Теперь у нас имеется возможность доказать локальную и ипте- гральную теоремы Муавра - Лапласа (см. параграф 2.3).

Рассмотрим случайную величину - число появлений события в п независимых испытаниях, в каждом из которых оно может появиться с одной и той же вероятностью р, т.е. X = т - случайная величина, имеющая биномиальный закон распределения, для которого математическое ожидание М(Х) = пр и дисперсия О(Х) = пру.

Случайная величина 7, так же как случайная величина X, вообще говоря, дискретна, но при большом числе п испытаний ее значения расположены на оси абсцисс так тесно, что ее можно рассматривать как непрерывную с плотностью вероятности ср(х).

Найдем числовые характеристики случайной величины 7, используя свойства математического ожидания и дисперсии:

В силу того, что случайная величина X представляет собой сумму независимых альтернативных случайных величин (см. параграф 4.1), случайная величина 2 представляет также сумму независимых, одинаково распределенных случайных величин и, следовательно, на основании центральной предельной теоремы при большом числе п имеет распределение, близкое к нормальному закону с параметрами а = 0, с 2 = 1. Используя свойство (4.32) нормального закона, с учетом равенств (4.33) получим

Полагая , с учетом того, что получаем,

что двойное неравенство в скобках равносильно неравенству аВ результате из формулы (6.22) получим интегральную формулу Муавра - Лапласа (2.10):

Вероятность Р т п того, что событие А произойдет т раз в п независимых испытаниях, можно приближенно записать в виде

Чем меньше Ат, тем точнее приближенное равенство. Минимальное (целое) Ат - 1. Поэтому, учитывая формулы (6.23) и (6.22), можно записать:

где

При малых Дг имеем

где ф(г) - плотность стандартной нормально распределенной случайной величины с параметрами а = 0, а 2 = 1, т.е.

Полагая , из формулы

(6.25) с учетом равенства (6.24) получим локальную формулу Муавра - Лапласа (2.7):

Замечание. Необходимо соблюдать известную осторожность, применяя центральную предельную теорему в статистических исследованиях. Так, если сумма при п -> оо всегда имеет нормальный закон

распределения, то скорость сходимости к нему существенно зависит от типа распределения ее слагаемых. Так, например, как отмечено выше, при суммировании равномерно распределенных случайных величин уже при 6-10 слагаемых можно добиться достаточной близости к нормальному закону, в то время как для достижения той же близости при суммировании х 2 -распределенных случайных слагаемых понадобится более 100 слагаемых.

Опираясь на центральную предельную теорему, можно утверждать, что рассмотренные в гл. 4 случайные величины, имеющие законы распределения - биномиальный, Пуассона, гипергеометрический, у} («хи-квадрат»), Ь (Стьюдента), при п -> оо распределены асимптотически нормально.