Гипотезы байеса. Формулы бейеса

Занятие № 4.

Тема: Формула полной вероятности. Формула Байеса. Схема Бернулли. Полиномиальная схема. Гипергеометрическая схема.

ФОРМУЛА ПОЛНОЙ ВЕРОЯТНОСТИ

ФОРМУЛА БАЙЕСА

ТЕОРИЯ

Формула полной вероятности:

Пусть имеется полная группа несовместных событий :

(, ).Тогда вероятность события А можно рассчитать по формуле

(4.1)

События называются гипотезами. Гипотезы выдвигаются относительно той части эксперимента, в которой присутствует неопределённость.

, где - априорные вероятности гипотез

Формула Байеса:

Пусть опыт завершён и известно, что в результате опыта произошло событие A. Тогда можно с учётом этой информации переоценить вероятности гипотез:

(4.2)

, где апостериорные вероятности гипотез

РЕШЕНИЕ ЗАДАЧ

Задача 1.

Условие

В поступивших на склад 3 партиях деталей годные составляют 89 %, 92 % и 97 % соот­ветственно. Количество деталей в партиях относится как 1:2:3.

Чему равна вероятность того, что случайно выбранная со склада деталь окажется бракованной. Пусть известно, что случайно выбранная деталь оказалось бракованной. Найти вероят­ности того, что она принадлежит первой, второй и третьей партиям.

Решение:

Обозначим через А событие, состоящее в том, что случайно выбранная деталь окажется бракованной.

1-ый вопрос – на формулу полной вероятности

2-ой вопрос - на формулу Байеса

Гипотезы выдвигаются относительно той части эксперимента, в которой присутствует неопределённость. В данной задаче неопределённость состоит в том, из какой партии случайно выбранная деталь.

Пусть в первой партии а деталей. Тогда во второй партии – 2 a деталей, а в третьей – 3 a деталей. Всего в трёх партиях 6 a деталей.

(процент брака на первой линии перевели в вероятность)


(процент брака на второй линии перевели в вероятность)

(процент брака на третьей линии перевели в вероятность)

По формуле полной вероятности рассчитываем вероятность события A

-ответ на 1 вопрос

Вероятности того, что бракованная деталь принадлежит первой, второй и третьей партиям рассчитываем по формуле Байеса:

Задача 2.

Условие:

В первой урне 10 шаров: 4 белых и 6 чёрных. Во второй урне 20 шаров: 2 белых и 18 чёрных. Из каждой урны выбирают случайным образом по одному шару и кладут в третью урну. Затем из третьей урны случайным образом выбирают один шар. Найти вероятность того, что извлечённый из третьей урны шар будет белым.

Решение:

Ответ на вопрос задачи можно получить с помощью формулы полной вероятности:

Неопределённость состоит в том, какие шары попали в третью урну. Выдвигаем гипотезы относительно состава шаров в третьей урне.

H1={в третьей урне 2 белых шара}

H2={в третьей урне 2 чёрных шара}

H3={ в третьей урне 1 белый шар и 1 чёрный шар}

A={шар взятый из 3 урны будет белым}

Задача 3.

В урну, содержащую 2 шара неизвестного цвета, опустили белый шар. После этого из этой урны извлекаем 1 шар. Найти вероятность того, что шар извлечённый из урны будет белым. Шар, извлечённый из выше описанной урны, оказался белым. Найти вероятности того, что в урне до перекладывания было 0 белых шаров, 1 белый шар и 2 белых шара .

1 вопро с - на формулу полной вероятности

2 вопрос –на формулу Байеса

Неопределённость состоит в первоначальном составе шаров в урне. Относительно первоначального состава шаров в урне выдвигаем следующие гипотезы:

Hi={ в урне до перекладывания был i-1 белый шар}, i=1,2,3

, i=1,2,3 (в ситуации полной неопределённости априорные вероятности гипотез берём одинаковыми, т. к. мы не можем сказать, что один вариант более вероятен по сравнению с другим)

А={шар, извлечённый из урны после перекладывания, будет белым}

Вычислим условные вероятности:

Произведём расчёт по формуле полной вероятности:

Ответ на 1 вопрос

Для ответа на второй вопрос используем формулу Байеса:

(уменьшилась по сравнению с априорной вероятностью)

(не изменилась по сравнению с априорной вероятностью)

(увеличилась по сравнению с априорной вероятностью)

Вывод из сравнения априорных и апостериорных вероятностей гипотез: первоначальная неопределённость количественно поменялась

Задача 4.

Условие:

При переливании крови надо учитывать группы крови донора и больного. Человеку, имеющему четвёртую группу крови можно перелить кровь любой группы , человеку со второй и третьей группой можно перелить либо кровь его группы , либо первой. Человеку с первой группой крови можно перелить кровь только первой группы. Известно, что среди населения 33,7 % имеют первую груп пу, 37,5 % имеют вторую группу, 20,9 % имеют третью группу и 7,9 % имеют 4 группу. Найти вероятность того, что случайно взятому больному можно перелить кровь случайно взятого донора.


Решение:

Выдвигаем гипотезы о группе крови случайно взятого больного:

Hi={у больного i-ая группа крови}, i=1,2,3,4

(Проценты перевели в вероятности)

A={ можно осуществить переливание}

По формуле полной вероятности получаем:

Т. е. переливание можно осуществить примерно в 60 % случаев

Схема Бернулли (или биномиальная схема)

Испытания Бернулли – это независимые испытания 2 исхода, которые условно называем успех и неудача.

p- вероятность успеха

q –вероятность неудачи

Вероятность успеха не меняется от опыта к опыту

Результат предыдущего испытания не влияет на следующие испытания.

Проведение описанных выше испытаний называется схемой Бернулли или биномиальной схемой.

Примеры испытаний Бернулли:

Подбрасывание монеты

Успех – герб

Неудача- решка

Случай правильной монеты

случай неправильной монеты

p и q не меняются от опыта к опыту, если в процессе проведения опыта мы не меняем монету

Подбрасывание игральной кости

Успех - выпадение «6»

Неудача – всё остальное

Случай правильной игральной кости

Случай неправильной игральной кости

p и q не меняются от опыта к опыту, если в процессе проведения опыта мы не меняем игральную кость

Стрельба стрелка по мишени

Успех - попадание

Неудача – промах

p =0.1 (стрелок попадает в одном выстреле из 10)

p и q не меняются от опыта к опыту, если в процессе проведения опыта мы не меняем стрелка

Формула Бернулли.

Пусть проводится n p. Рассмотрим события

{в n испытаниях Бернулли с вероятностью успеха p произойдёт m успехов},

-для вероятностей таких событий существует стандартное обозначение

<-Формула Бернулли для расчёта вероятностей (4.3)

Пояснение к формуле : вероятность того, что произойдёт m успехов (вероятности перемножаются, т. к. испытания независимы, а т. к. они все одинаковы появляется степень), - вероятность того, что произойдёт n-m неудач (объяснение аналогично как для успехов), - число способов реализации события, т. е. сколькими способами может разместиться m успехов на n местах.

Следствия формулы Бернулли:

Следствие 1:

Пусть проводится n испытаний Бернулли c вероятностью успеха p. Рассмотрим события

A(m1, m2)={число успехов в n испытаниях Бернулли будет заключено в диапазоне [ m1; m2]}

(4.4)

Пояснение к формуле: Формула (4.4) следует из формулы (4.3) и теоремы сложения вероятностей для несовместных событий, т. к. -сумма (объединение) несовместных событий, а вероятность каждого определяется формулой (4.3).

Следствие 2

Пусть проводится n испытаний Бернулли c вероятностью успеха p. Рассмотрим событие

A={ в n испытаниях Бернулли произойдёт хотя бы 1 успех }

(4.5)

Пояснение к формуле: ={ в n испытаниях Бернулли не будет ни одного успеха}=

{все n испытаний будут неудачны}

Задача (на формулу Бернулли и следствия к ней) пример к задаче 1.6-Д. з.

Правильную монету подбрасывают 10 раз . Найти вероятности следующих событий:

A={герб выпадет ровно 5 раз}

B={герб выпадет не более 5 раз}

C={герб выпадет хотя бы 1 раз}

Решение:

Переформулируем задачу в терминах испытаний Бернулли:

n=10 число испытаний

успех - герб

p=0.5 –вероятность успеха

q=1-p=0.5 –вероятность неудачи

Для расчёта вероятности события A используем формулу Бернулли:

Для расчёта вероятности события В используем следствие 1 к формуле Бернулли:

Для расчёта вероятности события С используем следствие 2 к формуле Бернулли:

Схема Бернулли. Расчёт по приближённым формулам.

ПРИБЛИЖЁННЫЕ ФОРМУЛА МУАВРА-ЛАПЛАСА

Локальная формула

p успеха и q неудачи, то для всех m справедлива приближённая формула:

, (4.6)

m.

Значение функции можно найти в специальной таблице. Там содержатся значения только для . Но функция -чётная, т. е. .

Если , то полагают

Интегральная формула

Если в схеме Бернулли число испытаний n велико причём велики также вероятности p успеха и q неудачи, то для всех справедлива приближённая формула (4.7) :

Значение функции можно найти в специальной таблице. Там содержатся значения только для . Но функция -нечётная, т. е. .

Если , то полагают

ПРИБЛИЖЁННЫЕ ФОРМУЛЫ ПУАССОНА

Локальная формула

Пусть число испытаний n по схеме Бернулли велико, а вероятность успеха в одном испытании мала, причём мало также произведение . Тогда определяют по приближенной формуле:

, (4.8)

Вероятность того, что число успехов в n испытаниях Бернулли равно m.

Значения функции можно посмотреть в специальной таблице.

Интегральная формула

Пусть число испытаний n по схеме Бернулли велико, а вероятность успеха в одном испытании мала, причём мало также произведение .

Тогда определяют по приближенной формуле:

, (4.9)

Вероятность того, что число успехов в n испытаниях Бернулли заключено в диапазоне .

Значения функции можно посмотреть в специальной таблице и затем просуммировать по диапазону.

Формула

Формула Пуассона

Формула Муавра-Лапласа

Качество

оценки

оценки грубы

10

используются для грубых прикидочных

расчётов

используются для прикладных

инженерных расчётов

100 0

используются для любых инженерных расчётов

n>1000

очень хорошее качество оценок

Можно посмотреть в кач-ве примеров к задачам 1.7 и 1.8 Д. з.

Расчёт по формуле Пуассона.

Задача (формула Пуассона).

Условие:

Вероятность искажения одного символа при передаче сообщения по линии связи равна 0.001. Сообщение считают принятым, если в нём отсутствуют искажения. Найти вероятность того, что будет принято сообщение, состоящее из 20 слов по 100 символов каждое.

Решение:

Обозначим через А

-количество символов в сообщении

успех: символ не искажается

Вероятность успеха

Вычислим . См. рекомендации по применению приближенных формул () : для расчёта нужно применить формулу Пуассона

Вероятности для формулы Пуассона по и m можно найти в специальной таблице.

Условие:

Телефонная станция обслуживает 1000 абонентов. Вероятность того, что в течении минуты какому-либо абоненту понадобится соединение, равна 0,0007. Вычислить вероятность того, что за минуту на телефонную станцию поступит не менее 3 вызовов.

Решение:

Переформулируем задачу в терминах схемы Бернулли

успех: поступление вызова

Вероятность успеха

–диапазон, в котором должно лежать число успехов

А={ поступит не менее трёх вызовов}-событие, вероятность которого треб. найти в задаче

{поступит менее трёх вызовов} Переходим к доп. событию, т. к. его вероятность подсчитать проще.

(расчёт слагаемых см. специальная таблица)

Таким образом,

Задача (локальная формула Мувра-Лапласа)

Условие

Вероятность попадания в цель при одном выстреле равна 0.8. Определить вероятность того, что при 400 выстрелах произойдёт ровно 300 попаданий.

Решение:

Переформулируем задачу в терминах схемы Бернулли

n=400 –число испытаний

m=300 –число успехов

успех - попадание

(Вопрос задачи в терминах схемы Бернулли)

Предварительный расчёт:

Проводим независимые испытания , в каждом из которых мы различаем m вариантов.

p1 – вероятность получить первый вариант при одном испытании

p2 – вероятность получить второй вариант при одном испытании

…………..

pm – вероятность получить m-ый вариант при одном испытании

p1, p2, …………….., pm не меняются от опыта к опыту

Последовательность описанных выше испытаний называется полиномиальной схемой.

(при m=2 полиномиальная схема превращается в биномиальную), т. е. изложенная выше биномиальная схема –это частный случай более общей схемы, называемой полиномиальной).

Рассмотрим следующие события

А(n1,n2,….,nm)={ в n испытаниях описанных выше n1 раз появился вариант 1, n2 раз появился вариант 2, ….., и т. д. , nm раз появился вариант m}

Формула для расчёта вероятностей по полиномиальной схеме

Условие

Игральную кость бросают 10 раз. Требуется найти вероятность того, что «6» выпадет 2 раза , а «5» выпадет 3 раза .

Решение:

Обозначим через А событие вероятность которого требуется найти в задаче.

n=10 – число испытаний

m=3

1 вариант-выпадение 6

p1=1/6 n1=2

2 вариант-выпадение 5

p2=1/6 n2=3

3 вариант-выпадение любой грани, кроме 5 и 6

p3=4/6 n3=5

P(2,3,5)-? (вероятность события, о котором говорится в условии задачи)

Задача на полиномиальную схему

Условие

Найти вероятность того, что среди 10 случайным образом выбранных человек у четырёх дни рождения будут в первом квартале, у трёх – во втором, у двух – в третьем и у одного – в четвёртом.

Решение:

Обозначим через А событие вероятность которого требуется найти в задаче.

Переформулируем задачу в терминах полиномиальной схемы:

n=10 – число испытаний =числу людей

m=4 – число вариантов, которые мы различаем в каждом испытании

1 вариант-рождение в 1 квартале

p1=1/4 n1=4

2 вариант-рождение во 2 квартале

p2=1/4 n2=3

3 вариант - рождение в 3 квартале

p3=1/4 n3=2

4 вариант - рождение в 4 квартале

p4=1/4 n4=1

P(4,3,2,1)-? (вероятность события, о котором говорится в условии задачи)

Предполагаем, что вероятность родиться в любом квартале одинакова и равна 1/4. Проведём расчёт по формуле для полиномиальной схемы:

Задача на полиномиальную схему

Условие

В урне 30 шаров: с возвращением. 3 белых , 2 зелёных , 4 синих и 1 жёлтый.

Решение:

Обозначим через А событие вероятность которого требуется найти в задаче.

Переформулируем задачу в терминах полиномиальной схемы:

n=10 – число испытаний = числу выбранных шаров

m=4 – число вариантов, которые мы различаем в каждом испытании

1 вариант - выбор белого шара

p1=1/3 n1=3

2 вариант - выбор зелёного шара

p2=1/6 n2=2

3 вариант - выбор синего шара

p3=4/15 n3=4

4 вариант - выбор жёлтого шара

p4=7/30 n4=1

P(3,2,4,1)-? (вероятность события, о котором говорится в условии задачи)

p1, p2 , p3, p4 не меняются от опыта к опыту так как выбор производится с возвращением

Проведём расчёт по формуле для полиномиальной схемы:

Гипергеометрическая схема

Пусть имеется n элементов k типов:

n1 первого типа

n2 второго типа

nk k-го типа

Из этих n элементов случайным образом без возвращения выбирают m элементов

Рассмотрим событие A(m1,…,mk), состоящее в том, что среди выбранных m элементов будет

m1 первого типа

m2 второго типа

mk k-го типа

Вероятность этого события рассчитывается по формуле

P(A(m1,…,mk))=(4.11)

Пример 1.

Задача на гипергеометрическую схему (образец к задаче 1.9 Д. з)

Условие

В урне 30 шаров: 10 белых, 5 зелёных, 8 синих и 7 жёлтых (шары различа­ются только цветом). Из урны случайным образом выбирают 10 шаров без возвращения . Найти вероятность того, что среди выбранных шаров будет:3 белых , 2 зелёных , 4 синих и 1 жёлтый.

У нас n=30, k=4,

n1=10, n2=5, n3=8, n4=7,

m1=3, m2=2, m3=4, m4=1

P(A(3,2,4,1))== можно досчитать до числа зная формулу для сочетаний

Пример 2.

Пример расчёта по этой схемы: см. расчёты для игры Спортлото (тема 1)

Пусть известны их вероятности и соответствующие условные вероятности . Тогда вероятность наступления события равна:

Эта формула получила название формулы полной вероятности . В учебниках она формулируется теоремой, доказательство которой элементарно: согласно алгебре событий , (произошло событие и или произошло событие и после него наступило событие или произошло событие и после него наступило событие или …. или произошло событие и после него наступило событие ) . Поскольку гипотезы несовместны, а событие – зависимо, то по теореме сложения вероятностей несовместных событий (первый шаг) и теореме умножения вероятностей зависимых событий (второй шаг) :

Наверное, многие предчувствуют содержание первого примера =)

Куда ни плюнь – везде урна:

Задача 1

Имеются три одинаковые урны. В первой урне находятся 4 белых и 7 черных шаров, во второй – только белые и в третьей – только черные шары. Наудачу выбирается одна урна и из неё наугад извлекается шар. Какова вероятность того, что этот шар чёрный?

Решение : рассмотрим событие – из наугад выбранной урны будет извлечён чёрный шар. Данное событие может произойти или не произойти в результате осуществления одной из следующих гипотез:
– будет выбрана 1-я урна;
– будет выбрана 2-я урна;
– будет выбрана 3-я урна.

Так как урна выбирается наугад, то выбор любой из трёх урн равновозможен , следовательно:

Обратите внимание, что перечисленные гипотезы образуют полную группу событий , то есть, по условию чёрный шар может появиться только из этих урн, а например, не прилететь с бильярдного стола. Проведём простую промежуточную проверку:
, ОК, едем дальше:

В первой урне 4 белых + 7 черных = 11 шаров, по классическому определению :
– вероятность извлечения чёрного шара при условии , что будет выбрана 1-я урна.

Во второй урне только белые шары, поэтому в случае её выбора появление чёрного шара становится невозможным : .

И, наконец, в третьей урне одни чёрные шары, а значит, соответствующая условная вероятность извлечения чёрного шара составит (событие достоверно) .



– вероятность того, что из наугад выбранной урны будет извлечен чёрный шар.

Ответ :

Разобранный пример снова наводит на мысль о том, как важно ВНИКАТЬ В УСЛОВИЕ. Возьмём те же задачи с урнами и шарами – при их внешней схожести способы решения могут быть совершенно разными: где-то требуется применить только классическое определение вероятности , где-то события независимы , где-то зависимы , а где-то речь о гипотезах. При этом не существует чёткого формального критерия для выбора пути решения – над ним почти всегда нужно думать. Как повысить свою квалификацию? Решаем, решаем и ещё раз решаем!

Задача 2

В тире имеются 5 различных по точности боя винтовок. Вероятности попада­ния в мишень для данного стрелка соответственно равны 0,5; 0,55; 0,7; 0,75 и 0,4. Чему равна вероятность попадания в мишень, если стрелок делает один выстрел из слу­чайно выбранной винтовки?

Краткое решение и ответ в конце урока.

В большинстве тематических задач гипотезы, конечно же, не равновероятны:

Задача 3

В пирамиде 5 винтовок, три из которых снабжены оптическим прицелом. Вероятность того, что стрелок поразит мишень при выстреле из винтовки с оптическим прицелом, равна 0,95; для винтовки без оптического прицела эта вероятность равна 0,7. Найти вероятность того, что мишень будет поражена, если стрелок производит один выстрел из наудачу взятой винтовки.

Решение : в этой задаче количество винтовок точно такое же, как и в предыдущей, но вот гипотезы всего две:
– стрелок выберет винтовку с оптическим прицелом;
– стрелок выберет винтовку без оптического прицела.
По классическому определению вероятности : .
Контроль:

Рассмотрим событие: – стрелок поразит мишень из наугад взятой винтовки.
По условию: .

По формуле полной вероятности:

Ответ : 0,85

На практике вполне допустим укороченный способ оформления задачи, который вам тоже хорошо знаком:

Решение : по классическому определению: – вероятности выбора винтовки с оптическим и без оптического прицела соответственно.

По условию, – вероятности попадания в мишень из соответствующих типов винтовок.

По формуле полной вероятности:
– вероятность того, что стрелок поразит мишень из наугад выбранной винтовки.

Ответ : 0,85

Следующая задача для самостоятельного решения:

Задача 4

Двигатель работает в трёх режимах: нормальном, форсированном и на холостом ходу. В режиме холостого хода вероятность его выхода из строя равна 0,05, при нормальном режиме работы – 0,1, а при форсированном – 0,7. 70% времени двигатель работает в нормальном режиме, а 20% – в форсированном. Какова вероятность выхода из строя двигателя во время работы?

На всякий случай напомню – чтобы получить значения вероятностей проценты нужно разделить на 100. Будьте очень внимательны! По моим наблюдениям, условия задач на формулу полной вероятности частенько пытаются подзапутать; и я специально подобрал такой пример. Скажу по секрету – сам чуть не запутался =)

Решение в конце урока (оформлено коротким способом)

Задачи на формулы Байеса

Материал тесно связан с содержанием предыдущего параграфа. Пусть событие наступило в результате осуществления одной из гипотез . Как определить вероятность того, что имела место та или иная гипотеза?

При условии , что событие уже произошло , вероятности гипотез переоцениваются по формулам, которые получили фамилию английского священника Томаса Байеса:


– вероятность того, что имела место гипотеза ;
– вероятность того, что имела место гипотеза ;
…
– вероятность того, что имела место гипотеза .

На первый взгляд кажется полной нелепицей – зачем пересчитывать вероятности гипотез, если они и так известны? Но на самом деле разница есть:

– это априорные (оцененные до испытания) вероятности.

– это апостериорные (оцененные после испытания) вероятности тех же гипотез, пересчитанные в связи «со вновь открывшимися обстоятельствами » – с учётом того факта, что событие достоверно произошло .

Рассмотрим это различие на конкретном примере:

Задача 5

На склад поступило 2 партии изделий: первая – 4000 штук, вторая – 6000 штук. Средний процент нестандартных изделий в первой партии составляет 20%, а во второй – 10%. Наудачу взятое со склада изделие оказалось стандартным. Найти вероятность того, что оно: а) из первой партии, б) из второй партии.

Первая часть решения состоит в использовании формулы полной вероятности. Иными словами, вычисления проводятся в предположении, что испытание ещё не произведено и событие «изделие оказалось стандартным» пока не наступило.

Рассмотрим две гипотезы:
– наудачу взятое изделие будет из 1-й партии;
– наудачу взятое изделие будет из 2-й партии.

Всего: 4000 + 6000 = 10000 изделий на складе. По классическому определению :
.

Контроль:

Рассмотрим зависимое событие: – наудачу взятое со склада изделие будет стандартным.

В первой партии 100% – 20% = 80% стандартных изделий, поэтому: при условии , что оно принадлежит 1-й партии.

Аналогично, во второй партии 100% – 10% = 90% стандартных изделий и – вероятность того, что наудачу взятое на складе изделие будет стандартным при условии , что оно принадлежит 2-й партии.

По формуле полной вероятности:
– вероятность того, что наудачу взятое на складе изделие будет стандартным.

Часть вторая. Пусть наудачу взятое со склада изделие оказалось стандартным. Эта фраза прямо прописана в условии, и она констатирует тот факт, что событие произошло .

По формулам Байеса:

а) – вероятность того, что выбранное стандартное изделие принадлежит 1-й партии;

б) – вероятность того, что выбранное стандартное изделие принадлежит 2-й партии.

После переоценки гипотезы , разумеется, по-прежнему образуют полную группу :
(проверка;-))

Ответ :

Понять смысл переоценки гипотез нам поможет Иван Васильевич, которой снова сменил профессию и стал директором завода. Он знает, что сегодня 1-й цех отгрузил на склад 4000, а 2-й цех – 6000 изделий, и приходит удостовериться в этом. Предположим, вся продукция однотипна и находится в одном контейнере. Естественно, Иван Васильевич предварительно подсчитал, что изделие, которое он сейчас извлечёт для проверки, с вероятностью будет выпущено 1-м цехом и с вероятностью – вторым. Но после того как выбранное изделие оказывается стандартным, он восклицает: «Какой же классный болт! – его скорее выпустил 2-й цех». Таким образом, вероятность второй гипотезы переоценивается в лучшую сторону , а вероятность первой гипотезы занижается: . И эта переоценка небезосновательна – ведь 2-й цех произвёл не только больше изделий, но и работает в 2 раза лучше!

Вы скажете, чистый субъективизм? Отчасти – да, более того, сам Байес интерпретировал апостериорные вероятности как уровень доверия . Однако не всё так просто – в байесовском подходе есть и объективное зерно. Ведь вероятности того, что изделие будет стандартным (0,8 и 0,9 для 1-го и 2-го цехов соответственно) это предварительные (априорные) и средние оценки. Но, выражаясь философски – всё течёт, всё меняется, и вероятности в том числе. Вполне возможно, что на момент исследования более успешный 2-й цех повысил процент выпуска стандартных изделий (и/или 1-й цех снизил) , и если проверить бОльшее количество либо все 10 тысяч изделий на складе, то переоцененные значения окажутся гораздо ближе к истине.

Кстати, если Иван Васильевич извлечёт нестандартную деталь, то наоборот – он будет больше «подозревать» 1-й цех и меньше – второй. Предлагаю убедиться в этом самостоятельно:

Задача 6

На склад поступило 2 партии изделий: первая – 4000 штук, вторая – 6000 штук. Средний процент нестандартных изделий в первой партии 20%, во второй – 10%. Наудачу взятое со склада изделие оказалось не стандартным. Найти вероятность того, что оно: а) из первой партии, б) из второй партии.

Условие отличатся двумя буквами, которые я выделил жирным шрифтом. Задачу можно решить с «чистого листа», или воспользоваться результатами предыдущих вычислений. В образце я провёл полное решение, но чтобы не возникло формальной накладки с Задачей №5, событие «наудачу взятое со склада изделие будет нестандартным» обозначено через .

Байесовская схема переоценки вероятностей встречается повсеместно, причём её активно эксплуатируют и различного рода мошенники. Рассмотрим ставшее нарицательным АО на три буквы, которое привлекает вклады населения, якобы куда-то их инвестирует, исправно выплачивает дивиденды и т.д. Что происходит? Проходит день за днём, месяц за месяцем и всё новые и новые факты, донесённые путём рекламы и «сарафанным радио», только повышают уровень доверия к финансовой пирамиде (апостериорная байесовская переоценка в связи с произошедшими событиями!) . То есть, в глазах вкладчиков происходит постоянное увеличение вероятности того, что «это серьёзная контора» ; при этом вероятность противоположной гипотезы («это очередные кидалы») , само собой, уменьшается и уменьшается. Дальнейшее, думаю, понятно. Примечательно, что заработанная репутация даёт организаторам время успешно скрыться от Ивана Васильевича, который остался не только без партии болтов, но и без штанов.

К не менее любопытным примерам мы вернёмся чуть позже, а пока на очереди, пожалуй, самый распространенный случай с тремя гипотезами:

Задача 7

Электролампы изготавливаются на трех заводах. 1-й завод производит 30% общего количества ламп, 2-й – 55%, а 3-й – остальную часть. Продукция 1-го завода содержит 1% бракованных ламп, 2-го – 1,5%, 3-го – 2%. В магазин поступает продукция всех трех заводов. Купленная лампа оказалась с браком. Какова вероятность того, что она произведена 2-м заводом?

Заметьте, что в задачах на формулы Байеса в условии обязательно фигурирует некое произошедшее событие, в данном случае – покупка лампы.

Событий прибавилось, и решение удобнее оформить в «быстром» стиле.

Алгоритм точно такой же: на первом шаге находим вероятность того, что купленная лампа вообще окажется бракованной.

Пользуясь исходными данными, переводим проценты в вероятности:
– вероятности того, что лампа произведена 1-м, 2-м и 3-м заводами соответственно.
Контроль:

Аналогично: – вероятности изготовления бракованной лампы для соответствующих заводов.

По формуле полной вероятности:

– вероятность того, что купленная лампа окажется с браком.

Шаг второй. Пусть купленная лампа оказалась бракованной (событие произошло)

По формуле Байеса:
– вероятность того, что купленная бракованная лампа изготовлена вторым заводом

Ответ :

Почему изначальная вероятность 2-й гипотезы после переоценки увеличилась ? Ведь второй завод производит средние по качеству лампы (первый – лучше, третий – хуже). Так почему же возросла апостериорная вероятность, что бракованная лампа именно со 2-го завода? Это объясняется уже не «репутацией», а размером. Так как завод №2 выпустил самое большое количество ламп, то на него (по меньшей мере, субъективно) и пеняют: «скорее всего, эта бракованная лампа именно оттуда» .

Интересно заметить, что вероятности 1-й и 3-й гипотез, переоценились в ожидаемых направлениях и сравнялись:

Контроль: , что и требовалось проверить.

К слову, о заниженных и завышенных оценках:

Задача 8

В студенческой группе 3 человека имеют высокий уровень подготовки, 19 человек – средний и 3 – низкий. Вероятности успешной сдачи экзамена для данных студентов соответственно равны: 0,95; 0,7 и 0,4. Известно, что некоторый студент сдал экзамен. Какова вероятность того, что:

а) он был подготовлен очень хорошо;
б) был подготовлен средне;
в) был подготовлен плохо.

Проведите вычисления и проанализируйте результаты переоценки гипотез.

Задача приближена к реальности и особенно правдоподобна для группы студентов-заочников, где преподаватель практически не знает способностей того или иного студента. При этом результат может послужить причиной довольно-таки неожиданных последствий (особенно это касается экзаменов в 1-м семестре) . Если плохо подготовленному студенту посчастливилось с билетом, то преподаватель с большой вероятностью сочтёт его хорошо успевающим или даже сильным студентом, что принесёт неплохие дивиденды в будущем (естественно, нужно «поднимать планку» и поддерживать свой имидж) . Если же студент 7 дней и 7 ночей учил, зубрил, повторял, но ему просто не повезло, то дальнейшие события могут развиваться в самом скверном ключе – с многочисленными пересдачами и балансировкой на грани вылета.

Что и говорить, репутация – это важнейший капитал, не случайно многие корпорации носят имена-фамилии своих отцов-основателей, которые руководили делом 100-200 лет назад и прославились своей безупречной репутацией.

Да, байесовский подход в известной степени субъективен, но… так устроена жизнь!

Закрепим материал заключительным индустриальным примером, в котором я расскажу о до сих пор не встречавшихся технических тонкостях решения:

Задача 9

Три цеха завода производят однотипные детали, которые поступают на сборку в общий контейнер. Известно, что первый цех производит в 2 раза больше деталей, чем второй цех, и в 4 раза больше третьего цеха. В первом цехе брак составляет 12%, во втором – 8%, в третьем – 4%. Для контроля из контейнера берется одна деталь. Какова вероятность того, что она окажется бракованной? Какова вероятность того, что извлечённую бракованную деталь выпустил 3-й цех?

Таки Иван Васильевич снова на коне =) Должен же быть у фильма счастливый конец =)

Решение : в отличие от Задач №№5-8 здесь в явном виде задан вопрос, который разрешается с помощью формулы полной вероятности. Но с другой стороны, условие немного «зашифровано», и разгадать этот ребус нам поможет школьный навык составлять простейшие уравнения. За «икс» удобно принять наименьшее значение:

Пусть – доля деталей, выпускаемая третьим цехом.

По условию, первый цех производит в 4 раза больше третьего цеха, поэтому доля 1-го цеха составляет .

Кроме того, первый цех производит изделий в 2 раза больше, чем второй цех, а значит, доля последнего: .

Составим и решим уравнение:

Таким образом: – вероятности того, что извлечённая из контейнера деталь выпущена 1-м, 2-м и 3-м цехами соответственно.

Контроль: . Кроме того, будет не лишним ещё раз посмотреть на фразу «Известно, что первый цех производит изделий в 2 раза больше второго цеха и в 4 раза больше третьего цеха» и убедиться, что полученные значения вероятностей действительно соответствуют этому условию.

За «икс» изначально можно было принять долю 1-го либо долю 2-го цеха – вероятности выйдут такими же. Но, так или иначе, самый трудный участок пройден, и решение входит в накатанную колею:

Из условия находим:
– вероятности изготовления бракованной детали для соответствующих цехов.

По формуле полной вероятности:
– вероятность того, что наугад извлеченная из контейнера деталь окажется нестандартной.

Вопрос второй: какова вероятность того, что извлечённую бракованную деталь выпустил 3-й цех? Данный вопрос предполагает, что деталь уже извлечена, и она оказалось бракованной. Переоцениваем гипотезу по формуле Байеса:
– искомая вероятность. Совершенно ожидаемо – ведь третий цех производит не только самую малую долю деталей, но и лидирует по качеству!

В данном случае пришлось упрощать четырёхэтажную дробь , что в задачах на формулы Байеса приходится делать довольно часто. Но для данного урока я как-то так случайно подобрал примеры, в которых многие вычисления можно провести без обыкновенных дробей.

Коль скоро в условии нет пунктов «а» и «бэ», то ответ лучше снабдить текстовыми комментариями:

Ответ : – вероятность того, что извлечённая из контейнера деталь окажется бракованной; – вероятность того, что извлечённую бракованную деталь выпустил 3-й цех.

Как видите, задачи на формулу полной вероятности и формулы Байеса достаточно простЫ, и, наверное, по этой причине в них так часто пытаются затруднить условие, о чём я уже упоминал в начале статьи.

Дополнительные примеры есть в файле с готовыми решениями на Ф.П.В. и формулы Байеса , кроме того, наверное, найдутся желающие более глубоко ознакомиться с данной темой в других источниках. А тема действительно очень интересная – чего только стОит один парадокс Байеса , который обосновывает тот житейский совет, что если у человека диагностирована редкая болезнь, то ему имеет смысл провести повторное и даже два повторных независимых обследования. Казалось бы, это делают исключительно от отчаяния… – а вот и нет! Но не будем о грустном.


– вероятность того, что произвольно выбранный студент сдаст экзамен.
Пусть студент сдал экзамен. По формулам Байеса:
а) – вероятность того, что студент, сдавший экзамен, был подготовлен очень хорошо. Объективная исходная вероятность оказывается завышенной, поскольку почти всегда некоторым «середнячкам» везёт с вопросами и они отвечают очень сильно, что вызывает ошибочное впечатление безупречной подготовки.
б) – вероятность того, что студент, сдавший экзамен, был подготовлен средне. Исходная вероятность оказывается чуть завышенной, т.к. студентов со средним уровнем подготовки обычно большинство, кроме того, сюда преподаватель отнесёт неудачно ответивших «отличников», а изредка и плохо успевающего студента, которому крупно повезло с билетом.
в) – вероятность того, что студент, сдавший экзамен, был подготовлен плохо. Исходная вероятность переоценилась в худшую сторону. Неудивительно.
Проверка:
Ответ :

Начнем с примера. В урне, стоящей перед вами, с равной вероятностью могут быть (1) два белых шара, (2) один белый и один черный, (3) два черных. Вы тащите шар, и он оказывается белым. Как теперь вы оцените вероятность этих трех вариантов (гипотез)? Очевидно, что вероятность гипотезы (3) с двумя черными шарами = 0. А вот как подсчитать вероятности двух оставшихся гипотез!? Это позволяет сделать формула Байеса, которая в нашем случае имеет вид (номер формулы соответствует номеру проверяемой гипотезы):

Скачать заметку в формате или

х – случайная величина (гипотеза), принимающая значения: х 1 – два белых, х 2 – один белый, один черный; х 3 – два черных; у – случайная величина (событие), принимающая значения: у 1 – вытащен белый шар и у 2 – вытащен чёрный шар; Р(х 1) – вероятность первой гипотезы до вытаскивания шара (априорная вероятность или вероятность до опыта) = 1/3; Р(х 2) – вероятность второй гипотезы до вытаскивания шара = 1/3; Р(х 3) – вероятность третьей гипотезы до вытаскивания шара = 1/3; Р(у 1 |х 1) – условная вероятность вытащить белый шар, в случае, если верна первая гипотеза (шары белые) = 1; Р(у 1 |х 2) – вероятность вытащить белый шар, в случае, если верна вторая гипотеза (один шар белый, второй – черный) = ½; Р(у 1 |х 3) – вероятность вытащить белый шар, в случае, если верна третья гипотеза (оба черных) = 0; Р(у 1) – вероятность вытащить белый шар = ½; Р(у 2) – вероятность вытащить черный шар = ½; и, наконец, то, что мы ищем – Р(х 1 |у 1) – вероятность того, что верна первая гипотеза (оба шара белых), при условии, что мы вытащили белый шар (апостериорная вероятность или вероятность после опыта); Р(х 2 |у 1) – вероятность того, что верна вторая гипотеза (один шар белый, второй – черный), при условии, что мы вытащили белый шар.

Вероятность того, что верна первая гипотеза (два белых), при условии, что мы вытащили белый шар :

Вероятность того, что верна вторая гипотеза (один белый, второй – черный), при условии, что мы вытащили белый шар :

Вероятность того, что верна третья гипотеза (два черных), при условии, что мы вытащили белый шар :

Что делает формула Байеса? Она дает возможность на основании априорных вероятностей гипотез – Р(х 1), Р(х 2) , Р(х 3) – и вероятностей наступления событий – Р(у 1), Р(у 2) – подсчитать апостериорные вероятности гипотез, например, вероятность первой гипотезы, при условии, что вытащили белый шар – Р(х 1 |у 1) .

Вернемся еще раз к формуле (1). Первоначальная вероятность первой гипотезы была Р(х 1) = 1/3. С вероятностью Р(у 1) = 1/2 мы могли вытащить белый шар, и с вероятностью Р(у 2) = 1/2 – черный. Мы вытащили белый. Вероятность вытащить белый при условии, что верна первая гипотеза Р(у 1 |х 1) = 1. Формула Байеса говорит, что так как вытащили белый, то вероятность первой гипотезы возросла до 2/3, вероятность второй гипотезы по-прежнему равна 1/3, а вероятность третьей гипотезы обратилась в ноль.

Легко проверить, что вытащи мы черный шар, апостериорные вероятности изменились бы симметрично: Р(х 1 |у 2) = 0, Р(х 2 |у 2) = 1/3, Р(х 3 |у 2) = 2/3.

Вот что писал Пьер Симон Лаплас о формуле Байеса в работе , вышедшей в 1814 г.:

Это основной принцип той отрасли анализа случайностей, которая занимается переходами от событий к причинам.

Почему формула Байеса так сложна для понимания!? На мой взгляд, потому, что наш обычный подход – это рассуждения от причин к следствиям. Например, если в урне 36 шаров из которых 6 черных, а остальные белые. Какова вероятность вытащить белый шар? Формула Байеса позволяет идти от событий к причинам (гипотезам). Если у нас было три гипотезы, и произошло событие, то как именно это событие (а не альтернативное) повлияло на первоначальные вероятности гипотез? Как изменились эти вероятности?

Я считаю, что формула Байеса не просто о вероятностях. Она изменяет парадигму восприятия. Каков ход мыслей при использовании детерминистской парадигмы? Если произошло событие, какова его причина? Если произошло ДТП, чрезвычайное происшествие, военный конфликт. Кто или что явилось их виной? Как думает байесовский наблюдатель? Какова структура реальности, приведшая в данном случае к такому-то проявлению… Байесовец понимает, что в ином случае результат мог быть иным…

Немного иначе разместим символы в формулах (1) и (2):

Давайте еще раз проговорим, что же мы видим. С равной исходной (априорной) вероятностью могла быть истинной одна из трех гипотез. С равной вероятностью мы могли вытащить белый или черный шар. Мы вытащили белый. В свете этой новой дополнительной информации следует пересмотреть нашу оценку гипотез. Формула Байеса позволяет это сделать численно. Априорная вероятность первой гипотезы (формула 7) была Р(х 1) , вытащили белый шар, апостериорная вероятность первой гипотезы стала Р(х 1 |у 1). Эти вероятности отличаются на коэффициент .

Событие у 1 называется свидетельством, в большей или меньшей степени подтверждающим или опровергающим гипотезу х 1 . Указанный коэффициент иногда называют мощностью свидетельства. Чем мощнее свидетельство (чем больше коэффициент отличается от единицы), тем больше факт наблюдения у 1 изменяет априорную вероятность, тем больше апостериорная вероятность отличается от априорной. Если свидетельство слабое (коэффициент ~ 1), апостериорная вероятность почти равна априорной.

Свидетельство у 1 в = 2 раза изменило априорную вероятность гипотезы х 1 (формула 4). В то же время свидетельство у 1 не изменило вероятность гипотезы х 2 , так как его мощность = 1 (формула 5).

В общем случае формула Байеса имеет следующий вид:

х – случайная величина (набор взаимоисключающих гипотез), принимающая значения: х 1 , х 2 , … , х n . у – случайная величина (набор взаимоисключающих событий), принимающая значения: у 1 , у 2 , … , у n . Формула Байеса позволяет найти апостериорную вероятность гипотезы х i при наступлении события y j . В числителе – произведение априорной вероятности гипотезы х i – Р(х i ) на вероятность наступления события y j , если верна гипотеза х i – Р(y j |х i ). В знаменателе – сумма произведений того же, что и в числителе, но для всех гипотез. Если вычислить знаменатель, то получим суммарную вероятность наступления события у j (если верна любая из гипотез) – Р(y j ) (как в формулах 1–3).

Еще раз о свидетельстве. Событие y j дает дополнительную информацию, что позволяет пересмотреть априорную вероятность гипотезы х i . Мощность свидетельства – – содержит в числителе вероятность наступления события y j , если верна гипотеза х i . В знаменателе – суммарная вероятность наступления события у j (или вероятность наступления события у j усредненная по всем гипотезам). у j выше для гипотезы x i , чем в среднем для всех гипотез, то свидетельство играет на руку гипотезе x i , увеличивая ее апостериорную вероятность Р(y j |х i ). Если вероятность наступления события у j ниже для гипотезы x i , чем в среднем для всех гипотез, то свидетельство понижает, апостериорную вероятность Р(y j |х i ) для гипотезы x i . Если вероятность наступления события у j для гипотезы x i такая же, как в среднем для всех гипотез, то свидетельство не изменяет апостериорную вероятность Р(y j |х i ) для гипотезы x i .

Предлагаю вашему вниманию несколько примеров, которые, надеюсь, закрепят ваше понимание формулы Байеса.

Задача 2. Два стрелка независимо друг от друга стреляют по одной и той же мишени, делая каждый по одному выстрелу. Вероятность попадания в мишень для первого стрелка равна 0,8, для второго - 0,4. После стрельбы в мишени обнаружена одна пробоина. Найти вероятность того, что эта пробоина принадлежит первому стрелку. .

Задача 3. Объект, за которым ведется наблюдение, может быть в одном из двух состояний: Н 1 = {функционирует} и Н 2 = {не функционирует}. Априорные вероятности этих состояний Р(Н 1) = 0,7, Р(Н 2) = 0,3. Имеется два источника информации, которые приносят разноречивые сведения о состоянии объекта; первый источник сообщает, что объект не функционирует, второй - что функционирует. Известно, что первый источник дает правильные сведения с вероятностью 0,9, а с вероятностью 0,1 - ошибочные. Второй источник менее надежен: он дает правильные сведения с вероятностью 0,7, а с вероятностью 0,3 - ошибочные. Найдите апостериорные вероятности гипотез. .

Задачи 1–3 взяты из учебника Е.С.Вентцель, Л.А.Овчаров. Теория вероятностей и ее инженерные приложения, раздел 2.6 Теорема гипотез (формула Байеса).

Задача 4 взята из книги , раздел 4.3 Теорема Байеса.

Сибирский государственный университет телекоммуникаций и информатики

Кафедра высшей математики

по дисциплине: «Теория вероятностей и математическая статистика»

«Формула полной вероятности и формула Бейеса(Байеса) и их применение»

Выполнил:

Руководитель: профессор Б.П.Зеленцов

Новосибирск, 2010


Введение 3

1. Формула полной вероятности 4-5

2. Формула Байеса(Бейеса) 5-6

3. Задачи с решениями 7-11

4. Основные сферы применения формулы Байеса(Бейеса) 11

Заключение 12

Литература 13


Введение

Теория вероятностей является одним из классических разделов математики. Она имеет длительную историю. Основы этого раздела науки были заложены великими математиками. Назову, например, Ферма, Бернулли, Паскаля.
Позднее развитие теории вероятностей определились в работах многих ученых.
Большой вклад в теорию вероятностей внесли ученые нашей страны:
П.Л.Чебышев, А.М.Ляпунов, А.А.Марков, А.Н.Колмогоров. Вероятностные и статистические методы в настоящее время глубоко проникли в приложения. Они используются в физике, технике, экономке, биологии и медицине. Особенно возросла их роль в связи с развитием вычислительной техники.

Например, для изучения физических явлений производят наблюдения или опыты. Их результаты обычно регистрируют в виде значений некоторых наблюдаемых величин. При повторении опытов мы обнаруживаем разброс их результатов. Например, повторяя измерения одной и той же величины одним и тем же прибором при сохранении определенных условий (температура, влажность и т.п.), мы получаем результаты, которые хоть немного, но все же отличаются друг от друга. Даже многократные измерения не дают возможности точно предсказать результат следующего измерения. В этом смысле говорят, что результат измерения есть величина случайная. Еще более наглядным примером случайной величины может служить номер выигрышного билета в лотерее. Можно привести много других примеров случайных величин. Все же и в мире случайностей обнаруживаются определенные закономерности. Математический аппарат для изучения таких закономерностей и дает теория вероятностей.
Таким образом, теория вероятностей занимается математическим анализом случайных событий и связанных с ними случайных величин.

1. Формула полной вероятности.

Пусть имеется группа событий H 1 , H 2 ,..., H n , обладающая следую­щими свойствами:

1) все события попарно несовместны: H i

H j =Æ; i , j =1,2,...,n ; i ¹ j ;

2) их объединение образует пространство элементарных исходов W:

.
Рис.8

В этом случае будем говорить, что H 1 , H 2 ,...,H n образуют полную группу событий . Такие события иногда называют гипотезами .

Пусть А – некоторое событие: А ÌW (диаграмма Венна представлена на рисунке 8). Тогда имеет место формула полной вероятности:

P (A ) = P (A /H 1)P (H 1) + P (A /H 2)P (H 2) + ...+P (A /H n )P (H n ) =

Доказательство. Очевидно: A =

, причем все события (i = 1,2,...,n ) попарно несовместны. Отсюда по теореме сложения вероятностей получаем

P (A ) = P (

) + P ( ) +...+ P (

Если учесть, что по теореме умножения P (

) = P (A/H i)P (H i) (i = 1,2,...,n ), то из последней формулы легко получить приведенную выше формулу полной вероятности.

Пример . В магазине продаются электролампы производства трех заводов, причем доля первого завода - 30%, второго - 50%, третьего - 20%. Брак в их продукции составляет соответственно 5%, 3% и 2%. Какова вероятность того, что случайно выбранная в магазине лампа оказалась бракованной.

Пусть событие H 1 состоит в том, что выбранная лампа произведена на первом заводе, H 2 на втором, H 3 - на третьем заводе. Очевидно:

P (H 1) = 3/10, P (H 2) = 5/10, P (H 3) = 2/10.

Пусть событие А состоит в том, что выбранная лампа оказалась бракованной; A/H i означает событие, состоящее в том, что выбрана бракованная лампа из ламп, произведенных на i -ом заводе. Из условия задачи следует:

P (A / H 1) = 5/10; P (A / H 2) = 3/10; P (A / H 3) = 2/10

По формуле полной вероятности получаем

2. Формула Байеса(Бейеса)

Пусть H 1 ,H 2 ,...,H n - полная группа событий и А Ì W – некоторое событие. Тогда по формуле для условной вероятности

(1)

Здесь P (H k /A ) – условная вероятность события (гипотезы) H k или вероятность того, что H k реализуется при условии, что событие А произошло.

По теореме умножения вероятностей числитель формулы (1) можно представить в виде

P = P = P (A /H k )P (H k )

Для представления знаменателя формулы (1) можно использовать формулу полной вероятности

P (A )

Теперь из (1) можно получить формулу, называемую формулой Байеса :

По формуле Байеса исчисляется вероятность реализации гипотезы H k при условии, что событие А произошло. Формулу Байеса еще называют формулой вероятности гипотез. Вероятность P (H k ) называют априорной вероятностью гипотезы H k , а вероятность P (H k /A ) – апостериорной вероятностью.

Теорема. Вероятность гипотезы после испытания равна произведению вероятности гипотезы до испытания на соответствующую ей условную вероятность события, которое произошло при испытании, деленному на полную вероятность этого события.

Пример. Рассмотрим приведенную выше задачу об электролампах, только изменим вопрос задачи. Пусть покупатель купил электролампу в этом магазине, и она оказалась бракованной. Найти вероятность того, что эта лампа изготовлена на втором заводе. Величина P (H 2) = 0,5 в данном случае это априорная вероятность события, состоящего в том, что купленная лампа изготовлена на втором заводе. Получив информацию о том, что купленная лампа бракованная, мы можем поправить нашу оценку возможности изготовления этой лампы на втором заводе, вычислив апостериорную вероятность этого события.

Выпишем формулу Байеса для этого случая

Из этой формулы получаем: P (H 2 /A ) = 15/34. Как видно, полученная информация привела к тому, что вероятность интересующего нас события оказывается ниже априорной вероятности.

3. Задачи с решениями.

Задача 1. В магазин поступила новая продукция с трех предприятий. Процентный состав этой продукции следующий: 20% - продукция первого предприятия, 30% - продукция второго предприятия, 50% - продукция третьего предприятия; далее, 10% продукции первого предприятия высшего сорта, на втором предприятии - 5% и на третьем - 20% продукции высшего сорта. Найти вероятность того, что случайно купленная новая продукция окажется высшего сорта.

Решение. Обозначим через В событие, заключающееся в том, что будет куплена продукция высшего сорта, через

обозначим события, заключающиеся в покупке продукции, принадлежащей соответственно первому, второму и третьему предприятиям.

Можно применить формулу полной вероятности, причем в наших обозначениях:

Подставляя эти значения в формулу полной вероятности, получим искомую вероятность:

Задача 2. Один из трех стрелков вызывается на линию огня и производит два выстрела. Вероятность попадания в мишень при одном выстреле для первого стрелка равна 0,3, для второго - 0,5; для третьего - 0,8. Мишень не поражена. Найти вероятность того, что выстрелы произведены первым стрелком.

Формула Байеса

Теорема Байеса - одна из основных теорем элементарной теории вероятностей , которая определяет вероятность наступления события в условиях, когда на основе наблюдений известна лишь некоторая частичная информация о событиях. По формуле Байеса можно более точно пересчитывать вероятность, беря в учёт как ранее известную информацию, так и данные новых наблюдений.

«Физический смысл» и терминология

Формула Байеса позволяет «переставить причину и следствие»: по известному факту события вычислить вероятность того, что оно было вызвано данной причиной.

События, отражающие действие «причин», в данном случае обычно называют гипотезами , так как они - предполагаемые события, повлекшие данное. Безусловную вероятность справедливости гипотезы называют априорной (насколько вероятна причина вообще ), а условную - с учетом факта произошедшего события - апостериорной (насколько вероятна причина оказалась с учетом данных о событии ).

Следствие

Важным следствием формулы Байеса является формула полной вероятности события, зависящего от нескольких несовместных гипотез (и только от них! ).

- вероятность наступления события B , зависящего от ряда гипотез A i , если известны степени достоверности этих гипотез (например, измерены экспериментально);

Вывод формулы

Если событие зависит только от причин A i , то если оно произошло, значит, обязательно произошла какая-то из причин, т.е.

По формуле Байеса

Переносом P (B ) вправо получаем искомое выражение.

Метод фильтрации спама

Метод, основанный на теореме Байеса, нашел успешное применение в фильтрации спама .

Описание

При обучении фильтра для каждого встреченного в письмах слова высчитывается и сохраняется его «вес» - вероятность того, что письмо с этим словом - спам (в простейшем случае - по классическому определению вероятности: «появлений в спаме / появлений всего» ).

При проверке вновь пришедшего письма вычисляется вероятность того, что оно - спам, по указанной выше формуле для множества гипотез. В данном случае «гипотезы» - это слова, и для каждого слова «достоверность гипотезы» - % этого слова в письме, а «зависимость события от гипотезы» P (B | A i ) - вычисленнный ранее «вес» слова. То есть «вес» письма в данном случае - не что иное, как усредненный «вес» всех его слов.

Отнесение письма к «спаму» или «не-спаму» производится по тому, превышает ли его «вес» некую планку, заданную пользователем (обычно берут 60-80 %). После принятия решения по письму в базе данных обновляются «веса» для вошедших в него слов.

Характеристика

Данный метод прост (алгоритмы элементарны), удобен (позволяет обходиться без «черных списков» и подобных искусственных приемов), эффективен (после обучения на достаточно большой выборке отсекает до 95-97 % спама, и в случае любых ошибок его можно дообучать). В общем, есть все показания для его повсеместного использования, что и имеет место на практике - на его основе построены практически все современные спам-фильтры.

Впрочем, у метода есть и принципиальный недостаток: он базируется на предположении , что одни слова чаще встречаются в спаме, а другие - в обычных письмах , и неэффективен, если данное предположение неверно. Впрочем, как показывает практика, такой спам даже человек не в состоянии определить «на глаз» - только прочтя письмо и поняв его смысл.

Еще один, не принципиальный, недостаток, связанный с реализацией - метод работает только с текстом. Зная об этом ограничении, спамеры стали вкладывать рекламную информацию в картинку, текст же в письме либо отсутствует, либо не несет смысла. Против этого приходится пользоваться либо средствами распознавания текста («дорогая» процедура, применяется только при крайней необходимости), либо старыми методами фильтрации - «черные списки» и регулярные выражения (так как такие письма часто имеют стереотипную форму).

См. также

Примечания

Ссылки

Литература

  • Берд Киви. Теорема преподобного Байеса . // Журнал «Компьютерра», 24 августа 2001 г.
  • Paul Graham. A plan for spam (англ.). // Персональный сайт Paul Graham.

Wikimedia Foundation . 2010 .

Смотреть что такое "Формула Байеса" в других словарях:

    Формула, имеющая вид: где a1, А2,..., Ап несовместимые события, Общая схема применения Ф. в. г.: если событие В может происходить в разл. условиях, относительно которых сделано п гипотез А1, А2, ..., Аn с известными до опыта вероятностями P(A1),… … Геологическая энциклопедия

    Позволяет вычислить вероятность интересующего события через условные вероятности этого события в предположении неких гипотез, а также вероятностей этих гипотез. Формулировка Пусть дано вероятностное пространство, и полная группа попарно… … Википедия

    Позволяет вычислить вероятность интересующего события через условные вероятности этого события в предположении неких гипотез, а также вероятностей этих гипотез. Формулировка Пусть дано вероятностное пространство, и полная группа событий, таких… … Википедия

    - (или формула Байеса) одна из основных теорем теории вероятностей, которая позволяет определить вероятность того, что произошло какое либо событие (гипотеза) при наличии лишь косвенных тому подтверждений (данных), которые могут быть неточны … Википедия

    Теорема Байеса одна из основных теорем элементарной теории вероятностей, которая определяет вероятность наступления события в условиях, когда на основе наблюдений известна лишь некоторая частичная информация о событиях. По формуле Байеса можно… … Википедия

    Байес, Томас Томас Байес Reverend Thomas Bayes Дата рождения: 1702 год(1702) Место рождения … Википедия

    Томас Байес Reverend Thomas Bayes Дата рождения: 1702 год(1702) Место рождения: Лондон … Википедия

    Байесовский вывод один из методов статистического вывода, в котором для уточнения вероятностных оценок на истинность гипотез при поступлении свидетельств используется формула Байеса. Использование байесовского обновления особенно важно в… … Википедия

    Для улучшения этой статьи желательно?: Найти и оформить в виде сносок ссылки на авторитетные источники, подтверждающие написанное. Проставив сноски, внести более точные указания на источники. Пере … Википедия

    Будут ли заключенные друг друга предавать, следуя своим эгоистическим интересам, или будут молчать, тем самым минимизируя общий срок? Дилемма заключённого (англ. Prisoner s dilemma, реже употребляется название «дилемма … Википедия

Книги

  • Теория вероятностей и математическая статистика в задачах. Более 360 задач и упражнений , Борзых Д.А.. В предлагаемом пособии содержатся задачи различного уровня сложности. Однако основной акцент сделан на задачах средней сложности. Это сделано намеренно с тем, чтобы побудить студентов к…