Деякі програмісти після роботи в галузі розробки звичайних комерційних програм замислюються про те, щоб освоїти машинне навчання і стати аналітиком даних. Часто вони не розуміють, чому ті чи інші методи працюють і більшість методів машинного навчання здаються магією. Насправді машинне навчання базується на математичній статистиці, а та, у свою чергу, заснована на теорії ймовірностей. Тому в цій статті ми приділимо увагу базовим поняттям теорії ймовірностей: торкнемося визначення ймовірності, розподілу і розберемо кілька простих прикладів.
Можливо вам відомо, що теорія ймовірностей умовно ділиться на 2 частини. Дискретна теорія ймовірностей вивчає явища, які можна описати розподілом із кінцевою (або лічильною) кількістю можливих варіантів поведінки (кидання гральних кісток, монеток). Безперервна теорія ймовірностей вивчає явища, розподілені на якійсь щільній множині, наприклад, на відрізку або в колі.
Можна розглянути предмет теорії ймовірностей на прикладі. Уявіть себе розробником шутера. p align="justify"> Невід'ємною частиною розробки ігор цього жанру є механіка стрілянини. Зрозуміло, що шутер, в якому вся зброя стріляє абсолютно точно, буде малоцікавий гравцям. Тому обов'язково потрібно додавати зброї розкид. Але проста рандомізація точок влучення зброї не дозволить зробити її тонке налаштування, тому коригування ігрового балансу буде складним. У той же час, використовуючи випадкові величини та їх розподіли, можна проаналізувати те, як працюватиме зброя із заданим розкидом, і допоможе внести необхідні коригування.
Простір елементарних результатів
Допустимо, з деякого випадкового експерименту, який ми можемо багаторазово повторювати (наприклад, кидання монети), ми можемо отримати деяку інформацію, що формалізується (випав орел або решка). Ця інформація називається елементарним результатом, при цьому доцільно розглядати безліч всіх елементарних результатів, що часто позначається буквою Ω (Омега).
Структура цього простору залежить від природи експерименту. Наприклад, якщо розглядати стрілянину по досить великій круговій мішені, - простором елементарних результатів буде коло, для зручності розміщене з центром в нулі, а результатом - точка в цьому колі.
Крім того, розглядають безліч елементарних наслідків - події (наприклад, потрапляння в «десятку» - це концентричне коло маленького радіусу з мішенню). У дискретному випадку все досить просто: ми можемо отримати будь-яку подію, включаючи або виключаючи елементарні наслідки за кінцевий час. У безперервному випадку все набагато складніше: нам знадобиться деяке досить хороше сімейство множин для розгляду, зване алгеброю за аналогією з простими речовими числами, які можна складати, віднімати, ділити і множити. Багато алгебр можна перетинати і об'єднувати, при цьому результат операції перебуватиме в алгебрі. Це дуже важлива властивість для математики, яка лежить за цими поняттями. Мінімальна родина складається з двох множин - з порожньої множини і простору елементарних результатів.
Міра та ймовірність
Імовірність - це спосіб робити висновки щодо поведінки дуже складних об'єктів, не вникаючи в принцип їхньої роботи. Таким чином, ймовірність визначається як функція від події (з того найкращого сімейства множин), яка повертає число - деяку характеристику того, наскільки часто може відбуватися така подія в реальності. Для певності математики домовилися, що це число має лежати між нулем та одиницею. Крім того, до цієї функції пред'являються вимоги: ймовірність неможливої події нульова, ймовірність всієї множини результатів поодинока, і ймовірність об'єднання двох незалежних подій (множин, що не перетинаються) дорівнює сумі ймовірностей. Інша назва ймовірності - ймовірнісний захід. Найчастіше використовується міра Лебегова , узагальнююча поняття довжина, площа, обсяг на будь-які розмірності (n -мірний обсяг), і таким чином вона застосовна для широкого класу множин.
Разом сукупність безлічі елементарних наслідків, сімейства множин та ймовірнісної міри називається імовірнісним простором. Розглянемо, як можна побудувати імовірнісне простір для прикладу зі стріляниною в ціль.
Розглянемо стрілянину у велику круглу мету радіуса R , яку неможливо промахнутися. Безліч елементарних подій покладемо коло з центром на початку координат радіусу R . Оскільки ми збираємося використовувати площу (заходу Лебега для двовимірних множин) для опису ймовірності події, то будемо використовувати сімейство вимірних (для яких ця міра існує) множин.
Примітка Насправді це технічний момент і в простих завданнях процес визначення міри і сімейства множин не відіграє особливої ролі. Але розуміти, що ці два об'єкти існують, необхідно, адже у багатьох книгах з теорії ймовірності теореми починаються зі слів: « Нехай (Ω, Σ, P) - ймовірнісний простір …».
Як сказано вище, ймовірність всього простору елементарних результатів повинна дорівнювати одиниці. Площа (двовимірна міра Лебега, яку ми позначимо λ 2 (A) , де А — подія) кола за добре відомою зі школи формулою дорівнює π *R 2 . Тоді ми можемо запровадити ймовірність P(A) = λ 2 (A) / (π *R 2) , і ця величина вже лежатиме між 0 і 1 для будь-якої події А.
Якщо припустити, що попадання в будь-яку точку мішені рівноймовірне, пошук ймовірності попадання стрільцем в якусь область мішені зводиться до пошуку площі цієї множини (звідси можна зробити висновок, що ймовірність попадання в конкретну точку нульова, адже площа точки дорівнює нулю).
Наприклад, ми хочемо дізнатися, яка ймовірність того, що стрілець потрапить у «десятку» (подія A — стрілок потрапив у потрібну множину). У нашій моделі «десятка» представляється навколо з центром в нулі і радіусом r. Тоді ймовірність влучення в це коло P(A) = λ 2 /(A)π *R 2 = π * r 2 /(π R 2)= (r/R) 2 .
Це один із найпростіших різновидів завдань на «геометричну ймовірність», - більшість таких завдань вимагають пошуку площі.
Випадкові величини
Випадкова величина - функція, що переводить елементарні наслідки в речові числа. Наприклад, у розглянутому завданні ми можемо запровадити випадкову величину ρ(ω) — відстань від точки влучення до центру мішені. Простота нашої моделі дозволяє явно задати простір елементарних результатів: Ω = (ω = (x, y) такі числа, що x 2 + y 2 ≤ R 2). Тоді випадкова величина ρ(ω) = ρ(x,y) = x2 + y2.
Засоби абстракції від імовірнісного простору. Функція розподілу та щільність
Добре, коли структура простору добре відома, але насправді так буває далеко не завжди. Навіть якщо структура простору відома, вона може бути складною. Для опису випадкових величин, якщо їх вираз невідомий, існує поняття функції розподілу, яку позначають F ξ(x) = P(ξ< x) (нижний индекс ξ здесь означает случайную величину). Т.е. это вероятность множества всех таких элементарных исходов, для которых значение случайной величины ξ на этом событии меньше, чем заданный параметр x .
Функція розподілу має кілька властивостей:
- По-перше, вона знаходиться між 0 та 1 .
- По-друге, вона не зменшується, коли її аргумент x зростає.
- По-третє, коли число -x дуже велике, функція розподілу близька до 0 , а коли саме х велике, функція розподілу близька до 1 .
Ймовірно, сенс цієї конструкції при першому читанні не дуже зрозумілий. Одна з корисних властивостей – функція розподілу дозволяє шукати ймовірність того, що величина набуває значення з інтервалу. Отже, P (випадкова величина ξ приймає значення з інтервалу) = F ξ(b)-F ξ(a). Виходячи з цієї рівності, можемо дослідити, як змінюється ця величина, якщо межі a та b інтервалу близькі.
Нехай d = b-a тоді b = a + d . А отже, Fξ(b)-Fξ(a) = Fξ(a+d) - Fξ(a). При малих значеннях d зазначена вище різниця так само мала (якщо розподіл безперервний). Має сенс розглядати відношення p ξ (a, d) = (F ξ (a + d) - F ξ (a)) / d. Якщо при досить малих значеннях d це відношення мало відрізняється від деякої константи p ξ (a), яка не залежить від d, то в цій точці випадкова величина має щільність, рівну p ξ (a).
Примітка Читачі, які раніше стикалися поняттям похідної, можуть помітити, що p ξ (a) — похідна функції F ξ (x) у точці a . Принаймні, можна вивчити поняття похідної у цій статті статті на сайті Mathprofi.
Тепер зміст функції розподілу можна визначити так: її похідна (щільність p ξ , яку ми визначили вище) в точці а описує, наскільки часто випадкова величина потраплятиме в невеликий інтервал з центром у точці а (околиця точки а) порівняно з околицями інших точок . Інакше кажучи, що швидше зростає функція розподілу, то ймовірніше поява такого значення при випадковому експерименті.
Повернемося, наприклад. Ми можемо обчислити функцію розподілу для випадкової величини, ρ(ω) = ρ(x,y) = x 2 +y 2 , що означає відстань від центру до точки випадкового потрапляння у мета. За визначенням F ρ(t) = P(ρ(x,y)< t) . т.е. множество {ρ(x,y) < t)} — состоит из таких точек (x,y) , расстояние от которых до нуля меньше, чем t . Мы уже считали вероятность такого события, когда вычисляли вероятность попадания в «десятку» - она равна t 2 /R 2 . Таким образом, Fρ(t) = P(ρ(x,y) < t) = t 2 /R 2 , для 0 Ми можемо знайти густину p ρ цієї випадкової величини. Відразу зауважимо, поза інтервалу вона нульова, т.к. функція розподілу у цьому проміжку незмінна. На кінцях цього інтервалу густина не визначена. Всередині інтервалу її можна знайти, використовуючи таблицю похідних (наприклад, на сайті Mathprofi) та елементарні правила диференціювання. Похідна від t 2 /R 2 дорівнює 2t/R 2 . Значить, щільність ми виявили на всій осі дійсних чисел. Ще одна корисна властивість щільності - ймовірність того, що функція набуває значення з проміжку, обчислюється за допомогою інтеграла від щільності по цьому проміжку (ознайомитися з тим, що це таке, можна в статтях про власний, невласний, невизначений інтеграл на сайті Mathprofi). При першому читанні інтеграл по проміжку від функції f(x) можна уявляти як площу криволінійної трапеції. Її сторонами є фрагмент осі Ох, проміжок (горизонтальної осі координат), вертикальні відрізки, що з'єднують точки (a,f(a)), (b,f(b)) на кривій з точками (a,0), (b,0 ) на осі Ох. Останньою стороною є фрагмент графіка функції f від (a, f (a)) до (b, f (b)). Можна говорити про інтеграл по проміжку (-∞; b] , коли для досить великих негативних значень, a значення інтеграла по проміжку змінюватиметься зневажливо мало порівняно зі зміною числа a. Аналогічно визначається і інтеграл по проміжках )