Một số lập trình viên sau khi làm việc trong lĩnh vực phát triển các ứng dụng thương mại thông thường sẽ nghĩ đến việc thành thạo machine learning và trở thành nhà phân tích dữ liệu. Họ thường không hiểu tại sao một số phương pháp nhất định lại hiệu quả và hầu hết các phương pháp học máy đều có vẻ giống như phép thuật. Trên thực tế, học máy dựa trên thống kê toán học, từ đó dựa trên lý thuyết xác suất. Do đó, trong bài viết này, chúng ta sẽ chú ý đến các khái niệm cơ bản của lý thuyết xác suất: chúng ta sẽ đề cập đến các định nghĩa về xác suất, phân bố và phân tích một số ví dụ đơn giản.
Bạn có thể biết rằng lý thuyết xác suất thường được chia thành 2 phần. Lý thuyết xác suất rời rạc nghiên cứu các hiện tượng có thể được mô tả bằng phân phối với số lượng hữu hạn (hoặc đếm được) các lựa chọn hành vi có thể xảy ra (ném xúc xắc, đồng xu). Lý thuyết xác suất liên tục nghiên cứu các hiện tượng phân bố trên một số tập hợp dày đặc, chẳng hạn như trên một đoạn hoặc trong một đường tròn.
Chúng ta có thể xem xét chủ đề của lý thuyết xác suất bằng một ví dụ đơn giản. Hãy tưởng tượng bạn là một nhà phát triển game bắn súng. Một phần không thể thiếu trong sự phát triển của các trò chơi thuộc thể loại này là cơ chế bắn súng. Rõ ràng là một game bắn súng trong đó tất cả vũ khí đều bắn chính xác tuyệt đối sẽ ít được người chơi quan tâm. Vì vậy, việc tăng thêm sức lan tỏa cho vũ khí của bạn là điều bắt buộc. Nhưng việc chỉ ngẫu nhiên hóa các điểm tác động của vũ khí sẽ không cho phép tinh chỉnh nên việc điều chỉnh cân bằng trò chơi sẽ khó khăn. Đồng thời, việc sử dụng các biến ngẫu nhiên và cách phân phối của chúng có thể phân tích cách vũ khí sẽ hoạt động với mức chênh lệch nhất định và giúp thực hiện các điều chỉnh cần thiết.
Không gian của kết quả cơ bản
Giả sử rằng từ một thử nghiệm ngẫu nhiên nào đó mà chúng ta có thể lặp lại nhiều lần (ví dụ: tung đồng xu), chúng ta có thể rút ra một số thông tin có thể chính thức hóa (ngửa hoặc sấp). Thông tin này được gọi là kết quả cơ bản và rất hữu ích khi xem xét tập hợp tất cả các kết quả cơ bản, thường được ký hiệu bằng chữ Ω (Omega).
Cấu trúc của không gian này phụ thuộc hoàn toàn vào bản chất của thí nghiệm. Ví dụ: nếu chúng ta xem xét việc bắn vào một mục tiêu hình tròn đủ lớn, không gian của các kết quả cơ bản sẽ là một vòng tròn, để thuận tiện, được đặt với tâm ở mức 0 và kết quả sẽ là một điểm trong vòng tròn này.
Ngoài ra, các tập hợp kết quả cơ bản - sự kiện cũng được xem xét (ví dụ: chạm vào top 10 là một vòng tròn đồng tâm bán kính nhỏ có mục tiêu). Trong trường hợp rời rạc, mọi thứ khá đơn giản: chúng ta có thể nhận được bất kỳ sự kiện nào, bao gồm hoặc loại trừ các kết quả cơ bản trong một thời gian hữu hạn. Trong trường hợp liên tục, mọi thứ phức tạp hơn nhiều: chúng ta cần một số tập hợp khá tốt để xem xét, được gọi là đại số bằng cách tương tự với các số thực đơn giản có thể cộng, trừ, chia và nhân. Các tập hợp trong đại số có thể được giao nhau và kết hợp và kết quả của phép toán sẽ nằm trong đại số. Đây là một tính chất rất quan trọng đối với toán học nằm đằng sau tất cả các khái niệm này. Một họ tối thiểu chỉ bao gồm hai tập - tập trống và không gian của các kết quả cơ bản.
Đo lường và xác suất
Xác suất là một cách đưa ra suy luận về hành vi của các đối tượng rất phức tạp mà không hiểu cách chúng hoạt động. Do đó, xác suất được định nghĩa là hàm của một sự kiện (từ họ tập hợp rất tốt đó) trả về một số - một số đặc điểm về tần suất một sự kiện như vậy có thể xảy ra trong thực tế. Để chắc chắn hơn, các nhà toán học đã đồng ý rằng con số này phải nằm trong khoảng từ 0 đến 1. Ngoài ra, hàm này còn có các yêu cầu: xác suất của một sự kiện không thể xảy ra bằng 0, xác suất của toàn bộ tập hợp kết quả là đơn vị và xác suất kết hợp hai sự kiện độc lập (các tập hợp rời rạc) bằng tổng các xác suất. Một tên gọi khác của xác suất là thước đo xác suất. Thường được sử dụng nhất là thước đo Lebesgue, thước đo này khái quát hóa các khái niệm về chiều dài, diện tích, thể tích theo bất kỳ chiều nào (thể tích n chiều), và do đó nó có thể áp dụng cho nhiều loại tập hợp.
Cùng với nhau, tập hợp một tập hợp các kết quả cơ bản, một họ các tập hợp và thước đo xác suất được gọi là không gian xác suất. Hãy xem xét cách chúng ta có thể xây dựng một không gian xác suất cho ví dụ bắn vào mục tiêu.
Hãy cân nhắc việc bắn vào một mục tiêu tròn lớn có bán kính R để không thể bắn trượt. Bằng một tập hợp các sự kiện cơ bản, chúng ta thiết lập một đường tròn có tâm ở gốc tọa độ bán kính R. Vì chúng ta sẽ sử dụng diện tích (độ đo Lebesgue cho các tập hợp hai chiều) để mô tả xác suất của một sự kiện, nên chúng ta sẽ sử dụng một họ các tập hợp có thể đo lường được (mà độ đo này tồn tại).
Lưu ý Trên thực tế, đây là một điểm kỹ thuật và trong các bài toán đơn giản, quá trình xác định thước đo và họ tập hợp không đóng một vai trò đặc biệt nào. Nhưng cần phải hiểu rằng hai đối tượng này tồn tại, bởi vì trong nhiều cuốn sách về lý thuyết xác suất, các định lý đều bắt đầu bằng những từ: “ Cho (Ω,Σ,P) là không gian xác suất...».
Như đã đề cập ở trên, xác suất của toàn bộ không gian của các kết quả cơ bản phải bằng một. Diện tích (độ đo Lebesgue hai chiều, mà chúng tôi ký hiệu là λ 2 (A), trong đó A là một sự kiện) của một hình tròn, theo một công thức nổi tiếng ở trường, bằng π *R 2. Sau đó, chúng ta có thể đưa ra xác suất P(A) = λ 2 (A) / (π *R 2) và giá trị này sẽ nằm trong khoảng từ 0 đến 1 đối với bất kỳ sự kiện A nào.
Nếu chúng ta giả sử rằng việc bắn trúng bất kỳ điểm nào trên mục tiêu đều có xác suất như nhau, thì việc tìm kiếm xác suất người bắn bắn trúng một khu vực nào đó của mục tiêu sẽ dẫn đến việc tìm ra khu vực của tập hợp này (từ đây chúng ta có thể kết luận rằng xác suất đánh vào một điểm cụ thể bằng 0, vì diện tích của điểm bằng 0).
Ví dụ: chúng tôi muốn tìm hiểu xác suất để người bắn trúng vào top 10 (sự kiện A - người bắn trúng bộ mong muốn) là bao nhiêu). Trong mô hình của chúng tôi, số “mười” được biểu thị bằng một vòng tròn có tâm bằng 0 và bán kính r. Khi đó xác suất lọt vào vòng tròn này là P(A) = λ 2 /(A)π *R 2 = π * r 2 /(π R 2)= (r/R) 2.
Đây là một trong những loại bài toán "xác suất hình học" đơn giản nhất - hầu hết các bài toán này đều yêu cầu tìm diện tích.
Biến ngẫu nhiên
Biến ngẫu nhiên là một hàm chuyển đổi các kết quả cơ bản thành số thực. Ví dụ, trong bài toán đang xem xét, chúng ta có thể đưa vào một biến ngẫu nhiên ρ(ω) - khoảng cách từ điểm va chạm đến tâm của mục tiêu. Tính đơn giản của mô hình của chúng tôi cho phép chúng tôi xác định rõ ràng không gian của các kết quả cơ bản: Ω = (ω = (x,y) sao cho các số x 2 +y 2 ≤ R 2 ) . Khi đó biến ngẫu nhiên ρ(ω) = ρ(x,y) = x 2 +y 2 .
Phương pháp trừu tượng hóa từ không gian xác suất. Hàm phân bố và mật độ
Thật tốt khi cấu trúc của không gian được biết rõ, nhưng trên thực tế, điều này không phải lúc nào cũng đúng. Ngay cả khi cấu trúc của một không gian được biết đến thì nó vẫn có thể phức tạp. Để mô tả các biến ngẫu nhiên nếu chưa biết biểu thức của chúng, người ta sử dụng khái niệm hàm phân phối, được ký hiệu là F ξ (x) = P(ξ< x) (нижний индекс ξ здесь означает случайную величину). Т.е. это вероятность множества всех таких элементарных исходов, для которых значение случайной величины ξ на этом событии меньше, чем заданный параметр x .
Hàm phân phối có một số thuộc tính:
- Thứ nhất, nó nằm trong khoảng từ 0 đến 1.
- Thứ hai, nó không giảm khi đối số x của nó tăng.
- Thứ ba, khi số -x rất lớn thì hàm phân phối gần bằng 0 và khi bản thân x lớn thì hàm phân phối gần bằng 1.
Có lẽ ý nghĩa của cách xây dựng này không rõ ràng lắm khi đọc lần đầu. Một thuộc tính hữu ích là hàm phân phối cho phép bạn tìm xác suất để một đại lượng nhận một giá trị từ một khoảng. Vậy P (biến ngẫu nhiên ξ lấy các giá trị từ khoảng) = F ξ (b)-F ξ (a). Dựa trên đẳng thức này, chúng ta có thể nghiên cứu xem giá trị này thay đổi như thế nào nếu ranh giới a và b của khoảng gần nhau.
Đặt d = b-a , sau đó b = a+d . Và do đó, F ξ (b) - F ξ (a) = F ξ (a+d) - F ξ (a) . Đối với các giá trị nhỏ của d thì chênh lệch trên cũng nhỏ (nếu phân phối liên tục). Thật hợp lý khi xem xét tỷ lệ p ξ (a,d)= (F ξ (a+d) - F ξ (a))/d. Nếu, đối với các giá trị đủ nhỏ của d, tỷ lệ này khác một chút so với một số hằng số p ξ (a), không phụ thuộc vào d, thì tại thời điểm này, biến ngẫu nhiên có mật độ bằng p ξ (a).
Lưu ý Bạn đọc trước đây đã từng gặp khái niệm đạo hàm có thể nhận thấy rằng p ξ (a) là đạo hàm của hàm F ξ (x) tại điểm a. Trong mọi trường hợp, bạn có thể nghiên cứu khái niệm đạo hàm trong một bài viết về chủ đề này trên trang web Mathprofi.
Bây giờ, ý nghĩa của hàm phân phối có thể được định nghĩa như sau: đạo hàm của nó (mật độ p ξ, mà chúng ta đã xác định ở trên) tại điểm a mô tả tần suất một biến ngẫu nhiên sẽ rơi vào một khoảng nhỏ có tâm tại điểm a (gần điểm a). ) so với các lân cận của các điểm khác . Nói cách khác, hàm phân phối tăng càng nhanh thì khả năng giá trị đó xuất hiện trong một thử nghiệm ngẫu nhiên càng cao.
Hãy quay lại ví dụ. Chúng ta có thể tính hàm phân phối cho biến ngẫu nhiên, ρ(ω) = ρ(x,y) = x 2 +y 2 , biểu thị khoảng cách từ tâm đến điểm bắn ngẫu nhiên trên mục tiêu. Theo định nghĩa, F ρ (t) = P(ρ(x,y)< t) . т.е. множество {ρ(x,y) < t)} — состоит из таких точек (x,y) , расстояние от которых до нуля меньше, чем t . Мы уже считали вероятность такого события, когда вычисляли вероятность попадания в «десятку» - она равна t 2 /R 2 . Таким образом, Fρ(t) = P(ρ(x,y) < t) = t 2 /R 2 , для 0 Chúng ta có thể tìm thấy mật độ p ρ của biến ngẫu nhiên này. Chúng ta hãy lưu ý ngay rằng bên ngoài khoảng đó nó bằng 0, bởi vì hàm phân phối trong khoảng này không thay đổi. Vào cuối khoảng thời gian này, mật độ không được xác định. Bên trong khoảng, có thể tìm thấy nó bằng cách sử dụng bảng đạo hàm (ví dụ: từ trang web Mathprofi) và các quy tắc phân biệt cơ bản. Đạo hàm của t 2 /R 2 bằng 2t/R 2. Điều này có nghĩa là chúng ta đã tìm thấy mật độ trên toàn bộ trục số thực. Một đặc tính hữu ích khác của mật độ là xác suất để một hàm nhận một giá trị từ một khoảng, được tính bằng cách sử dụng tích phân của mật độ trong khoảng này (bạn có thể tìm hiểu xem đây là gì trong các bài viết về tích phân đúng, không đúng và không xác định trên Mathprofi. trang web). Trong lần đọc đầu tiên, tích phân trên một khoảng của hàm f(x) có thể được coi là diện tích của một hình thang cong. Các cạnh của nó là một đoạn của trục Ox, một khoảng trống (trục tọa độ ngang), các đoạn thẳng nối các điểm (a,f(a)), (b,f(b)) trên đường cong với các điểm (a,0), (b,0 ) trên trục Ox. Cạnh cuối cùng là một đoạn của đồ thị của hàm f từ (a,f(a)) đến (b,f(b)) . Chúng ta có thể nói về tích phân trên khoảng (-∞; b], khi với giá trị âm a đủ lớn, giá trị của tích phân trên khoảng sẽ thay đổi không đáng kể so với sự thay đổi của số a. Tích phân trên các khoảng là được xác định theo cách tương tự)