Quá trình Markov rời rạc. Quy trình Markov: ví dụ

Các quá trình ngẫu nhiên Markov được đặt theo tên của nhà toán học xuất sắc người Nga A.A. Markov (1856-1922), người đầu tiên bắt đầu nghiên cứu mối quan hệ xác suất của các biến ngẫu nhiên và tạo ra một lý thuyết có thể gọi là “động lực xác suất”. Sau đó, nền tảng của lý thuyết này đã trở thành nền tảng ban đầu cho lý thuyết chung về các quá trình ngẫu nhiên, cũng như các ngành khoa học ứng dụng quan trọng như lý thuyết về quá trình khuếch tán, lý thuyết độ tin cậy, lý thuyết xếp hàng, v.v. Hiện nay, lý thuyết về các quá trình Markov và ứng dụng của nó được sử dụng rộng rãi trong nhiều lĩnh vực khoa học khác nhau như cơ học, vật lý, hóa học, v.v..

Do tính đơn giản và rõ ràng so sánh của bộ máy toán học, độ tin cậy và độ chính xác cao của các giải pháp thu được, các quy trình Markov đã nhận được sự quan tâm đặc biệt từ các chuyên gia tham gia nghiên cứu hoạt động và lý thuyết ra quyết định tối ưu.

Bất chấp sự đơn giản và rõ ràng nêu trên, việc áp dụng lý thuyết chuỗi Markov vào thực tế đòi hỏi kiến thức về một số thuật ngữ và nguyên tắc cơ bản cần được thảo luận trước khi trình bày các ví dụ.

Như đã chỉ ra, các quy trình ngẫu nhiên Markov đề cập đến các trường hợp đặc biệt của quy trình ngẫu nhiên (SP). Đổi lại, các quy trình ngẫu nhiên dựa trên khái niệm hàm ngẫu nhiên (SF).

Hàm ngẫu nhiên là hàm có giá trị, đối với bất kỳ giá trị nào của đối số, là một biến ngẫu nhiên (RV). Nói cách khác, SF có thể được gọi là một hàm mà tại mỗi lần kiểm tra, nó có dạng chưa biết trước đó.

Những ví dụ như vậy về SF là: dao động điện áp trong mạch điện, tốc độ của ô tô trên một đoạn đường có giới hạn tốc độ, độ nhám bề mặt của một bộ phận trong một khu vực nhất định, v.v.

Theo quy định, người ta tin rằng nếu đối số của SF là thời gian thì quá trình như vậy được gọi là ngẫu nhiên. Có một định nghĩa khác về quá trình ngẫu nhiên, gần với lý thuyết quyết định hơn. Trong trường hợp này, quá trình ngẫu nhiên được hiểu là quá trình thay đổi ngẫu nhiên các trạng thái của bất kỳ hệ thống vật lý hoặc kỹ thuật nào theo thời gian hoặc một số đối số khác.

Dễ dàng thấy rằng nếu bạn chỉ định một trạng thái và mô tả sự phụ thuộc thì sự phụ thuộc đó sẽ là một hàm ngẫu nhiên.

Các quá trình ngẫu nhiên được phân loại theo loại trạng thái và đối số t. Trong trường hợp này, các quá trình ngẫu nhiên có thể ở trạng thái hoặc thời gian rời rạc hoặc liên tục.

Ngoài các ví dụ về phân loại quá trình ngẫu nhiên ở trên, còn có một thuộc tính quan trọng khác. Thuộc tính này mô tả mối quan hệ xác suất giữa các trạng thái của các quá trình ngẫu nhiên. Vì vậy, ví dụ, nếu trong một quá trình ngẫu nhiên, xác suất hệ thống chuyển sang từng trạng thái tiếp theo chỉ phụ thuộc vào trạng thái trước đó, thì quá trình đó được gọi là quá trình không có hậu quả.

Trước tiên, chúng ta hãy lưu ý rằng một quá trình ngẫu nhiên với các trạng thái và thời gian rời rạc được gọi là một chuỗi ngẫu nhiên.

Nếu một chuỗi ngẫu nhiên có tính chất Markov thì nó được gọi là chuỗi Markov.

Mặt khác, nếu trong một quá trình ngẫu nhiên các trạng thái là rời rạc, thời gian liên tục và tính chất hậu quả được bảo toàn thì quá trình ngẫu nhiên đó được gọi là quá trình Markov với thời gian liên tục.

Quá trình ngẫu nhiên Markov được gọi là đồng nhất nếu xác suất chuyển tiếp không đổi trong suốt quá trình.

Xích Markov được coi là đã cho nếu có đủ hai điều kiện.

1. Có tập hợp xác suất chuyển tiếp ở dạng ma trận:

2. Có một vectơ xác suất ban đầu

mô tả trạng thái ban đầu của hệ thống.

Ngoài dạng ma trận, mô hình chuỗi Markov có thể được biểu diễn dưới dạng biểu đồ có trọng số có hướng (Hình 1).

Cơm. 1

Tập hợp các trạng thái của hệ thống chuỗi Markov được phân loại theo một cách nhất định, có tính đến hành vi tiếp theo của hệ thống.

1. Bộ không thể đảo ngược (Hình 2).

Hình 2.

Trong trường hợp tập hợp không quay trở lại, mọi chuyển đổi trong tập hợp này đều có thể thực hiện được. Hệ thống có thể rời khỏi bộ này nhưng không thể quay lại bộ này.

2. Bộ trả về (Hình 3).

Cơm. 3.

Trong trường hợp này, mọi chuyển đổi trong tập hợp cũng có thể thực hiện được. Hệ thống có thể vào bộ này nhưng không thể rời khỏi nó.

3. Bộ công thái học (Hình 4).

Cơm. 4.

Trong trường hợp tập hợp ergodic, mọi chuyển đổi trong tập hợp đều có thể thực hiện được, nhưng các chuyển đổi từ và sang tập hợp đó đều bị loại trừ.

4. Bộ hấp thụ (Hình 5)

Cơm. 5.

Khi hệ thống nhập vào bộ này, quá trình kết thúc.

Trong một số trường hợp, bất chấp tính ngẫu nhiên của quá trình, vẫn có thể kiểm soát các quy luật phân phối hoặc các tham số của xác suất chuyển đổi ở một mức độ nhất định. Chuỗi Markov như vậy được gọi là chuỗi điều khiển. Rõ ràng, với sự trợ giúp của chuỗi Markov được kiểm soát (CMC), quá trình ra quyết định trở nên đặc biệt hiệu quả, như sẽ được thảo luận sau.

Đặc điểm chính của chuỗi Markov rời rạc (DMC) là tính xác định khoảng thời gian giữa các bước (giai đoạn) riêng lẻ của quy trình. Tuy nhiên, trong các quá trình thực tế, đặc tính này thường không được quan sát thấy và các khoảng hóa ra là ngẫu nhiên với một số định luật phân phối, mặc dù đặc tính Markov của quá trình vẫn được bảo toàn. Những chuỗi ngẫu nhiên như vậy được gọi là bán Markov.

Ngoài ra, khi tính đến sự hiện diện và vắng mặt của một số tập hợp trạng thái nhất định được đề cập ở trên, chuỗi Markov có thể hấp thụ nếu có ít nhất một trạng thái hấp thụ hoặc ergodic nếu xác suất chuyển tiếp tạo thành một tập hợp ergodic. Đổi lại, chuỗi ergodic có thể đều đặn hoặc tuần hoàn. Chuỗi tuần hoàn khác với chuỗi thông thường ở chỗ trong quá trình chuyển đổi qua một số bước (chu kỳ) nhất định sẽ xảy ra sự quay trở lại trạng thái nào đó. Chuỗi thông thường không có tính chất này.

Lý thuyết xếp hàng là một nhánh của lý thuyết xác suất. Lý thuyết này xem xét xác suất các bài toán và mô hình toán học (trước đó chúng ta đã xem xét các mô hình toán học xác định). Hãy để chúng tôi nhắc nhở bạn rằng:

Mô hình toán học xác định phản ánh hành vi của một đối tượng (hệ thống, quy trình) từ góc độ hoàn toàn chắc chắn trong hiện tại và tương lai.

Mô hình toán xác suất tính đến ảnh hưởng của các yếu tố ngẫu nhiên đến hành vi của một đối tượng (hệ thống, quy trình) và do đó, đánh giá tương lai từ quan điểm xác suất của các sự kiện nhất định.

Những thứ kia. ở đây, chẳng hạn như trong lý thuyết trò chơi, các vấn đề được xem xét trong điều kiệnsự không chắc chắn.

Trước tiên chúng ta hãy xem xét một số khái niệm đặc trưng cho “độ không đảm bảo ngẫu nhiên”, khi các yếu tố không chắc chắn có trong bài toán là các biến ngẫu nhiên (hoặc hàm ngẫu nhiên), các đặc tính xác suất của chúng đã được biết hoặc có thể thu được từ kinh nghiệm. Sự không chắc chắn như vậy còn được gọi là “thuận lợi”, “lành tính”.

Khái niệm quá trình ngẫu nhiên

Nói đúng ra, những xáo trộn ngẫu nhiên là cố hữu trong bất kỳ quá trình nào. Việc đưa ra các ví dụ về quy trình ngẫu nhiên sẽ dễ dàng hơn so với quy trình “không ngẫu nhiên”. Thậm chí, chẳng hạn, quá trình chạy đồng hồ (có vẻ như là một công việc được hiệu chỉnh nghiêm ngặt - “hoạt động giống như một chiếc đồng hồ”) cũng có những thay đổi ngẫu nhiên (tiến về phía trước, tụt lại phía sau, dừng lại). Nhưng miễn là những nhiễu loạn này không đáng kể và ít ảnh hưởng đến các tham số mà chúng ta quan tâm, chúng ta có thể bỏ qua chúng và coi quá trình này là tất định, không ngẫu nhiên.

Hãy có một hệ thống nào đó S(thiết bị kỹ thuật, nhóm thiết bị đó, hệ thống công nghệ - máy móc, công trường, nhà xưởng, doanh nghiệp, ngành công nghiệp, v.v.). Trong hệ thống S rò rỉ quá trình ngẫu nhiên, nếu nó thay đổi trạng thái theo thời gian (chuyển từ trạng thái này sang trạng thái khác), hơn nữa, theo một cách ngẫu nhiên chưa từng được biết trước đó.

Ví dụ: 1. Hệ thống S– Hệ thống công nghệ (phần máy). Máy móc thỉnh thoảng bị hỏng và được sửa chữa. Quá trình diễn ra trong hệ thống này là ngẫu nhiên.

2. Hệ thống S- một chiếc máy bay bay ở độ cao nhất định dọc theo một tuyến đường cụ thể. Các yếu tố gây xáo trộn - điều kiện thời tiết, lỗi của phi hành đoàn, v.v., hậu quả - gập ghềnh, vi phạm lịch bay, v.v.

Quá trình ngẫu nhiên Markov

Một quá trình ngẫu nhiên xảy ra trong hệ thống được gọi là Markovsky, nếu vào bất kỳ thời điểm nào t 0 đặc tính xác suất của một quá trình trong tương lai chỉ phụ thuộc vào trạng thái của nó tại thời điểm đó t 0 và không phụ thuộc vào thời điểm và cách thức hệ thống đạt đến trạng thái này.

Cho hệ ở thời điểm t 0 ở trạng thái nào đó S 0 . Chúng ta biết được đặc điểm trạng thái của hệ thống ở hiện tại, mọi thứ xảy ra khi t<t 0 (lịch sử quá trình). Chúng ta có thể dự đoán (dự đoán) tương lai không, tức là. điều gì sẽ xảy ra khi t>t 0 ? Không chính xác, nhưng có thể tìm thấy một số đặc điểm xác suất của quá trình trong tương lai. Ví dụ, xác suất để sau một thời gian hệ thống S sẽ có thể S 1 hoặc sẽ vẫn ở trạng thái S 0, v.v.

Ví dụ. Hệ thống S- một nhóm máy bay tham gia chiến đấu trên không. Cho phép x– số lượng mặt phẳng “đỏ”, y– số lượng máy bay “xanh”. Đến lúc đó t 0 số máy bay sống sót (không bị bắn rơi), tương ứng – x 0 ,y 0 . Chúng tôi quan tâm đến khả năng tại thời điểm đó, ưu thế về quân số sẽ nghiêng về phía “quân đỏ”. Xác suất này phụ thuộc vào trạng thái của hệ thống vào thời điểm đó t 0, chứ không phải về thời điểm và trình tự những người bị bắn hạ chết cho đến thời điểm đó t 0 máy bay.

Trong thực tế, các quá trình Markov ở dạng thuần túy thường không gặp phải. Nhưng có những quá trình mà ảnh hưởng của “thời tiền sử” có thể bị bỏ qua. Và khi nghiên cứu các quá trình như vậy, có thể sử dụng mô hình Markov (lý thuyết xếp hàng không xem xét hệ thống xếp hàng Markov, nhưng bộ máy toán học mô tả chúng phức tạp hơn nhiều).

Trong nghiên cứu hoạt động, các quá trình ngẫu nhiên Markov với trạng thái rời rạc và thời gian liên tục có tầm quan trọng rất lớn.

Quá trình này được gọi là quá trình trạng thái rời rạc, nếu trạng thái có thể của nó S 1 ,S 2, ... có thể được xác định trước và quá trình chuyển đổi của hệ thống từ trạng thái này sang trạng thái khác xảy ra “trong một bước nhảy”, gần như ngay lập tức.

Quá trình này được gọi là quá trình thời gian liên tục, nếu thời điểm chuyển đổi có thể có từ trạng thái này sang trạng thái khác không cố định trước mà không chắc chắn, ngẫu nhiên và có thể xảy ra bất kỳ lúc nào.

Ví dụ. Hệ thống công nghệ (phần) S bao gồm hai máy, mỗi máy có thể bị hỏng (hỏng) tại một thời điểm ngẫu nhiên, sau đó quá trình sửa chữa thiết bị ngay lập tức bắt đầu, quá trình này cũng tiếp tục trong một thời gian ngẫu nhiên, không xác định. Các trạng thái hệ thống sau đây có thể xảy ra:

S 0 - cả hai máy đều hoạt động;

S 1 - máy thứ nhất đang sửa chữa, máy thứ hai đang hoạt động;

S 2 - máy thứ 2 đang sửa chữa, máy thứ nhất đang hoạt động;

S 3 - cả hai máy đều đang được sửa chữa.

Chuyển đổi hệ thống S từ trạng thái này sang trạng thái khác xảy ra gần như ngay lập tức, tại những thời điểm ngẫu nhiên khi một máy cụ thể bị lỗi hoặc việc sửa chữa hoàn tất.

Khi phân tích các quá trình ngẫu nhiên với các trạng thái rời rạc, sẽ thuận tiện hơn khi sử dụng sơ đồ hình học - đồ thị trạng thái. Các đỉnh của đồ thị là các trạng thái của hệ thống. Cung đồ thị – khả năng chuyển đổi từ trạng thái này sang trạng thái khác

Hình.1. Biểu đồ trạng thái hệ thống

tình trạng. Trong ví dụ của chúng tôi, biểu đồ trạng thái được hiển thị trong Hình 1.

Ghi chú. Chuyển từ trạng thái S 0 trong S 3 không được chỉ ra trong hình, bởi vì người ta cho rằng các máy bị lỗi độc lập với nhau. Chúng tôi bỏ qua khả năng hỏng hóc đồng thời của cả hai máy.

Bài giảng 9

quá trình Markov
Bài giảng 9
quá trình Markov

1

quá trình Markov

quá trình Markov
Một quá trình ngẫu nhiên xảy ra trong hệ thống được gọi là
Markovian nếu nó không có hậu quả. Những thứ kia.
nếu chúng ta coi trạng thái hiện tại của quá trình (t 0) - là
hiện tại, một tập hợp các trạng thái có thể có ((s),s t) - as
quá khứ, một tập hợp các trạng thái có thể có ((u),u t) - as
tương lai, sau đó đối với quy trình Markov cho một điểm cố định
hiện tại, tương lai không phụ thuộc vào quá khứ mà được xác định
chỉ trong hiện tại và không phụ thuộc vào thời điểm và cách thức hệ thống
đã đến trạng thái này.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
2

quá trình Markov

quá trình Markov
Các quá trình ngẫu nhiên Markov được đặt theo tên của nhà toán học xuất sắc người Nga A.A. Markov, người đầu tiên bắt đầu nghiên cứu mối liên hệ xác suất của các biến ngẫu nhiên.
và tạo ra một lý thuyết có thể gọi là "động lực học
xác suất." Sau đó, nền tảng của lý thuyết này là
cơ sở ban đầu của lý thuyết chung về các quá trình ngẫu nhiên, cũng như các ngành khoa học ứng dụng quan trọng như lý thuyết về quá trình khuếch tán, lý thuyết độ tin cậy, lý thuyết xếp hàng, v.v.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
3

Markov Andrey Andreevich Markov Andrey Andreevich Markov Andrey Andreevich

quá trình Markov
Markov Andrey Andreevich
1856-1922
Nhà toán học người Nga.
Đã viết khoảng 70 tác phẩm
lý thuyết
số,
lý thuyết
lý thuyết xấp xỉ hàm
xác suất. Phạm vi điều chỉnh của luật được mở rộng đáng kể
số lượng lớn và trung tâm
định lý giới hạn. Là
người sáng lập lý thuyết về các quá trình ngẫu nhiên.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
4

quá trình Markov

quá trình Markov
Trong thực tế, các quá trình Markov ở dạng thuần túy thường
không gặp nhau. Nhưng có những quá trình mà ảnh hưởng của “thời tiền sử” có thể bị bỏ qua, và khi nghiên cứu
Đối với các quy trình như vậy, có thể sử dụng mô hình Markov. TRONG
Hiện nay, lý thuyết về quá trình Markov và các ứng dụng của nó được sử dụng rộng rãi trong nhiều lĩnh vực.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
5

quá trình Markov

quá trình Markov
Sinh học: quá trình sinh và tử - quần thể, đột biến,
dịch bệnh.
Vật lý:
phóng xạ
phân hủy,
lý thuyết
quầy
hạt cơ bản, quá trình khuếch tán.
Hoá học:
lý thuyết
dấu vết
V.
hạt nhân
nhũ tương ảnh,
mô hình xác suất của động học hóa học.
Hình ảnh.jpg
Thiên văn học: lý thuyết dao động
sáng của Dải Ngân hà.
Lý thuyết xếp hàng: trao đổi điện thoại,
cửa hàng sửa chữa, phòng bán vé, bàn thông tin,
máy và các hệ thống công nghệ khác, hệ thống điều khiển
hệ thống sản xuất linh hoạt, xử lý thông tin bằng máy chủ.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
6

quá trình Markov

quá trình Markov
Giả sử tại thời điểm hiện tại t0 hệ thống ở trạng thái
trạng thái nhất định S0. Chúng ta biết đặc điểm
trạng thái của hệ thống ở hiện tại và mọi thứ xảy ra tại thời điểm t< t0
(nền tảng của quá trình). Liệu chúng ta có thể đoán trước được tương lai,
những thứ kia. chuyện gì xảy ra lúc t > t0?
Không chính xác, nhưng một số đặc điểm xác suất
quá trình có thể được tìm thấy trong tương lai. Ví dụ, xác suất mà
điều đó sau một thời gian
hệ thống S sẽ ở trạng thái
S1 hoặc sẽ vẫn ở trạng thái S0, v.v.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
7

Các quá trình Markov Ví dụ.

quá trình Markov
Các quá trình Markov Ví dụ.
Hệ thống S là nhóm máy bay tham gia chiến đấu trên không. Gọi x là số lượng
mặt phẳng “đỏ”, y – số lượng mặt phẳng “xanh”. Tại thời điểm t0, số máy bay sống sót (không bị bắn rơi)
tương ứng – x0, y0.
Chúng ta quan tâm đến xác suất tại thời điểm đó
t 0 ưu thế về quân số sẽ nghiêng về phía “quân đỏ”. Xác suất này phụ thuộc vào trạng thái của hệ thống
tại thời điểm t0, chứ không phải thời điểm và trình tự máy bay bị bắn hạ trước thời điểm t0 chết.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
8

Chuỗi Markov rời rạc

quá trình Markov
Chuỗi Markov rời rạc
Quá trình Markov với số hữu hạn hoặc đếm được
trạng thái và khoảnh khắc của thời gian được gọi là rời rạc
Chuỗi Markov. Việc chuyển đổi từ trạng thái này sang trạng thái khác chỉ có thể thực hiện được ở những thời điểm nguyên.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
9

10. Chuỗi Markov rời rạc. Ví dụ

quá trình Markov

Giả định
Cái gì
lời nói
đang tới
ồ
tung đồng xu liên tiếp
trò chơi ném; một đồng xu được ném vào
khoảnh khắc có điều kiện của thời gian t = 0, 1, ... và tại
mỗi bước người chơi có thể thắng ±1 giây
giống nhau
xác suất
1/2,
như thế này
Như vậy, tại thời điểm t, tổng mức tăng của nó là một biến ngẫu nhiên ξ(t) với các giá trị có thể là j = 0, ±1, ... .
Với điều kiện là ξ(t) = k, ở bước tiếp theo mức hoàn trả sẽ là
đã bằng ξ(t+1) = k ± 1, lấy các giá trị j = k ± 1 với cùng xác suất 1/2. Chúng ta có thể nói rằng ở đây, với xác suất tương ứng, một sự chuyển đổi xảy ra từ trạng thái ξ(t) = k sang trạng thái ξ(t+1) = k ± 1.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
10

11. Chuỗi Markov rời rạc

quá trình Markov
Chuỗi Markov rời rạc
Tổng quát hóa ví dụ này, chúng ta có thể tưởng tượng một hệ thống với
số lượng có thể đếm được của các trạng thái có thể, theo thời gian
thời gian rời rạc t = 0, 1,... chuyển động ngẫu nhiên từ trạng thái này sang trạng thái khác.
Gọi ξ(t) là vị trí của nó tại thời điểm t do một chuỗi chuyển đổi ngẫu nhiên
ξ(0) -> ξ(1) -> ... -> ξ(t) -> ξ(t+1) ->...-> ... .
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
11

12. Chuỗi Markov rời rạc

quá trình Markov
Chuỗi Markov rời rạc
Khi phân tích các quá trình ngẫu nhiên với các trạng thái rời rạc, sẽ thuận tiện hơn khi sử dụng sơ đồ hình học - biểu đồ
tiểu bang. Các đỉnh của đồ thị là các trạng thái của hệ thống. Các cung của đồ thị
- khả năng chuyển đổi từ trạng thái này sang trạng thái khác.
Một trò chơi ném.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
12

13. Chuỗi Markov rời rạc

quá trình Markov
Chuỗi Markov rời rạc
Chúng ta hãy biểu thị tất cả các trạng thái có thể có bằng số nguyên i = 0, ±1, ...
Giả sử rằng đối với trạng thái đã biết ξ(t) =i, ở bước tiếp theo hệ thống sẽ chuyển sang trạng thái ξ(t+1) = j với xác suất có điều kiện
P((t 1)j(t)i)
bất kể hành vi của cô ấy trong quá khứ, hay nói đúng hơn là bất kể
từ chuỗi chuyển tiếp đến thời điểm t:
P((t 1) j (t) i; (t 1) it 1;...; (0) i0 )
P((t 1)j(t)i)
Thuộc tính này được gọi là Markovian.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
13

14. Chuỗi Markov rời rạc

quá trình Markov
Chuỗi Markov rời rạc
Con số
pij P((t 1) j (t) i)
gọi là xác suất
chuyển hệ thống từ trạng thái i sang trạng thái j trong một bước
thời điểm t 1.
Nếu xác suất chuyển tiếp không phụ thuộc vào t thì mạch
Markov được gọi là đồng nhất.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
14

15. Chuỗi Markov rời rạc

quá trình Markov
Chuỗi Markov rời rạc
Ma trận P, có các phần tử là xác suất
pij chuyển tiếp được gọi là ma trận chuyển tiếp:
p11...p1n
P p 21 ... p 2n
P
n1...pnn
Nó mang tính ngẫu nhiên, tức là
pij 1 ;
Tôi
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
p ij 0 .
15

16. Chuỗi Markov rời rạc. Ví dụ

quá trình Markov
Chuỗi Markov rời rạc. Ví dụ
Ma trận chuyển tiếp cho trò chơi tung
...
k 2
k 2
0
k 1
1/ 2
k
0
k 1
k
k 1
k 2
0
1/ 2
0
0
1/ 2
0
1/ 2
0
1/ 2
0
0
0
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
...
k 1 k 2
0
0
0
1/ 2
0
1/ 2
...
0
0
1/ 2
0
16

17. Chuỗi Markov rời rạc. Ví dụ

quá trình Markov
Chuỗi Markov rời rạc. Ví dụ
Dựa trên kết quả phân tích thành phần hóa học của đất, người làm vườn đánh giá
tình trạng của nó là một trong ba số - tốt (1), đạt yêu cầu (2) hoặc xấu (3). Theo kết quả quan sát trong nhiều năm, người làm vườn nhận thấy
Năng suất đất hiện nay
năm chỉ phụ thuộc vào tình trạng của nó trong
năm trước. Do đó xác suất
sự chuyển đổi của đất từ trạng thái này sang trạng thái khác
cái khác có thể được biểu diễn như sau
Chuỗi Markov với ma trận P1:
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
17

18. Chuỗi Markov rời rạc. Ví dụ

quá trình Markov
Chuỗi Markov rời rạc. Ví dụ
Tuy nhiên, nhờ các hoạt động nông nghiệp, người làm vườn có thể thay đổi xác suất chuyển tiếp trong ma trận P1.
Khi đó ma trận P1 sẽ được thay thế
vào ma trận P2:
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
18

19. Chuỗi Markov rời rạc

quá trình Markov
Chuỗi Markov rời rạc
Hãy xem xét các trạng thái của quá trình thay đổi như thế nào theo thời gian. Chúng ta sẽ xem xét quá trình tại các thời điểm liên tiếp, bắt đầu từ thời điểm 0. Hãy đặt phân bố xác suất ban đầu p(0) ( p1 (0),..., pm (0)), trong đó m là số trạng thái của quá trình, pi (0) là xác suất tìm thấy
tiến trình ở trạng thái i tại thời điểm ban đầu. Xác suất pi(n) được gọi là xác suất vô điều kiện của trạng thái
tôi tại thời điểm n 1.
Các thành phần của vectơ p (n) cho biết trạng thái nào có thể có của mạch tại thời điểm n là lớn nhất
có thể xảy ra.
tôi
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
pk(n) 1
k 1
19

20. Chuỗi Markov rời rạc

quá trình Markov
Chuỗi Markov rời rạc
Biết trình tự ( p (n)) cho n 1,... cho phép bạn biết được hành vi của hệ thống theo thời gian.
Trong hệ thống 3 trạng thái
p11 p12 p13
P p21
P
31
p22
p32
p23
p33
p2 (1) p1 (0) p12 p2 (0) p22 p3 (0) p32
p2 (n 1) p1 (n) p12 p2 (n) p22 p3 (n) p32
Nói chung:
p j (1) pk (0) pkj
p j (n 1) pk (n) pkj
k
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
k
p(n 1) p(n) P
20

21. Chuỗi Markov rời rạc. Ví dụ

quá trình Markov
Chuỗi Markov rời rạc. Ví dụ
Ma trận
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
Bước chân
(p(n))
N
0
1, 0, 0
N
1
0.2 , 0.5 , 0.3
N
2
0.04 , 0.35 , 0.61
N
3
0.008 , 0.195 , 0.797
N
4
0.0016 , 0.1015 , 0.8969
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
21

22. Chuỗi Markov rời rạc

quá trình Markov
Chuỗi Markov rời rạc
N
Ma trận chuyển tiếp cho n bước P(n) P .
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
p(2) p(0) P
2
p(2)
P(2) P2
1, 0, 0
0.0016
0.
0.
0.0016
0.
0.
0.1015
0.0625
0.
0.1015
0.0625
0.
0.8969
0.9375
1.
0.8969
0.9375
1.
0.04 , 0.35 , 0.61
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
22

23. Chuỗi Markov rời rạc

quá trình Markov
Chuỗi Markov rời rạc
Chuỗi Markov hoạt động như thế nào đối với n?
Đối với một chuỗi Markov đồng nhất, trong những điều kiện nhất định, tính chất sau đây đúng: p (n) với n.
Xác suất 0 không phụ thuộc vào phân phối ban đầu
p(0) và chỉ được xác định bởi ma trận P . Trong trường hợp này, nó được gọi là phân phối cố định và bản thân chuỗi được gọi là ergodic. Tính chất ergodicity có nghĩa là khi n tăng
xác suất của các trạng thái thực tế không còn thay đổi và hệ thống chuyển sang chế độ vận hành ổn định.
Tôi
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
23

24. Chuỗi Markov rời rạc. Ví dụ

quá trình Markov
Chuỗi Markov rời rạc. Ví dụ
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
0 0 1
P() 0 0 1
0 0 1
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
p()(0,0,1)
24

25. Chuỗi Markov rời rạc. Ví dụ

quá trình Markov
Chuỗi Markov rời rạc. Ví dụ
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
0.1017 0.5254 0.3729
P() 0,1017 0,5254 0,3729
0.1017 0.5254 0.3729
p() (0,1017,0,5254,0,3729)
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
25

26. Markov xử lý với thời gian liên tục

quá trình Markov

Một quá trình được gọi là quá trình liên tục nếu
thời điểm chuyển tiếp có thể từ trạng thái này sang trạng thái khác không cố định trước mà không chắc chắn, ngẫu nhiên và có thể xảy ra
bất cứ lúc nào.
Ví dụ. Hệ thống công nghệ S bao gồm hai thiết bị,
mỗi thứ trong số đó tại một thời điểm ngẫu nhiên có thể thoát ra
xây dựng, sau đó việc sửa chữa thiết bị ngay lập tức bắt đầu, cũng tiếp tục trong một thời gian ngẫu nhiên, không xác định.
Các trạng thái hệ thống sau đây có thể xảy ra:
S0 - cả hai thiết bị đều hoạt động;
S1 - thiết bị đầu tiên đang được sửa chữa, thiết bị thứ hai hoạt động bình thường;
S2 - thiết bị thứ hai đang được sửa chữa, thiết bị thứ nhất hoạt động bình thường;
S3 - cả hai thiết bị đang được sửa chữa.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
26

27. Markov xử lý với thời gian liên tục

quá trình Markov
Quá trình Markov thời gian liên tục
Sự chuyển đổi của hệ thống S từ trạng thái này sang trạng thái khác xảy ra
gần như ngay lập tức, tại những thời điểm thất bại ngẫu nhiên
thiết bị này hay thiết bị kia hoặc
hoàn thành việc sửa chữa.
Xác suất xảy ra đồng thời
lỗi cả 2 máy
có thể bị bỏ qua.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
27

28. Luồng sự kiện

quá trình Markov
Luồng sự kiện
Chuỗi sự kiện là một chuỗi các sự kiện đồng nhất nối tiếp nhau tại một số thời điểm ngẫu nhiên.
là số sự kiện trung bình
Cường độ dòng sự kiện
trên một đơn vị thời gian.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
28

29. Luồng sự kiện

quá trình Markov
Luồng sự kiện
Một dòng sự kiện được gọi là dừng nếu các đặc tính xác suất của nó không phụ thuộc vào thời gian.
Đặc biệt, cường độ
dòng chảy ổn định là không đổi. Dòng sự kiện chắc chắn có sự ngưng tụ hoặc hiếm gặp, nhưng chúng không có tính chất đều đặn và số lượng sự kiện trung bình trên một đơn vị thời gian là không đổi và không phụ thuộc vào thời gian.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
29

30. Luồng sự kiện

quá trình Markov
Luồng sự kiện
Một luồng sự kiện được gọi là một luồng không có hậu quả nếu vì
bất kỳ hai khoảng thời gian không trùng nhau nào và số lượng sự kiện rơi vào một trong hai khoảng thời gian đó không phụ thuộc vào số lượng sự kiện rơi vào khoảng thời gian kia. Nói cách khác, điều này có nghĩa là các sự kiện hình thành nên dòng chảy xuất hiện ở những thời điểm nhất định
thời gian độc lập với nhau và mỗi thời điểm đều có nguyên nhân riêng của nó.
Một luồng sự kiện được gọi là thông thường nếu xác suất xuất hiện của hai hoặc nhiều sự kiện trong phần cơ bản t là không đáng kể so với xác suất xảy ra một sự kiện.
sự kiện, tức là các sự kiện xuất hiện trong đó từng sự kiện một chứ không phải theo nhóm nhiều sự kiện cùng một lúc
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
30

31. Luồng sự kiện

quá trình Markov
Luồng sự kiện
Một luồng sự kiện được gọi là Poisson dừng đơn giản nhất (hoặc Poisson dừng) nếu nó có ba thuộc tính cùng một lúc: 1) dừng, 2) bình thường, 3) không có hậu quả.
Luồng đơn giản nhất có mô tả toán học đơn giản nhất. Anh chơi giữa dòng suối cùng một điều đặc biệt
vai trò, giống như quy luật phân phối bình thường giữa những người khác
quy luật phân phối. Cụ thể là, khi áp dụng một số lượng đủ lớn các yếu tố độc lập, cố định và thông thường
các luồng (có thể so sánh với nhau về cường độ), kết quả là một luồng gần đơn giản nhất.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
31

32. Luồng sự kiện

quá trình Markov
Luồng sự kiện
Đối với dòng chảy đơn giản nhất với cường độ
khoảng thời gian
thời gian T giữa các sự kiện lân cận có hàm mũ
phân bố với mật độ
p(x) e x , x 0 .
Đối với biến ngẫu nhiên T có phân bố mũ, kỳ vọng toán học là nghịch đảo của tham số.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
32

33. Markov xử lý với thời gian liên tục

quá trình Markov
Quá trình Markov thời gian liên tục
Xem xét các quá trình có trạng thái rời rạc và thời gian liên tục, chúng ta có thể giả sử rằng tất cả các quá trình chuyển đổi của hệ thống S từ trạng thái này sang trạng thái khác xảy ra dưới tác động của
các luồng sự kiện đơn giản (luồng cuộc gọi, luồng sự cố, luồng khôi phục, v.v.).
Nếu tất cả các luồng sự kiện chuyển hệ thống S từ trạng thái này sang trạng thái khác là đơn giản nhất thì quá trình xảy ra trong
hệ thống sẽ là Markovian.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
33

34. Markov xử lý với thời gian liên tục

quá trình Markov
Quá trình Markov thời gian liên tục
Hãy để hệ thống ở trạng thái được tác động bởi
luồng sự kiện đơn giản nhất. Ngay khi sự kiện đầu tiên của luồng này xuất hiện, hệ thống “nhảy” từ trạng thái
vào tình trạng.
- cường độ của dòng sự kiện chuyển hệ thống
từ tiểu bang
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
V.
.
34

35. Markov xử lý với thời gian liên tục

quá trình Markov
Quá trình Markov thời gian liên tục
Giả sử hệ S đang xét có
trạng thái có thể
. Xác suất pij(t) là xác suất chuyển từ trạng thái i sang trạng thái j trong thời gian t.
Xác suất của trạng thái thứ i
là xác suất mà
tại thời điểm t hệ thống sẽ ở trạng thái
. Rõ ràng, tại bất kỳ thời điểm nào số tiền
của tất cả các xác suất trạng thái đều bằng một:
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
35

36. Markov xử lý với thời gian liên tục

quá trình Markov
Quá trình Markov thời gian liên tục
Để tìm tất cả các xác suất trạng thái
Làm sao
các hàm thời gian, các phương trình vi phân Kolmogorov được biên soạn và giải - một loại phương trình đặc biệt trong đó các hàm chưa biết là xác suất của các trạng thái.
Đối với xác suất chuyển tiếp:
p ij (t) p ik (t) kj
k
Đối với xác suất vô điều kiện:
p j (t) p k (t) kj
k
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
36

37. Kolmogorov Andrey Nikolaevich

quá trình Markov
Kolmogorov Andrey Nikolaevich
1903-1987
Tiếng Nga vĩ đại
nhà toán học.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
37

38. Markov xử lý với thời gian liên tục

quá trình Markov
Quá trình Markov thời gian liên tục
- cường độ dòng chảy hư hỏng;
- cường độ của dòng hồi phục.
Để hệ thống ở trạng thái
S0. Nó được chuyển sang trạng thái S1 bởi dòng chảy
lỗi của thiết bị đầu tiên. Cường độ của nó là
Ở đâu
- thời gian hoạt động trung bình của thiết bị.
Hệ thống được chuyển từ trạng thái S1 sang S0 bằng luồng phục hồi
thiết bị đầu tiên. Cường độ của nó là
Ở đâu
- thời gian trung bình để sửa chữa máy đầu tiên.
Tương tự, cường độ của các luồng sự kiện truyền hệ thống dọc theo tất cả các cung của biểu đồ sẽ được tính toán.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
38

39. Hệ thống xếp hàng

quá trình Markov

Ví dụ về hệ thống dịch vụ xếp hàng (QS): tổng đài điện thoại, cửa hàng sửa chữa,
vé
máy tính tiền,
thẩm quyền giải quyết
văn phòng,
máy công cụ và hệ thống công nghệ khác,
hệ thống
sự quản lý
linh hoạt
hệ thống sản xuất,
xử lý thông tin bởi máy chủ, v.v.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
39

40. Hệ thống xếp hàng

quá trình Markov
Hệ thống xếp hàng
QS bao gồm một số lượng phục vụ nhất định
đơn vị được gọi là kênh dịch vụ (đây là
máy móc, robot, đường dây liên lạc, nhân viên thu ngân, v.v.). Bất kỳ SMO nào
được thiết kế để phục vụ luồng ứng dụng (yêu cầu) đến vào những thời điểm ngẫu nhiên.
Dịch vụ của yêu cầu tiếp tục trong một khoảng thời gian ngẫu nhiên, sau đó kênh được giải phóng và sẵn sàng nhận yêu cầu tiếp theo.
ứng dụng.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
40

41. Hệ thống xếp hàng

quá trình Markov
Hệ thống xếp hàng
Quá trình vận hành QS là một quá trình ngẫu nhiên với các
trạng thái và thời gian liên tục. Trạng thái của QS thay đổi đột ngột tại thời điểm xảy ra một số sự kiện
(khi có yêu cầu mới, kết thúc dịch vụ, thời điểm,
khi một ứng dụng mệt mỏi vì chờ đợi rời khỏi hàng đợi).
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
41

42. Hệ thống xếp hàng

quá trình Markov
Hệ thống xếp hàng
Phân loại hệ thống xếp hàng
1. QS có lỗi;
2. Xếp hàng với hàng đợi.
Trong QS bị từ chối, một ứng dụng nhận được vào thời điểm tất cả các kênh đang bận sẽ nhận được lời từ chối, rời khỏi QS và không còn
phục vụ.
Trong QS có hàng đợi, một yêu cầu đến vào thời điểm tất cả các kênh đang bận sẽ không rời đi mà được đưa vào hàng đợi và chờ cơ hội được phục vụ.
QS với hàng đợi được chia thành nhiều loại khác nhau tùy theo
phụ thuộc vào cách tổ chức hàng đợi - có giới hạn hoặc không giới hạn. Các hạn chế có thể áp dụng cho cả chiều dài và thời gian xếp hàng
mong đợi, “kỷ luật phục vụ”.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
42

43. Hệ thống xếp hàng

quá trình Markov
Hệ thống xếp hàng
Chủ đề của lý thuyết hàng đợi là việc xây dựng
mô hình toán học kết nối các điều kiện nhất định
hoạt động của QS (số lượng kênh, hiệu suất của chúng, quy tắc
công việc, tính chất của luồng ứng dụng) với các đặc điểm mà chúng tôi quan tâm - các chỉ số về tính hiệu quả của QS. Các chỉ số này mô tả khả năng của QS trong việc đối phó với dòng chảy
ứng dụng. Chúng có thể là: số lượng ứng dụng trung bình được QS phục vụ trên một đơn vị thời gian; số lượng kênh bận trung bình; số lượng ứng dụng trung bình trong hàng đợi; thời gian chờ đợi trung bình cho dịch vụ, v.v.
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"
43

44.

CẢM ƠN
ĐỂ LƯU Ý!!!
44

45. Xây dựng đồ thị chuyển tiếp

quá trình Markov
Xây dựng biểu đồ chuyển tiếp
0.30
0.70
0.0
0.10
0.60
0.30
0.50
0.50
0.0
KHNURE, bộ phận Thủ tướng, giảng viên Kirichenko L.O.
“Lý thuyết xác suất, toán học
thống kê và các quá trình ngẫu nhiên"

Nhiều hoạt động phải được phân tích khi lựa chọn giải pháp tối ưu phát triển dưới dạng các quá trình ngẫu nhiên tùy thuộc vào một số yếu tố ngẫu nhiên.

Để mô tả toán học của nhiều phép toán phát triển dưới dạng quy trình ngẫu nhiên, bộ máy toán học được phát triển trong lý thuyết xác suất cho cái gọi là quy trình ngẫu nhiên Markov có thể được áp dụng thành công.

Hãy để chúng tôi giải thích khái niệm về quá trình ngẫu nhiên Markov.

Hãy có một hệ thống nào đó S, trạng thái của nó thay đổi theo thời gian (theo hệ thống S có thể có nghĩa là bất cứ điều gì: doanh nghiệp công nghiệp, thiết bị kỹ thuật, cửa hàng sửa chữa, v.v.). Nếu trạng thái hệ thống S thay đổi theo thời gian một cách ngẫu nhiên, không thể đoán trước, họ nói rằng trong hệ thống S rò rỉ quá trình ngẫu nhiên.

Ví dụ về các quá trình ngẫu nhiên:

biến động giá trên thị trường chứng khoán;

dịch vụ khách hàng tại tiệm làm tóc hoặc tiệm sửa chữa;

thực hiện kế hoạch cung ứng cho một nhóm doanh nghiệp, v.v.

Quá trình cụ thể của từng quá trình này phụ thuộc vào một số yếu tố ngẫu nhiên, không thể đoán trước trước đó, chẳng hạn như:

sự xuất hiện của những tin tức khó lường về những thay đổi chính trị trên thị trường chứng khoán;

tính chất ngẫu nhiên của luồng ứng dụng (yêu cầu) đến từ khách hàng;

sự gián đoạn ngẫu nhiên trong việc thực hiện kế hoạch cung cấp, v.v.

SỰ ĐỊNH NGHĨA. Một quá trình ngẫu nhiên xảy ra trong hệ thống được gọi là tiếng Markovian(hoặc quá trình không có hậu quả), nếu nó có tính chất sau: cho mỗi thời điểm t 0 xác suất của bất kỳ trạng thái nào của hệ thống trong tương lai (với t > t 0) chỉ phụ thuộc vào trạng thái của nó ở hiện tại (với t = t 0) và không phụ thuộc vào thời điểm và cách thức hệ thống đạt đến trạng thái này (tức là quá trình đã phát triển như thế nào trong quá khứ).

Nói cách khác, trong quá trình ngẫu nhiên Markov, sự phát triển trong tương lai của nó chỉ phụ thuộc vào trạng thái hiện tại và không phụ thuộc vào “tiền sử” của quá trình.

Hãy xem một ví dụ. Hãy để hệ thống Sđại diện cho một thị trường chứng khoán đã tồn tại được một thời gian. Chúng tôi quan tâm đến cách hệ thống sẽ hoạt động trong tương lai. Rõ ràng, ít nhất là ở mức gần đúng đầu tiên, rằng các đặc điểm của hoạt động trong tương lai (xác suất giảm giá của một cổ phiếu cụ thể trong một tuần) phụ thuộc vào trạng thái của hệ thống tại thời điểm hiện tại (nhiều yếu tố khác nhau). chẳng hạn như các quyết định của chính phủ hoặc kết quả bầu cử có thể can thiệp vào đây) và không phụ thuộc vào thời điểm và cách thức hệ thống đạt đến trạng thái hiện tại (không phụ thuộc vào bản chất biến động giá của những cổ phiếu này trong quá khứ).

Trong thực tế, chúng ta thường gặp các quá trình ngẫu nhiên mà ở các mức độ gần đúng khác nhau có thể được coi là Markovian.

Lý thuyết về quá trình ngẫu nhiên Markov có nhiều ứng dụng khác nhau. Chúng ta sẽ chủ yếu quan tâm đến việc áp dụng lý thuyết về các quá trình ngẫu nhiên Markov vào việc xây dựng các mô hình toán học của các phép toán, diễn biến và kết quả của chúng phụ thuộc đáng kể vào các yếu tố ngẫu nhiên.

Các quá trình ngẫu nhiên Markov được chia thành lớp học tùy thuộc vào cách thức và thời điểm mà hệ thống S" có thể thay đổi trạng thái của nó.

SỰ ĐỊNH NGHĨA. Quá trình ngẫu nhiên được gọi là quá trình với các trạng thái rời rạc, nếu có thể trạng thái của hệ thống s x , s 2 , s v... có thể được liệt kê (đánh số) lần lượt, và bản thân quá trình này đôi khi là hệ thống S nhảy đột ngột (ngay lập tức) từ trạng thái này sang trạng thái khác.

Ví dụ, phát triển dự án Sđược thực hiện bởi hai bộ phận, mỗi bộ phận đều có thể mắc sai lầm. Các trạng thái hệ thống sau đây có thể xảy ra:

5, - cả hai bộ phận đều hoạt động bình thường;

S 2 - bộ phận thứ nhất mắc lỗi, bộ phận thứ hai hoạt động tốt;

S 3 - bộ phận thứ hai mắc lỗi, bộ phận thứ nhất hoạt động tốt;

S 4 - cả hai bộ phận đều mắc lỗi.

Quá trình diễn ra trong hệ thống là nó di chuyển ngẫu nhiên tại một số thời điểm (“nhảy”) từ trạng thái này sang trạng thái khác. Hệ thống có tổng cộng bốn trạng thái có thể. Trước mắt chúng ta là một quá trình với những trạng thái rời rạc.

Ngoài các tiến trình có trạng thái rời rạc, còn có quá trình ngẫu nhiên với trạng thái liên tục: các quá trình này được đặc trưng bởi sự chuyển đổi dần dần, suôn sẻ từ trạng thái này sang trạng thái khác. Ví dụ, quá trình thay đổi điện áp trong mạng chiếu sáng là một quá trình ngẫu nhiên với các trạng thái liên tục.

Chúng ta sẽ chỉ xem xét các quá trình ngẫu nhiên với các trạng thái rời rạc.

Khi phân tích các quá trình ngẫu nhiên với các trạng thái rời rạc, sẽ rất thuận tiện khi sử dụng sơ đồ hình học - cái gọi là biểu đồ trạng thái. Đồ thị trạng thái mô tả về mặt hình học các trạng thái có thể có của hệ thống và các chuyển đổi có thể có của nó từ trạng thái này sang trạng thái khác.

Hãy để có một hệ thống S với các trạng thái rời rạc:

Mỗi trạng thái sẽ được biểu thị bằng một hình chữ nhật và các chuyển đổi có thể xảy ra (“nhảy”) từ trạng thái này sang trạng thái khác sẽ được biểu thị bằng các mũi tên nối các hình chữ nhật này. Một ví dụ về biểu đồ trạng thái được hiển thị trong Hình. 4.1.

Lưu ý rằng các mũi tên chỉ đánh dấu sự chuyển tiếp trực tiếp từ trạng thái này sang trạng thái khác; nếu hệ thống có thể chuyển từ trạng thái s 2 lúc 5 3 chỉ qua s y sau đó các mũi tên chỉ đánh dấu sự chuyển tiếp s 2-> và l, 1 -> 5 3, nhưng không s 2 -» s y Hãy xem xét một vài ví dụ:

1. Hệ thống S- một công ty có thể ở một trong năm trạng thái có thể: s]- làm việc vì lợi nhuận;

s 2- mất triển vọng phát triển và ngừng tạo ra lợi nhuận;

5 3 - trở thành đối tượng cho việc tiếp quản tiềm năng;

s 4- được kiểm soát bên ngoài;

s 5- Tài sản của công ty bị thanh lý được bán đấu giá.

Biểu đồ trạng thái của công ty được thể hiện trong hình. 4.2.

Cơm. 4.2

2. Hệ thống S- một ngân hàng có hai chi nhánh. Các trạng thái hệ thống sau đây có thể xảy ra:
5, - cả hai chi nhánh đều hoạt động có lãi;

S 2 - chi nhánh thứ nhất hoạt động không có lãi, chi nhánh thứ hai hoạt động có lãi;

5 3 - Chi nhánh thứ hai hoạt động không có lãi, chi nhánh thứ nhất hoạt động có lãi;

S 4 - cả hai chi nhánh đều hoạt động không có lợi nhuận.

Người ta cho rằng không có sự cải thiện trong tình trạng này.

Biểu đồ trạng thái được hiển thị trong Hình. 4.3. Lưu ý rằng biểu đồ không hiển thị khả năng chuyển đổi từ trạng thái s] trực tiếp đến s4,điều này sẽ trở thành hiện thực nếu ngân hàng ngay lập tức sẽ hoạt động thua lỗ. Khả năng xảy ra một sự kiện như vậy có thể bị bỏ qua, như thực tế đã xác nhận.

Cơm. 4.3

3. Hệ thống S- một công ty đầu tư bao gồm hai thương nhân (phòng ban): I và II; mỗi người trong số họ có thể tại một thời điểm nào đó bắt đầu hoạt động thua lỗ. Nếu điều này xảy ra, ban lãnh đạo công ty sẽ ngay lập tức thực hiện các biện pháp để khôi phục hoạt động có lãi của bộ phận.

Các trạng thái hệ thống có thể có: S- hoạt động của cả hai bộ phận đều có lợi nhuận; s 2- bộ phận thứ nhất đang được khôi phục, bộ phận thứ hai đang hoạt động có lãi;

s 3- bộ phận thứ nhất đang hoạt động có lãi, bộ phận thứ hai đang được khôi phục;

s 4- cả hai bộ phận đang được khôi phục.

Biểu đồ trạng thái hệ thống được hiển thị trong Hình. 4.4.

4. Trong các điều kiện của ví dụ trước, hoạt động của mỗi nhà giao dịch, trước khi bắt đầu khôi phục công việc có lãi của bộ phận, ban quản lý công ty phải nghiên cứu để có biện pháp cải thiện nó.

Để thuận tiện, chúng ta sẽ đánh số các trạng thái của hệ thống không phải bằng một mà bằng hai chỉ số; đầu tiên sẽ có nghĩa là trạng thái của nhà giao dịch đầu tiên (1 - làm việc có lãi, 2 - các hoạt động của anh ta đang được ban quản lý nghiên cứu, 3 - khôi phục hoạt động sinh lãi của bộ phận); thứ hai - các trạng thái tương tự đối với người giao dịch thứ hai. Ví dụ, s 23 sẽ có nghĩa là: hoạt động của nhà giao dịch thứ nhất đang được nghiên cứu, hoạt động thứ hai đang khôi phục công việc có lãi.

Các trạng thái hệ thống có thể có S:

bạn là- hoạt động của cả hai thương nhân đều mang lại lợi nhuận;

s l2- nhà giao dịch thứ nhất làm việc có lãi, hoạt động của nhà giao dịch thứ hai được ban quản lý công ty nghiên cứu;

5 13 - nhà giao dịch đầu tiên làm việc có lãi, nhà giao dịch thứ hai khôi phục hoạt động có lãi của bộ phận;

s 2l- hoạt động của nhà giao dịch thứ nhất được ban quản lý nghiên cứu, hoạt động của nhà giao dịch thứ hai hoạt động có lãi;

S 22 - hoạt động của cả hai thương nhân đều được quản lý nghiên cứu;

5 23 - công việc của thương nhân thứ nhất được nghiên cứu, thương nhân thứ hai khôi phục hoạt động sinh lời của bộ phận;
5 31 - người giao dịch thứ nhất khôi phục hoạt động có lãi của bộ phận, người thứ hai làm việc có lãi;
5 32 - hoạt động sinh lời của bộ phận được khôi phục bởi người giao dịch thứ nhất, công việc của người giao dịch thứ hai được nghiên cứu;
5 33 - cả hai nhà giao dịch đều khôi phục công việc có lợi nhuận của bộ phận của họ.

Tổng cộng có chín tiểu bang. Biểu đồ trạng thái được hiển thị trong Hình. 4.5.

Sự tiến hóa của nó sau bất kỳ giá trị nào của tham số thời gian t không phụ thuộc vào sự tiến hóa trước nó t, với điều kiện là giá trị của quá trình tại thời điểm này là cố định (nói tóm lại: “tương lai” và “quá khứ” của quá trình không phụ thuộc vào nhau bằng “hiện tại” đã biết).

Tính chất xác định từ trường thường được gọi là Markovian; nó được xây dựng lần đầu tiên bởi A. A. Markov. Tuy nhiên, trong công trình của L. Bachelier, người ta có thể nhận thấy nỗ lực giải thích chuyển động Brown là một quá trình từ tính, một nỗ lực đã nhận được sự biện minh sau nghiên cứu của N. Wiener (N. Wiener, 1923). Nền tảng của lý thuyết chung về các quá trình từ tính trong thời gian liên tục được đặt ra bởi A. N. Kolmogorov.

Tài sản Markov. Có những định nghĩa về M. khác nhau đáng kể. Một trong những định nghĩa phổ biến nhất là như sau. Đặt một quá trình ngẫu nhiên với các giá trị từ một không gian có thể đo được trên một không gian xác suất trong đó T - tập con của trục thực Nt(tương ứng Nt) .có một đại số s trong được tạo ra bởi các đại lượng X(s).at Ở đâu Nói cách khác, Nt(tương ứng Nt) là tập hợp các sự kiện gắn liền với sự tiến triển của quá trình cho đến thời điểm t (bắt đầu từ t) . Quá trình X(t).được gọi là Xử lý Markov nếu (gần như chắc chắn) tính chất Markov đúng cho tất cả:

hoặc, điều gì giống nhau, nếu có

M. p., mà T chứa trong tập hợp số tự nhiên, được gọi là. Chuỗi Markov(tuy nhiên, thuật ngữ sau thường được liên kết với trường hợp tối đa là E đếm được) . Nếu Là một khoảng lớn hơn đếm được, M. được gọi. Chuỗi Markov thời gian liên tục. Ví dụ về các quá trình từ tính trong thời gian liên tục được cung cấp bởi các quá trình khuếch tán và các quá trình với các bước tăng độc lập, bao gồm các quá trình Poisson và Wiener.

Sau đây, để cho rõ ràng, chúng ta sẽ chỉ nói về trường hợp Công thức (1) và (2) đưa ra cách giải thích rõ ràng về nguyên tắc độc lập của “quá khứ” và “tương lai” với “hiện tại” đã biết, nhưng định nghĩa của M. p. dựa trên chúng hóa ra không đủ linh hoạt trong nhiều tình huống khi cần xem xét không phải một mà là một tập hợp các điều kiện thuộc loại (1) hoặc (2), tương ứng với các điều kiện khác nhau, mặc dù đã được thống nhất. theo một cách nào đó, những cân nhắc thuộc loại này đã dẫn đến việc áp dụng định nghĩa sau đây (xem,).

Hãy cho những điều sau đây:

a) một không gian đo được trong đó đại số s chứa tất cả các tập hợp một điểm trong E;

b) một không gian đo được được trang bị một họ đại số s sao cho nếu

c) chức năng (“quỹ đạo”) x t = xt(w) , xác định cho bất kỳ ánh xạ có thể đo lường nào

d) đối với mỗi và một thước đo xác suất trên đại số s sao cho hàm có thể đo được đối với nếu và

Bộ tên (không kết thúc) Quá trình Markov được xác định trong if -gần như chắc chắn

bất cứ thứ gì có thể ở đây - không gian của các sự kiện cơ bản, - không gian pha hoặc không gian trạng thái, P( s, x, t, V)- chức năng chuyển tiếp hoặc xác suất chuyển tiếp quá trình X(t) . Nếu E có cấu trúc liên kết và là tập hợp các tập Borel trong E, thì người ta thường nói rằng M. p. E. Thông thường, định nghĩa của M. p bao gồm yêu cầu và sau đó được hiểu là xác suất, với điều kiện là x s = x.

Câu hỏi đặt ra là: có phải mọi hàm chuyển tiếp Markov P( s, x;t, V), cho trong một không gian đo được có thể được coi là hàm chuyển tiếp của một không gian M. nhất định. Câu trả lời là dương nếu, ví dụ, E là không gian compact cục bộ có thể tách được và là tập hợp các tập Borel trong. E. Hơn nữa, hãy E - số liệu đầy đủ không gian và để cho

cho bất cứ ai ở đâu

A - phần bù của lân cận điện tử của một điểm X. Khi đó từ trường tương ứng có thể được coi là liên tục ở bên phải và có giới hạn ở bên trái (nghĩa là quỹ đạo của nó có thể được chọn như vậy). Sự tồn tại của từ trường liên tục được đảm bảo bởi điều kiện tại (xem, ). Trong lý thuyết về các quá trình cơ học, sự chú ý chính được dành cho các quá trình đồng nhất (về thời gian). Định nghĩa tương ứng giả định một hệ thống nhất định đồ vật a) - d) với sự khác biệt là đối với các tham số s và u xuất hiện trong mô tả của nó, hiện chỉ cho phép giá trị 0. Ký hiệu cũng được đơn giản hóa:

Hơn nữa, tính đồng nhất của không gian W được đặt ra, tức là, bắt buộc phải có bất kỳ tồn tại sao cho (w) cho Do đó, trên đại số s N,đại số nhỏ nhất trong W chứa bất kỳ sự kiện nào có dạng, các toán tử dịch chuyển thời gian q được cho t, bảo toàn các phép toán hợp, giao và trừ các tập hợp và cho phép đó

Bộ tên (không kết thúc) quá trình Markov đồng nhất được xác định trong if -gần như chắc chắn

đối với hàm Chuyển tiếp của quá trình X(t).được coi là P( t, x, v), và, trừ khi có những bảo lưu đặc biệt, họ còn yêu cầu thêm rằng Điều hữu ích cần ghi nhớ là khi kiểm tra (4), chỉ cần xem xét các tập hợp có dạng ở đâu và cái gì trong (4) luôn là đủ Ft có thể được thay thế bằng đại số s bằng giao điểm của các phần hoàn thành Ftđối với tất cả các thước đo có thể có. Thông thường, thước đo xác suất m (“phân phối ban đầu”) là cố định và hàm ngẫu nhiên Markov được xem xét trong đó thước đo được cho bởi đẳng thức.

M.p đã gọi. có thể đo lường dần dần nếu với mỗi t>0 hàm tạo ra một ánh xạ có thể đo được trong đó đại số s ở đâu

Tập hợp con Borel trong . MP liên tục bên phải có thể đo lường được dần dần. Có một cách để giảm một trường hợp không đồng nhất thành một trường hợp đồng nhất (xem), và trong phần tiếp theo chúng ta sẽ nói về các nghị sĩ đồng nhất.

Đúng là tài sản Markov. Hãy để một không gian có thể đo lường được đưa ra.

Hàm này được gọi khoảnh khắc Markov, Nếu như cho mọi người Trong trường hợp này, tập hợp được phân loại là họ F t nếu tại (thường F t được hiểu là tập hợp các sự kiện liên quan đến sự tiến triển của X(t) cho đến thời điểm t). Vì tin tưởng

Có thể đo lường dần dần M. p. quá trình Markov nghiêm ngặt (s.m.p.), nếu với bất kỳ khoảnh khắc Markov nào m và tất cả và mối quan hệ

(thuộc tính Markov) gần như chắc chắn đúng trên tập W t . Khi kiểm tra (5), chỉ cần xem xét các tập hợp có dạng trong trường hợp này, không gian đối xứng là, chẳng hạn, bất kỳ không gian chiều Fellerian liên tục phải nào trong tôpô. không gian E. M.p đã gọi. Quá trình Feller Markov nếu hàm

liên tục khi f liên tục và bị chặn.

Trong lớp với. m.p. một số lớp con nhất định được phân biệt. Giả sử hàm chuyển tiếp Markov P( t, x, v), được xác định trong một không gian nhỏ gọn cục bộ E, liên tục ngẫu nhiên:

với bất kỳ lân cận U nào của mỗi điểm thì nếu các toán tử đưa vào lớp các hàm liên tục triệt tiêu ở vô cùng, thì các hàm P( t, x, v) đáp ứng tiêu chuẩn M. p. X, tức là liên tục ở bên phải với. mp, trong đó

và - gần như chắc chắn trên trường quay a - những khoảnh khắc Pmarkov không giảm khi tăng trưởng.

Kết thúc quá trình Markov. Thường về thể chất Nên mô tả các hệ thống sử dụng từ trường không ngừng nhưng chỉ trong một khoảng thời gian có độ dài ngẫu nhiên. Ngoài ra, ngay cả những phép biến đổi đơn giản của các quá trình từ tính cũng có thể dẫn đến một quá trình có quỹ đạo xác định trên một khoảng ngẫu nhiên (xem phần 2). "Chức năng" từ quá trình Markov). Được hướng dẫn bởi những cân nhắc này, khái niệm MP bị hỏng được đưa ra.

Giả sử là một từ trường đồng nhất trong không gian pha có hàm chuyển tiếp và tồn tại một điểm và một hàm sao cho và ngược lại (nếu không có đặt trước đặc biệt, hãy xem xét ). Quỹ đạo mới xt(w) chỉ được xác định cho ) bằng đẳng thức a Ftđược định nghĩa là một dấu vết trong một tập hợp

Đặt nơi được gọi bằng quá trình Markov kết thúc (o.m.p.), thu được từ việc kết thúc (hoặc hủy bỏ) tại thời điểm z. Giá trị z được gọi là khoảnh khắc của sự tan vỡ, hay thời gian của cuộc sống, o. m.p. Không gian pha của quá trình mới là nơi có dấu vết của đại số s trong E. Hàm chuyển tiếp o. mp là một hạn chế đối với tập hợp Quy trình X(t). một quy trình Markov nghiêm ngặt hoặc một quy trình Markov tiêu chuẩn, nếu nó có thuộc tính tương ứng thì một MP không kết thúc có thể được coi là một o. mp với thời điểm phá vỡ Không đồng nhất o. mp được xác định theo cách tương tự. M.

Quá trình Markov và phương trình vi phân. MP thuộc loại chuyển động Brown có liên quan chặt chẽ với các phương trình vi phân parabol. kiểu. Mật độ chuyển tiếp p(s, x, t, y) của quá trình khuếch tán thỏa mãn, theo một số giả định bổ sung nhất định, các phương trình vi phân nghịch đảo và trực tiếp của Kolmogorov:

Hàm p( s, x, t, y).là hàm Green của các phương trình (6) - (7), và các phương pháp đầu tiên được biết đến để xây dựng các quá trình khuếch tán đều dựa trên các định lý về sự tồn tại của hàm này đối với các phương trình vi phân (6) - (7). Đối với một quá trình đồng nhất về thời gian, toán tử L( s, x)= L(x).trên hàm số trơn trùng với đặc tính. toán tử M. p. "Nửa nhóm toán tử chuyển tiếp").

Toán học. kỳ vọng của các hàm khác nhau từ các quá trình khuếch tán đóng vai trò là giải pháp cho các bài toán giá trị biên tương ứng cho phương trình vi phân (1). Hãy - toán học. kỳ vọng ở độ đo Khi đó hàm thỏa mãn tại phương trình s (6) và điều kiện

Tương tự, hàm

thỏa mãn với phương trình s

và điều kiện và 2 ( T, x) = 0.

Gọi tt là thời điểm lần đầu tiên đạt đến ranh giới dD vùng đất quỹ đạo quá trình Khi đó, trong những điều kiện nhất định, hàm

thỏa mãn phương trình

và nhận các giá trị cp trên tập

Giải bài toán giá trị biên thứ nhất của parabol tuyến tính tổng quát. phương trình bậc 2

theo giả định khá tổng quát có thể được viết dưới dạng

Trong trường hợp khi toán tử L và hàm s, fđừng phụ thuộc vào S, Một cách biểu diễn tương tự như (9) cũng có thể giải được một đường elip tuyến tính. phương trình Chính xác hơn, hàm

theo những giả định nhất định, có một giải pháp cho vấn đề

Trong trường hợp toán tử L suy biến (del b( s, x) = 0 ) hoặc đường viền dD không đủ “tốt”; các giá trị biên có thể không được các hàm (9), (10) chấp nhận tại các điểm riêng lẻ hoặc trên toàn bộ tập hợp. Khái niệm điểm biên chính quy của toán tử L có một cách giải thích xác suất. Tại các điểm thông thường của biên, giá trị biên đạt được bằng các hàm (9), (10). Giải các bài toán (8), (11) cho phép nghiên cứu tính chất của các quá trình khuếch tán tương ứng và chức năng của chúng.

Ví dụ, có những phương pháp xây dựng MP không dựa vào việc xây dựng nghiệm của các phương trình (6), (7). phương pháp phương trình vi phân ngẫu nhiên, sự thay đổi độ đo hoàn toàn liên tục, v.v. Trường hợp này, cùng với các công thức (9), (10), cho phép chúng ta xây dựng và nghiên cứu một cách xác suất các tính chất của các bài toán giá trị biên của phương trình (8), cũng như các tính chất của nghiệm của elip tương ứng. phương trình

Vì nghiệm của phương trình vi phân ngẫu nhiên không nhạy cảm với tính suy biến của ma trận b( s, x), Cái đó phương pháp xác suất được sử dụng để xây dựng nghiệm suy biến của các phương trình vi phân elip và parabol. Việc mở rộng nguyên lý lấy trung bình của N. M. Krylov và N. N. Bogolyubov sang các phương trình vi phân ngẫu nhiên đã giúp cho việc sử dụng (9) thu được các kết quả tương ứng cho các phương trình vi phân elip và parabol có thể thực hiện được. Hóa ra là có thể giải quyết một số vấn đề khó khăn nhất định khi nghiên cứu tính chất của nghiệm của các phương trình loại này với một tham số nhỏ ở đạo hàm cao nhất bằng cách sử dụng các xem xét xác suất. Giải bài toán giá trị biên thứ 2 của phương trình (6) cũng có ý nghĩa xác suất. Việc hình thành các bài toán giá trị biên cho miền không giới hạn có liên quan chặt chẽ đến sự lặp lại của quá trình khuếch tán tương ứng.

Trong trường hợp quá trình đồng nhất theo thời gian (L không phụ thuộc vào s), nghiệm dương của phương trình, cho đến hằng số nhân, trùng khớp theo các giả định nhất định với mật độ phân bố cố định của MP. hữu ích khi xét các bài toán giá trị biên của parabol phi tuyến. phương trình. R. 3. Khasminsky.

Sáng.: Markov A. A., "Izvestia. Hiệp hội Vật lý-Toán học của Đại học Kazan", 1906, tập 15, số 4, tr. 135-56; V a s h e l i er L., "Ann. scient. Ecole Norm, super.", 1900, v. 17, tr. 21-86; Kolmogorov A.N., "Toán học. Ann.", 1931, Bd 104, S. 415-458; Nga. Bản dịch - "Uspekhi Matematicheskikh Nauk", 1938, thế kỷ. 5, tr. 5-41; Zhun Kai-lai, Chuỗi Markov đồng nhất, trans. từ tiếng Anh, M., 1964; R e 1 1 er W., "Ann. Math.", 1954, v. 60, tr. 417-36; Dynkin E.B., Yushkevich A.A., “Lý thuyết xác suất và ứng dụng của nó,” 1956, tập 1, thế kỷ. 1, tr. 149-55; Xant J.-A., Quá trình và tiềm năng của Markov, trans. từ tiếng Anh, M., 1962; D e l a she r i K., Năng lực và các quá trình ngẫu nhiên, trans. từ tiếng Pháp, M., 1975; Dynk và E.V., Cơ sở lý thuyết về các quá trình Markov, M., 1959; anh ấy, Markov Processes, M., 1963; G và h man I. I., S ko ro x o d A. V., Lý thuyết về các quá trình ngẫu nhiên, tập 2, M., 1973; Freidlin M.I., trong cuốn sách: Kết quả của khoa học. Lý thuyết xác suất, thống kê toán học. - Điều khiển học lý thuyết. 1966, M., 1967, tr. 7-58; X a sminskiy R. 3., “Lý thuyết xác suất và ứng dụng của nó,” 1963, tập 8, trong . 1, tr. 3-25; Ventzel A.D., Freidlin M.I., Biến động trong hệ thống động lực dưới ảnh hưởng của nhiễu loạn ngẫu nhiên nhỏ, M., 1979; Blumenthal R. M., G e to r R. K., Quy trình Markov và lý thuyết thế năng, N.Y.-L., 1968; Getоor R. K., Quy trình Markov: Quy trình tia và quy trình đúng, V., 1975; Kuznetsov S. E., “Lý thuyết xác suất và ứng dụng của nó,” 1980, tập 25, thế kỷ. 2, tr. 389-93.