Markov tilfældige processer er opkaldt efter den fremragende russiske matematiker A.A. Markov (1856-1922), som først påbegyndte undersøgelsen af de tilfældige variables probabilistiske sammenhæng og skabte en teori, der kan kaldes "sandsynlighedsdynamik". Efterfølgende blev grundlaget for denne teori det indledende grundlag for den generelle teori om tilfældige processer, såvel som så vigtige anvendte videnskaber som teorien om diffusionsprocesser, pålidelighedsteori, køteori osv. I øjeblikket er teorien om Markov-processer og dens anvendelser meget udbredt inden for forskellige videnskabsområder som mekanik, fysik, kemi osv.
På grund af den komparative enkelhed og klarhed af det matematiske apparat, den høje pålidelighed og nøjagtighed af de opnåede løsninger, har Markov-processer fået særlig opmærksomhed fra specialister involveret i operationsforskning og teorien om optimal beslutningstagning.
På trods af den ovennævnte enkelhed og klarhed kræver den praktiske anvendelse af teorien om Markov-kæder viden om nogle termer og grundlæggende principper, som bør diskuteres, før eksempler præsenteres.
Som angivet henviser Markov tilfældige processer til særlige tilfælde af tilfældige processer (SP). Til gengæld er tilfældige processer baseret på begrebet en tilfældig funktion (SF).
En tilfældig funktion er en funktion, hvis værdi, for enhver værdi af argumentet, er en tilfældig variabel (RV). Med andre ord kan SF kaldes en funktion, der ved hver test antager en eller anden hidtil ukendt form.
Sådanne eksempler på SF er: spændingsudsving i et elektrisk kredsløb, en bils hastighed på en vejstrækning med en hastighedsgrænse, overfladeruheden af en del i en bestemt sektion osv.
Som regel antages det, at hvis SF's argument er tid, så kaldes en sådan proces tilfældig. Der er en anden definition af tilfældige processer, tættere på beslutningsteori. I dette tilfælde forstås en tilfældig proces som en proces med tilfældig ændring i tilstanden af ethvert fysisk eller teknisk system med hensyn til tid eller et andet argument.
Det er let at se, at hvis du udpeger en tilstand og afbilder en afhængighed, så vil en sådan afhængighed være en tilfældig funktion.
Tilfældige processer klassificeres efter tilstandstyper og argumentet t. I dette tilfælde kan tilfældige processer være med diskrete eller kontinuerlige tilstande eller tid.
Ud over de ovenstående eksempler på klassificering af tilfældige processer er der en anden vigtig egenskab. Denne egenskab beskriver den sandsynlige sammenhæng mellem tilstande af tilfældige processer. Så hvis for eksempel sandsynligheden for, at systemet går over til hver efterfølgende tilstand i en tilfældig proces, kun afhænger af den tidligere tilstand, så kaldes en sådan proces en proces uden eftervirkning.
Lad os for det første bemærke, at en tilfældig proces med diskrete tilstande og tid kaldes en tilfældig sekvens.
Hvis en tilfældig sekvens har Markov-egenskaben, så kaldes den en Markov-kæde.
På den anden side, hvis tilstandene i en tilfældig proces er diskrete, tiden er kontinuerlig og eftervirkningsegenskaben bevares, så kaldes en sådan tilfældig proces en Markov-proces med kontinuerlig tid.
En Markov tilfældig proces siges at være homogen, hvis overgangssandsynlighederne forbliver konstante under processen.
En Markov-kæde anses for givet, hvis der er givet to betingelser.
1. Der er et sæt overgangssandsynligheder i form af en matrix:
2. Der er en vektor af begyndelsessandsynligheder
beskriver systemets begyndelsestilstand.
Ud over matrixformen kan Markov-kædemodellen repræsenteres som en rettet vægtet graf (fig. 1).
Ris. 1
Sættet af tilstande i et Markov-kædesystem er klassificeret på en bestemt måde under hensyntagen til systemets videre opførsel.
1. Irreversibelt sæt (fig. 2).
Fig.2.
I tilfælde af et ikke-returnerende sæt er alle overgange inden for dette sæt mulige. Systemet kan forlade dette sæt, men kan ikke vende tilbage til det.
2. Retursæt (fig. 3).
Ris. 3.
I dette tilfælde er alle overgange inden for sættet også mulige. Systemet kan gå ind i dette sæt, men kan ikke forlade det.
3. Ergodisk sæt (fig. 4).
Ris. 4.
I tilfælde af et ergodisk sæt er alle overgange inden for sættet mulige, men overgange fra og til sættet er udelukket.
4. Absorberende sæt (fig. 5)
Ris. 5.
Når systemet går ind i dette sæt, afsluttes processen.
I nogle tilfælde er det, på trods af processens tilfældighed, muligt at kontrollere distributionslovene eller parametrene for overgangssandsynligheder i et vist omfang. Sådanne Markov-kæder kaldes kontrollerede. Det er klart, at ved hjælp af kontrollerede Markov-kæder (MCC) bliver beslutningsprocessen særlig effektiv, som det vil blive diskuteret senere.
Hovedtræk ved en diskret Markov-kæde (DMC) er determinismen af tidsintervaller mellem individuelle trin (stadier) af processen. Men ofte i virkelige processer observeres denne egenskab ikke, og intervallerne viser sig at være tilfældige med en vis distributionslov, selvom processens Markov-egenskab er bevaret. Sådanne tilfældige sekvenser kaldes semi-Markov.
Derudover, under hensyntagen til tilstedeværelsen og fraværet af visse sæt af tilstande nævnt ovenfor, kan Markov-kæder være absorberende, hvis der er mindst én absorberende tilstand, eller ergodiske, hvis overgangssandsynlighederne danner et ergodisk sæt. Til gengæld kan ergodiske kæder være regelmæssige eller cykliske. Cykliske kæder adskiller sig fra almindelige ved, at der under overgange gennem et vist antal trin (cyklusser) sker en tilbagevenden til en eller anden tilstand. Almindelige kæder har ikke denne egenskab.
Køteori er en af grenene af sandsynlighedsteori. Denne teori overvejer probabilistisk problemer og matematiske modeller (før da overvejede vi deterministiske matematiske modeller). Lad os minde dig om, at:
Deterministisk matematisk model afspejler et objekts adfærd (system, proces) fra perspektivet fuld sikkerhed i nutiden og fremtiden.
Probabilistisk matematisk model tager højde for indflydelsen af tilfældige faktorer på et objekts adfærd (system, proces) og vurderer derfor fremtiden ud fra et synspunkt om sandsynligheden for visse begivenheder.
De der. her, som f.eks. i spilteorien overvejes problemer i forholdusikkerhed.
Lad os først overveje nogle begreber, der karakteriserer "stokastisk usikkerhed", når de usikre faktorer, der indgår i problemet, er stokastiske variable (eller tilfældige funktioner), hvis sandsynlighedskarakteristika enten er kendte eller kan opnås af erfaring. En sådan usikkerhed kaldes også "gunstig", "godartet".
Begrebet en tilfældig proces
Strengt taget er tilfældige forstyrrelser iboende i enhver proces. Det er lettere at give eksempler på en tilfældig proces end en "ikke-tilfældig" proces. Selv for eksempel processen med at køre et ur (det ser ud til at være et strengt kalibreret arbejde - "fungerer som et ur") er genstand for tilfældige ændringer (fremad, sakke bagud, stoppe). Men så længe disse forstyrrelser er ubetydelige og har ringe effekt på de parametre, der er af interesse for os, kan vi negligere dem og betragte processen som deterministisk, ikke-tilfældig.
Lad der være noget system S(teknisk anordning, gruppe af sådanne anordninger, teknologisk system - maskine, site, værksted, virksomhed, industri osv.). I system S utætheder tilfældig proces, hvis den ændrer sin tilstand over tid (overgår fra en tilstand til en anden), desuden på en hidtil ukendt tilfældig måde.
Eksempler: 1. System S– teknologisk system (maskinsektion). Maskiner går i stykker fra tid til anden og bliver repareret. Processen, der finder sted i dette system, er tilfældig.
2. System S- et fly, der flyver i en given højde ad en bestemt rute. Forstyrrende faktorer - vejrforhold, besætningsfejl mv., konsekvenser - ujævnhed, overtrædelse af flyveplanen mv.
Markov tilfældig proces
En tilfældig proces, der forekommer i et system, kaldes Markovsky, hvis for et hvilket som helst tidspunkt t 0 probabilistiske karakteristika for en proces i fremtiden afhænger kun af dens tilstand i øjeblikket t 0 og er ikke afhængige af, hvornår og hvordan systemet nåede denne tilstand.
Lad systemet være i en bestemt tilstand i øjeblikket t 0 S 0 . Vi kender karakteristikaene for systemets tilstand i nutiden, alt hvad der skete når t<t 0 (proceshistorik). Kan vi forudsige (spå) fremtiden, dvs. hvad sker der hvornår t>t 0 ? Ikke ligefrem, men nogle probabilistiske karakteristika ved processen kan findes i fremtiden. For eksempel sandsynligheden for, at systemet efter nogen tid S vil være i stand S 1 eller forbliver i staten S 0 osv.
Eksempel. System S- en gruppe fly, der deltager i luftkamp. Lade x– antal "røde" fly, y– antal "blå" fly. Når t 0 antal overlevende (ikke skudt) fly, henholdsvis – x 0 ,y 0 . Vi er interesserede i sandsynligheden for, at den numeriske overlegenhed på tidspunktet vil være på de "røde". Denne sandsynlighed afhænger af, hvilken tilstand systemet var i på det tidspunkt t 0, og ikke på hvornår og i hvilken rækkefølge de skudte døde indtil øjeblikket t 0 fly.
I praksis støder man normalt ikke på Markov-processer i deres rene form. Men der er processer, hvor "forhistoriens" indflydelse kan negligeres. Og når man studerer sådanne processer, kan Markov-modeller bruges (køteori tager ikke hensyn til Markov-køsystemer, men det matematiske apparat, der beskriver dem, er meget mere komplekst).
I operationsforskning er Markov tilfældige processer med diskrete tilstande og kontinuerlig tid af stor betydning.
Processen kaldes diskret statsproces, hvis dens mulige tilstande S 1 ,S 2, ... kan bestemmes på forhånd, og systemets overgang fra tilstand til tilstand sker "i et hop", næsten øjeblikkeligt.
Processen kaldes kontinuerlig tidsproces, hvis tidspunkterne for mulige overgange fra stat til stat ikke er fastlagt på forhånd, men er usikre, tilfældige og kan forekomme når som helst.
Eksempel. Teknologisk system (sektion) S består af to maskiner, som hver kan svigte (fejle) på et tilfældigt tidspunkt, hvorefter reparationen af enheden straks påbegyndes, som også fortsætter i et ukendt, tilfældigt tidspunkt. Følgende systemtilstande er mulige:
S 0 - begge maskiner virker;
S 1 - den første maskine er ved at blive repareret, den anden fungerer;
S 2 - den anden maskine er ved at blive repareret, den første fungerer;
S 3 - begge maskiner er ved at blive repareret.
Systemovergange S fra tilstand til tilstand opstår næsten øjeblikkeligt, på tilfældige tidspunkter, når en bestemt maskine fejler, eller en reparation er afsluttet.
Når man analyserer tilfældige processer med diskrete tilstande, er det praktisk at bruge et geometrisk skema - tilstandsgraf. Toppunkterne på grafen er systemets tilstande. Grafbuer – mulige overgange fra tilstand til
Fig.1. Systemtilstandsgraf
stat. For vores eksempel er tilstandsgrafen vist i fig. 1.
Bemærk. Overgang fra stat S 0 tommer S 3 er ikke angivet i figuren, fordi det antages, at maskinerne svigter uafhængigt af hinanden. Vi ignorerer muligheden for samtidig fejl på begge maskiner.
Foredrag 9
Markov bearbejderForedrag 9
Markov bearbejder
1
Markov bearbejder
Markov bearbejderEn tilfældig proces, der forekommer i et system, kaldes
Markovian, hvis det ikke har nogen konsekvenser. De der.
hvis vi betragter den aktuelle tilstand af processen (t 0) - som
til stede, et sæt af mulige tilstande ((s),s t) - som
fortid, et sæt af mulige tilstande ((u),u t) - som
fremtid, derefter for en Markov-proces for en fast
nutid afhænger fremtiden ikke af fortiden, men er bestemt
kun i nuet og afhænger ikke af hvornår og hvordan systemet
kom til denne tilstand.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
2
Markov bearbejder
Markov bearbejderMarkov tilfældige processer er opkaldt efter den fremragende russiske matematiker A.A. Markov, som først begyndte at studere den probabilistiske forbindelse mellem tilfældige variabler
og skabte en teori, der kan kaldes "dynamik
sandsynligheder." Efterfølgende var grundlaget for denne teori
det indledende grundlag for den generelle teori om tilfældige processer, såvel som så vigtige anvendte videnskaber som teorien om diffusionsprocesser, pålidelighedsteori, køteori osv.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
3
Markov Andrey Andreevich Markov Andrey Andreevich Markov Andrey Andreevich
Markov bearbejderMarkov Andrey Andreevich
1856-1922
russisk matematiker.
Skrev omkring 70 værker på
teorier
tal,
teorier
funktionstilnærmelser, teori
sandsynligheder. Udvidede lovens anvendelsesområde markant
stort antal og centralt
grænsesætning. Er
grundlægger af teorien om tilfældige processer.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
4
Markov bearbejder
Markov bearbejderI praksis er Markov-processer i deres rene form normalt
ikke mødes. Men der er processer, hvor "forhistoriens" indflydelse kan negligeres, og når man studerer
Til sådanne processer kan Markov-modeller bruges. I
I øjeblikket er teorien om Markov-processer og dens anvendelser meget udbredt på en række forskellige områder.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
5
Markov bearbejder
Markov bearbejderBiologi: processer af fødsel og død - populationer, mutationer,
epidemier.
Fysik:
radioaktiv
henfalder,
teori
tællere
elementarpartikler, diffusionsprocesser.
Kemi:
teori
spor
V
atomisk
fotoemulsioner,
probabilistiske modeller for kemisk kinetik.
Billeder.jpg
Astronomi: fluktuationsteori
Mælkevejens lysstyrke.
Køteori: telefoncentraler,
reparationsværksteder, billetkontorer, informationsskranker,
maskine og andre teknologiske systemer, kontrolsystemer
fleksible produktionssystemer, informationsbehandling af servere.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
6
Markov bearbejder
Markov bearbejderLad på nuværende tidspunkt systemet være i
bestemt tilstand S0. Vi kender egenskaberne
systemets tilstand i nuet og alt, hvad der skete kl< t0
(baggrund for processen). Kan vi forudsige fremtiden,
de der. hvad sker der ved t > t0?
Ikke ligefrem, men nogle probabilistiske egenskaber
proces kan findes i fremtiden. For eksempel sandsynligheden for at
det efter et stykke tid
system S vil være i en tilstand
S1 eller forbliver i tilstand S0 osv.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
7
Markov bearbejder. Eksempel.
Markov bearbejderMarkov bearbejder. Eksempel.
System S er en gruppe fly, der deltager i luftkamp. Lad x være mængden
"røde" planer, y - antallet af "blå" planer. På tidspunktet t0, antallet af overlevende (ikke skudt) fly
henholdsvis – x0, y0.
Vi er interesserede i sandsynligheden for, at i øjeblikket
t 0 vil den numeriske overlegenhed være på siden af de "røde". Denne sandsynlighed afhænger af den tilstand systemet var i
på tidspunktet t0, og ikke på hvornår og i hvilken rækkefølge flyene skød ned, før øjeblikket t0 døde.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
8
Diskrete Markov-kæder
Markov bearbejderDiskrete Markov-kæder
Markov proces med endeligt eller tælleligt tal
tilstande og tidspunkter af tid kaldes diskrete
Markov kæde. Overgange fra tilstand til tilstand er kun mulige på heltallige tidspunkter.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
9
10. Diskrete Markov-kæder. Eksempel
Markov bearbejderFormode
Hvad
tale
kommer
O
successive møntkast
spil kaste; der kastes en mønt i
betingede tidspunkter t =0, 1, ... og kl
hvert skridt kan spilleren vinde ±1 s
det samme
sandsynlighed
1/2,
sådan her
I øjeblikket t er dens samlede forstærkning således en tilfældig variabel ξ(t) med mulige værdier j = 0, ±1, ... .
Forudsat at ξ(t) = k, ved næste trin vil udbetalingen være
er allerede lig med ξ(t+1) = k ± 1, idet der tages værdierne j = k ± 1 med samme sandsynlighed 1/2. Vi kan sige, at her, med den tilsvarende sandsynlighed, sker en overgang fra tilstanden ξ(t) = k til tilstanden ξ(t+1) = k ± 1.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
10
11. Diskrete Markov-kæder
Markov bearbejderDiskrete Markov-kæder
Ved at generalisere dette eksempel kan vi forestille os et system med
tælleligt antal mulige tilstande, som over tid
diskret tid t = 0, 1, ... bevæger sig tilfældigt fra tilstand til tilstand.
Lad ξ(t) være dens position på tidspunktet t som et resultat af en kæde af tilfældige overgange
ξ(0) -> ξ(1) -> ... -> ξ(t) -> ξ(t+1) ->...-> ... .
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
11
12. Diskrete Markov-kæder
Markov bearbejderDiskrete Markov-kæder
Når man analyserer tilfældige processer med diskrete tilstande, er det praktisk at bruge et geometrisk skema - en graf
stater. Toppunkterne på grafen er systemets tilstande. Buer af grafen
– mulige overgange fra stat til stat.
En omgang kaste.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
12
13. Diskrete Markov-kæder
Markov bearbejderDiskrete Markov-kæder
Lad os betegne alle mulige tilstande med heltal i = 0, ±1, ...
Lad os antage, at for en kendt tilstand ξ(t) =i, går systemet i næste trin til tilstanden ξ(t+1) = j med betinget sandsynlighed
P( (t 1) j (t) i)
uanset hendes adfærd i fortiden, eller rettere, uanset
fra kæden af overgange til moment t:
P( (t 1) j (t) i; (t 1) it 1;...; (0) i0 )
P( (t 1) j (t) i)
Denne ejendom kaldes Markovian.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
13
14. Diskrete Markov-kæder
Markov bearbejderDiskrete Markov-kæder
Nummer
pij P( (t 1) j (t) i)
kaldet sandsynlighed
overgang af systemet fra tilstand i til tilstand j i ét trin
tid t 1.
Hvis overgangssandsynligheden ikke afhænger af t, så er kredsløbet
Markov kaldes homogen.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
14
15. Diskrete Markov-kæder
Markov bearbejderDiskrete Markov-kæder
Matrix P, hvis elementer er sandsynligheder
overgang pij kaldes overgangsmatrixen:
p11...p1n
P p 21 ... p 2n
s
n1...pnn
Det er stokastisk, dvs.
pij 1 ;
jeg
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
p ij 0 .
15
16. Diskrete Markov-kæder. Eksempel
Markov bearbejderDiskrete Markov-kæder. Eksempel
Overgangsmatrix til kastespillet
...
k 2
k 2
0
k 1
1/ 2
k
0
k 1
k
k 1
k 2
0
1/ 2
0
0
1/ 2
0
1/ 2
0
1/ 2
0
0
0
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
...
k 1 k 2
0
0
0
1/ 2
0
1/ 2
...
0
0
1/ 2
0
16
17. Diskrete Markov-kæder. Eksempel
Markov bearbejderDiskrete Markov-kæder. Eksempel
Som et resultat af en kemisk analyse af jorden, evaluerer gartneren
dens tilstand er et af tre tal - god (1), tilfredsstillende (2) eller dårlig (3). Som et resultat af observationer gennem mange år bemærkede gartneren
at jordens produktivitet i strømmen
år afhænger kun af dens tilstand i
foregående år. Derfor sandsynligheden
jordskifte fra en tilstand til
en anden kan repræsenteres som følger
Markov-kæde med matrix P1:
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
17
18. Diskrete Markov-kæder. Eksempel
Markov bearbejderDiskrete Markov-kæder. Eksempel
Som et resultat af landbrugspraksis kan gartneren dog ændre overgangssandsynlighederne i matricen P1.
Så vil matrix P1 blive erstattet
til matrix P2:
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
18
19. Diskrete Markov-kæder
Markov bearbejderDiskrete Markov-kæder
Lad os overveje, hvordan procestilstande ændrer sig over tid. Vi vil overveje processen på på hinanden følgende tidspunkter i tid, startende fra moment 0. Lad os sætte den indledende sandsynlighedsfordeling p(0) ( p1 (0),..., pm (0)), hvor m er antallet af tilstande af processen er pi (0) sandsynligheden for at finde
proces i tilstand i på det indledende tidspunkt. Sandsynligheden pi(n) kaldes tilstandens ubetingede sandsynlighed
i på tidspunktet n 1.
Komponenterne i vektoren p (n) viser, hvilke af de mulige tilstande i kredsløbet på tidspunktet n der er flest
sandsynlig.
m
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
pk(n) 1
k 1
19
20. Diskrete Markov-kæder
Markov bearbejderDiskrete Markov-kæder
At kende rækkefølgen (p (n)) for n 1,... giver dig mulighed for at få en idé om systemets opførsel over tid.
I et 3-statssystem
p11 p12 p13
P p21
s
31
s22
s32
s23
s33
p2 (1) p1 (0) p12 p2 (0) p22 p3 (0) p32
p2 (n 1) p1 (n) p12 p2 (n) p22 p3 (n) p32
Generelt:
p j (1) pk (0) pkj
p j (n 1) pk (n) pkj
k
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
k
p(n 1) p(n) P
20
21. Diskrete Markov-kæder. Eksempel
Markov bearbejderDiskrete Markov-kæder. Eksempel
Matrix
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
Trin
(p(n))
n
0
1, 0, 0
n
1
0.2 , 0.5 , 0.3
n
2
0.04 , 0.35 , 0.61
n
3
0.008 , 0.195 , 0.797
n
4
0.0016 , 0.1015 , 0.8969
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
21
22. Diskrete Markov-kæder
Markov bearbejderDiskrete Markov-kæder
n
Overgangsmatrix for n trin P(n) P .
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
p(2) p(0) P
2
p(2)
P(2) P2
1, 0, 0
0.0016
0.
0.
0.0016
0.
0.
0.1015
0.0625
0.
0.1015
0.0625
0.
0.8969
0.9375
1.
0.8969
0.9375
1.
0.04 , 0.35 , 0.61
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
22
23. Diskrete Markov-kæder
Markov bearbejderDiskrete Markov-kæder
Hvordan opfører Markov-kæder sig for n?
For en homogen Markov-kæde, under visse betingelser, gælder følgende egenskab: p (n) for n.
Sandsynligheder 0 afhænger ikke af den indledende fordeling
p(0) , og bestemmes kun af matrixen P . I dette tilfælde kaldes det en stationær fordeling, og selve kæden kaldes ergodisk. Ergodicitetsegenskaben betyder, at når n stiger
sandsynligheden for tilstande ophører praktisk talt med at ændre sig, og systemet går i en stabil driftstilstand.
jeg
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
23
24. Diskrete Markov-kæder. Eksempel
Markov bearbejderDiskrete Markov-kæder. Eksempel
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
0 0 1
P() 0 0 1
0 0 1
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
p()(0,0,1)
24
25. Diskrete Markov-kæder. Eksempel
Markov bearbejderDiskrete Markov-kæder. Eksempel
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
0.1017 0.5254 0.3729
P() 0,1017 0,5254 0,3729
0.1017 0.5254 0.3729
p() (0,1017,0,5254,0,3729)
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
25
26. Markov bearbejder med kontinuerlig tid
Markov bearbejderEn proces kaldes en kontinuerlig-tidsproces, hvis
tidspunkterne for mulige overgange fra stat til stat er ikke fastsat på forhånd, men er usikre, tilfældige og kan ske
når som helst.
Eksempel. Det teknologiske system S består af to enheder,
som hver på et tilfældigt tidspunkt kan forlade
bygning, hvorefter reparationen af enheden straks begynder, ligeledes fortsætter i et ukendt, tilfældigt tidspunkt.
Følgende systemtilstande er mulige:
S0 - begge enheder virker;
S1 - den første enhed bliver repareret, den anden fungerer korrekt;
S2 - den anden enhed repareres, den første fungerer korrekt;
S3 - begge enheder repareres.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
26
27. Markov bearbejder med kontinuerlig tid
Markov bearbejderKontinuerlige Markov-processer
Overgange af systemet S fra tilstand til tilstand forekommer
næsten øjeblikkeligt, i tilfældige øjeblikke af fiasko
en eller anden enhed eller
færdiggørelse af reparationer.
Sandsynligheden for samtidige
fejl på begge enheder
kan negligeres.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
27
28. Begivenhedsstrømme
Markov bearbejderBegivenhedsstrømme
En strøm af begivenheder er en sekvens af homogene begivenheder, der følger efter hinanden på nogle tilfældige tidspunkter.
er det gennemsnitlige antal begivenheder
Hændelsesflowintensitet
per tidsenhed.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
28
29. Begivenhedsstrømme
Markov bearbejderBegivenhedsstrømme
En strøm af begivenheder kaldes stationær, hvis dens sandsynlighedsmæssige karakteristika ikke afhænger af tid.
Især intensiteten
konstant flow er konstant. Strømmen af begivenheder har uundgåeligt kondensationer eller sjældnerier, men de er ikke af regelmæssig karakter, og det gennemsnitlige antal begivenheder pr. tidsenhed er konstant og afhænger ikke af tid.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
29
30. Begivenhedsstrømme
Markov bearbejderBegivenhedsstrømme
Et flow af begivenheder kaldes et flow uden konsekvenser hvis for
to ikke-overlappende tidsperioder, og antallet af begivenheder, der falder på den ene af dem, afhænger ikke af, hvor mange begivenheder, der falder på den anden. Det betyder med andre ord, at de begivenheder, der danner flowet, opstår på bestemte tidspunkter
tid uafhængigt af hinanden og hver forårsaget af sine egne årsager.
En strøm af hændelser kaldes almindelig, hvis sandsynligheden for forekomst af to eller flere hændelser i et elementært segment t er ubetydelig sammenlignet med sandsynligheden for forekomst af en
begivenheder, dvs. begivenheder vises i den én efter én, og ikke i grupper af flere på én gang
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
30
31. Begivenhedsstrømme
Markov bearbejderBegivenhedsstrømme
En strøm af begivenheder kaldes den enkleste (eller stationære Poisson), hvis den har tre egenskaber på én gang: 1) stationær, 2) almindelig, 3) har ingen konsekvenser.
Det enkleste flow har den enkleste matematiske beskrivelse. Han spiller blandt vandløbene den samme special
rolle, ligesom loven om normalfordeling blandt andre
distributionslovene. Nemlig når man overlejrer et tilstrækkeligt stort antal uafhængige, stationære og almindelige
flows (sammenlignelige med hinanden i intensitet), er resultatet et flow tæt på det simpleste.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
31
32. Begivenhedsstrømme
Markov bearbejderBegivenhedsstrømme
For det enkleste flow med intensitet
interval
tid T mellem nabohændelser har en eksponentiel
fordeling med tæthed
p(x) e x, x 0 .
For en stokastisk variabel T, der har en eksponentiel fordeling, er den matematiske forventning den reciprokke af parameteren.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
32
33. Markov bearbejder med kontinuerlig tid
Markov bearbejderKontinuerlige Markov-processer
I betragtning af processer med diskrete tilstande og kontinuerlig tid kan vi antage, at alle overgange i systemet S fra tilstand til tilstand sker under påvirkning
simple hændelsesstrømme (opkaldsstrømme, fejlstrømme, gendannelsesstrømme osv.).
Hvis alle strømme af hændelser, der overfører system S fra stat til stat, er enklest, så sker processen i
systemet vil være markovsk.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
33
34. Markov bearbejder med kontinuerlig tid
Markov bearbejderKontinuerlige Markov-processer
Lad systemet i staten blive handlet af
den enkleste strøm af begivenheder. Så snart den første begivenhed af dette flow vises, "springer" systemet fra tilstanden
i stand.
- intensiteten af strømmen af begivenheder, der overfører systemet
fra staten
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
V
.
34
35. Markov bearbejder med kontinuerlig tid
Markov bearbejderKontinuerlige Markov-processer
Lad det pågældende system S have
mulige stater
. Sandsynlighed p ij (t) er sandsynligheden for overgang fra tilstand i til tilstand j i tiden t.
Sandsynlighed for den i-te tilstand
er sandsynligheden for, at
at systemet på tidspunktet t vil være i staten
. Det er klart, for ethvert tidspunkt i tid beløbet
af alle tilstandssandsynligheder er lig med én:
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
35
36. Markov bearbejder med kontinuerlig tid
Markov bearbejderKontinuerlige Markov-processer
For at finde alle tilstandssandsynligheder
Hvordan
funktioner af tid, er Kolmogorov differentialligninger kompileret og løst - en speciel type ligning, hvor de ukendte funktioner er sandsynligheder for tilstande.
For overgangssandsynligheder:
p ij (t) p ik (t) kj
k
For ubetingede sandsynligheder:
p j (t) p k (t) kj
k
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
36
37. Kolmogorov Andrey Nikolaevich
Markov bearbejderKolmogorov Andrey Nikolaevich
1903-1987
Stor russisk
matematiker.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
37
38. Markov bearbejder med kontinuerlig tid
Markov bearbejderKontinuerlige Markov-processer
- intensiteten af fejlflow;
- intensitet af restitutionsflow.
Lad systemet være i staten
S0. Den overføres til tilstand S1 af flowet
fejl på den første enhed. Dens intensitet er
Hvor
- gennemsnitlig enhedens oppetid.
Systemet overføres fra tilstand S1 til S0 ved strømmen af restaureringer
første enhed. Dens intensitet er
Hvor
- gennemsnitlig tid til at reparere den første maskine.
Intensiteterne af hændelsesstrømme, der overfører systemet langs alle buer i grafen, beregnes på lignende måde.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
38
39. Køsystemer
Markov bearbejderEksempler på køservicesystemer (QS): telefoncentraler, værksteder,
billet
kasseapparater,
reference
bureauet,
værktøjsmaskiner og andre teknologiske systemer,
systemer
ledelse
fleksibel
produktionssystemer,
informationsbehandling af servere mv.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
39
40. Køsystemer
Markov bearbejderKøsystemer
QS består af et vist antal serveringer
enheder kaldet servicekanaler (disse er
maskiner, robotter, kommunikationslinjer, kasserere osv.). Enhver SMO
er designet til at servicere strømmen af applikationer (krav), der ankommer på tilfældige tidspunkter.
Service af anmodningen fortsætter i et tilfældigt tidsrum, hvorefter kanalen er frigivet og klar til at modtage den næste
applikationer.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
40
41. Køsystemer
Markov bearbejderKøsystemer
QS-driftsprocessen er en tilfældig proces med diskret
tilstande og kontinuerlig tid. QS'ens tilstand ændrer sig brat i de øjeblikke, hvor nogle hændelser indtræffer
(ankomst af en ny anmodning, ophør af tjeneste, øjeblik,
når en applikation, der er træt af at vente, forlader køen).
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
41
42. Køsystemer
Markov bearbejderKøsystemer
Klassificering af køsystemer
1. QS med fejl;
2. Kø med en kø.
I en QS med afslag modtager en ansøgning modtaget på et tidspunkt, hvor alle kanaler er optaget, et afslag, forlader QS og er ikke længere
serveret.
I en QS med kø forsvinder en forespørgsel, der kommer på et tidspunkt, hvor alle kanaler er optaget, ikke, men stiller sig i køen og venter på muligheden for at blive serveret.
QS med køer er opdelt i forskellige typer alt efter
afhænger af, hvordan køen er organiseret - begrænset eller ubegrænset. Der kan gælde begrænsninger for både kølængde og tid
forventninger, "servicedisciplin".
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
42
43. Køsystemer
Markov bearbejderKøsystemer
Emnet for køteori er konstruktionen
matematiske modeller, der forbinder givne forhold
drift af QS (antal kanaler, deres ydeevne, regler
arbejde, arten af strømmen af applikationer) med de egenskaber, der interesserer os - indikatorer for effektiviteten af QS. Disse indikatorer beskriver QS'ens evne til at klare flowet
applikationer. De kan være: det gennemsnitlige antal ansøgninger, der leveres af QS pr. tidsenhed; gennemsnitligt antal optaget kanaler; gennemsnitligt antal ansøgninger i kø; gennemsnitlig ventetid på service mv.
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
43
44.
TAK SKAL DU HAVETIL OBS!!!
44
45. Konstruer en overgangsgraf
Markov bearbejderByg en overgangsgraf
0.30
0.70
0.0
0.10
0.60
0.30
0.50
0.50
0.0
KHNURE, afdeling PM, foredragsholder Kirichenko L.O.
"Sandsynlighedsteori, matematisk
statistik og tilfældige processer"
Mange operationer, der skal analyseres, når man skal vælge en optimal løsning, udvikler sig som tilfældige processer afhængigt af en række tilfældige faktorer.
Til en matematisk beskrivelse af mange operationer, der udvikler sig i form af en tilfældig proces, kan det matematiske apparat udviklet i sandsynlighedsteori til de såkaldte Markov tilfældige processer med succes anvendes.
Lad os forklare konceptet med en tilfældig Markov-proces.
Lad der være noget system S, hvis tilstand ændres over tid (under systemet S kan betyde hvad som helst: en industrivirksomhed, en teknisk enhed, et værksted osv.). Hvis systemets tilstand Sændrer sig over tid på en tilfældig, uforudsigelig måde på forhånd, det siger man i systemet S utætheder tilfældig proces.
Eksempler på tilfældige processer:
kursudsving på aktiemarkedet;
kundeservice i en frisørsalon eller et værksted;
gennemførelse af forsyningsplanen for en koncern mv.
Det specifikke forløb af hver af disse processer afhænger af en række tilfældige, tidligere uforudsigelige faktorer, såsom:
ankomsten af uforudsigelige nyheder om politiske ændringer på aktiemarkedet;
tilfældig karakter af strømmen af applikationer (krav), der kommer fra kunder;
tilfældige afbrydelser i gennemførelsen af forsyningsplanen mv.
DEFINITION. En tilfældig proces, der forekommer i et system, kaldes Markovian(eller proces uden konsekvenser), hvis den har følgende egenskab: for hvert tidspunkt t 0 sandsynligheden for en hvilken som helst tilstand af systemet i fremtiden (med t > t 0) afhænger kun af dens tilstand i nuet (med t = t 0) og afhænger ikke af, hvornår og hvordan systemet kom til denne tilstand (dvs. hvordan processen udviklede sig i fortiden).
Med andre ord, i en tilfældig Markov-proces afhænger dens fremtidige udvikling kun af den nuværende tilstand og afhænger ikke af processens "forhistorie".
Lad os se på et eksempel. Lad systemet S repræsenterer et aktiemarked, der har eksisteret i nogen tid. Vi er interesserede i, hvordan systemet vil fungere i fremtiden. Det er klart, i det mindste til en første tilnærmelse, at karakteristikaene for fremtidig ydeevne (sandsynligheden for et fald i prisen på en bestemt aktie på en uge) afhænger af systemets tilstand i øjeblikket (en række faktorer som f.eks. da regeringsbeslutninger eller valgresultater kan gribe ind her) og ikke afhænger af, hvornår og hvordan systemet nåede sin nuværende tilstand (afhænger ikke af arten af kursbevægelserne på disse aktier i fortiden).
I praksis støder vi ofte på tilfældige processer, der i varierende grad af tilnærmelse kan betragtes som markovske.
Teorien om Markov tilfældige processer har en bred vifte af forskellige anvendelser. Vi vil hovedsageligt være interesseret i anvendelsen af teorien om Markov tilfældige processer til konstruktionen af matematiske modeller af operationer, hvis forløb og udfald i væsentlig grad afhænger af tilfældige faktorer.
Markov tilfældige processer er opdelt i klasser afhængigt af hvordan og på hvilke tidspunkter systemet S" kan ændre sine tilstande.
DEFINITION. Den tilfældige proces kaldes proces med diskrete tilstande, hvis muligt systemets tilstande s x, s 2, s v... kan listes (nummereres) efter hinanden, og selve processen er, at systemet fra tid til anden S hopper brat (øjeblikkeligt) fra en tilstand til en anden.
Eksempelvis projektudvikling S udføres i fællesskab af to afdelinger, som hver især kan lave en fejl. Følgende systemtilstande er mulige:
5, - begge afdelinger fungerer normalt;
s 2 - den første afdeling lavede en fejl, den anden fungerer fint;
s 3 - den anden afdeling lavede en fejl, den første fungerer fint;
s 4 - begge afdelinger begik en fejl.
Processen, der finder sted i systemet, er, at det tilfældigt på nogle tidspunkter bevæger sig ("hopper") fra tilstand til tilstand. Systemet har i alt fire mulige tilstande. Foran os er en proces med diskrete tilstande.
Ud over processer med diskrete tilstande er der tilfældige processer med kontinuerlige tilstande: disse processer er karakteriseret ved en gradvis, glidende overgang fra stat til stat. For eksempel er processen med at ændre spændingen i et belysningsnetværk en tilfældig proces med kontinuerlige tilstande.
Vi vil kun overveje tilfældige processer med diskrete tilstande.
Når man analyserer tilfældige processer med diskrete tilstande, er det meget praktisk at bruge et geometrisk skema - den såkaldte tilstandsgraf. Statsgraf afbilder geometrisk systemets mulige tilstande og dets mulige overgange fra tilstand til tilstand.
Lad der være et system S med diskrete tilstande:
Hver tilstand vil være repræsenteret af et rektangel, og mulige overgange ("spring") fra tilstand til tilstand vil blive repræsenteret af pile, der forbinder disse rektangler. Et eksempel på en tilstandsgraf er vist i fig. 4.1.
Bemærk, at pilene kun markerer direkte overgange fra stat til stat; hvis systemet kan overgå fra staten s 2 ved 5 3 kun igennem s y så markerer pilene kun overgange s 2-> og l, 1 -> 5 3, men ikke s 2 -» s y Lad os se på et par eksempler:
1. System S- en virksomhed, der kan være i en af fem mulige tilstande: s]- arbejder med overskud;
s 2- mistede sine udviklingsmuligheder og holdt op med at generere overskud;
5 3 - blev et objekt for en potentiel overtagelse;
s 4- er under ekstern kontrol;
s 5- det likviderede selskabs ejendom sælges på auktion.
Virksomhedens tilstandsgraf er vist i fig. 4.2.
Ris. 4.2
- 2. System S- en bank med to filialer. Følgende systemtilstande er mulige:
- 5, - begge filialer drives med overskud;
s 2 - den første filial opererer uden profit, den anden opererer med profit;
5 3 - den anden gren fungerer uden overskud, den første opererer med overskud;
s 4 - begge filialer fungerer uden overskud.
Det antages, at der ikke er nogen bedring i tilstanden.
Tilstandsgrafen er vist i fig. 4.3. Bemærk, at grafen ikke viser en mulig overgang fra tilstanden s] direkte til s4, som vil gå i opfyldelse, hvis banken med det samme vil fungere med tab. Muligheden for en sådan begivenhed kan negligeres, hvilket praksis bekræfter.
Ris. 4.3
3. System S- et investeringsselskab bestående af to erhvervsdrivende (afdelinger): I og II; hver af dem kan på et tidspunkt begynde at fungere med tab. Sker dette, træffer virksomhedens ledelse straks foranstaltninger til at genoprette den rentable drift af afdelingen.
Muligt system siger: s- begge afdelingers aktiviteter er rentable; s 2- den første afdeling er ved at blive genoprettet, den anden fungerer med overskud;
s 3- den første afdeling fungerer med overskud, den anden er ved at blive genoprettet;
s 4- begge afdelinger er ved at blive genoprettet.
Systemtilstandsgrafen er vist i fig. 4.4.
4. I betingelserne i det foregående eksempel er hver erhvervsdrivendes aktiviteter, før han begynder at genoprette afdelingens rentable arbejde, underlagt en undersøgelse af virksomhedens ledelse for at træffe foranstaltninger til at forbedre den.
For nemheds skyld vil vi nummerere systemets tilstande ikke med ét, men med to indekser; den første vil betyde status for den første erhvervsdrivende (1 - arbejder med overskud, 2 - hans aktiviteter studeres af ledelsen, 3 - genopretter afdelingens rentable aktivitet); den anden - de samme tilstande for den anden erhvervsdrivende. For eksempel, s 23 vil betyde: den første erhvervsdrivendes aktiviteter studeres, den anden genopretter rentabelt arbejde.
Mulige systemtilstande S:
s u- begge erhvervsdrivendes aktiviteter giver overskud;
s l2- den første erhvervsdrivende arbejder med overskud, den andens aktiviteter studeres af virksomhedens ledelse;
5 13 - den første erhvervsdrivende arbejder med overskud, den anden genopretter afdelingens rentable aktivitet;
s 2l- den første erhvervsdrivendes aktiviteter studeres af ledelsen, den anden arbejder med profit;
s 22 - begge erhvervsdrivendes aktiviteter studeres af ledelsen;
- 5 23 - den første erhvervsdrivendes arbejde studeres, den anden erhvervsdrivende genopretter afdelingens rentable aktiviteter;
- 5 31 - den første erhvervsdrivende genopretter afdelingens rentable aktiviteter, den anden arbejder med overskud;
- 5 32 - afdelingens rentable aktivitet genoprettes af den første erhvervsdrivende, den anden erhvervsdrivendes arbejde studeres;
- 5 33 - begge forhandlere genopretter det rentable arbejde i deres afdeling.
Der er ni stater i alt. Tilstandsgrafen er vist i fig. 4.5.
Hvis udviklingen efter en given værdi af tidsparameteren t ikke afhænger af den forudgående udvikling t, forudsat at værdien af processen i dette øjeblik er fast (kort sagt: "fremtiden" og "fortiden" af processen afhænger ikke af hinanden med en kendt "nutid").
Den egenskab, der definerer et magnetfelt, kaldes normalt Markovian; den blev først formuleret af A. A. Markov. Allerede i L. Bacheliers arbejde kan man imidlertid ane et forsøg på at fortolke Brownsk bevægelse som en magnetisk proces, et forsøg, der blev berettiget efter N. Wieners forskning (N. Wiener, 1923). Grundlaget for den generelle teori om kontinuerlige magnetiske processer blev lagt af A. N. Kolmogorov.
Markov ejendom. Der er definitioner af M., der adskiller sig væsentligt fra hinanden. En af de mest almindelige er følgende. Lad en tilfældig proces med værdier fra et målbart rum gives på et sandsynlighedsrum hvor T - delmængde af den reelle akse Lad Nt(henholdsvis Nt).der er en s-algebra i genereret af mængderne X(s).at Hvor Med andre ord, Nt(henholdsvis Nt) er et sæt af hændelser forbundet med udviklingen af processen op til øjeblik t (startende fra t) . Proces X(t).kaldes Markov-processen, hvis (næsten helt sikkert) Markov-ejendommen gælder for alle:
eller, hvad der er det samme, hvis for nogen
M. p., for hvilken T er indeholdt i mængden af naturlige tal, kaldet. Markov kæde(det sidste udtryk er dog oftest forbundet med tilfældet med højst tællelig E) . Hvis Er et interval i mere end tælleligt, kaldes M.. kontinuerlig tid Markov kæde. Eksempler på kontinuerlige magnetiske processer er tilvejebragt af diffusionsprocesser og processer med uafhængige trin, herunder Poisson- og Wiener-processer.
I det følgende vil vi for nøjagtighedens skyld kun tale om tilfældet med formlerne (1) og (2) giver en klar fortolkning af princippet om uafhængighed af "fortiden" og "fremtiden" med en kendt "nutid", men definition af M. p. baseret på dem viste sig at være utilstrækkelig fleksibel i de talrige situationer, hvor det er nødvendigt at overveje ikke én, men et sæt betingelser af typen (1) eller (2), svarende til forskellige, skønt aftalte Overvejelser af denne art førte til vedtagelsen af følgende definition (se,).
Lad følgende blive givet:
a) et målbart rum, hvor s-algebraen indeholder alle etpunktssæt i E;
b) et målbart rum udstyret med en familie af s-algebraer, således at if
c) funktion ("bane") xt=xt(w) , definere for enhver målbar kortlægning
d) for hver og et sandsynlighedsmål på s-algebraen, således at funktionen er målbar med hensyn til hvis og
Sæt af navne (ikke-terminerende) Markov-proces defineret i if -næsten sikkert
hvad der end måtte være Her - rummet af elementære begivenheder, - faserum eller tilstandsrum, P( s, x, t, V)- overgangsfunktion eller overgangssandsynligheden for processen X(t) . Hvis E er udstyret med topologi, og er en samling af Borel sætter ind E, så er det skik at sige, at M. p. er givet ind E. Typisk omfatter definitionen af M. p. kravet om, at og derefter skal fortolkes som en sandsynlighed, forudsat at x s = x.
Spørgsmålet opstår: er hver Markov-overgangsfunktion P( s, x;t, V), givet i et målbart rum kan betragtes som en overgangsfunktion af et bestemt M. rum Svaret er positivt, hvis fx E er et adskilleligt lokalt kompakt rum, og er en samling af Borel-sæt i E. Desuden lad E - fuld metrisk plads og lad
for enhver hvorA - supplement til e-kvarteret til et punkt X. Så kan det tilsvarende magnetfelt betragtes som kontinuerligt til højre og have grænser til venstre (det vil sige, dets baner kan vælges som sådan). Eksistensen af et kontinuerligt magnetfelt sikres af tilstanden ved (se, ). I teorien om mekaniske processer lægges hovedvægten på processer, der er homogene (i tid). Den tilsvarende definition antager et givet system genstande a) - d) med den forskel, at for parametrene s og u, der optrådte i beskrivelsen, er nu kun værdien 0 tilladt. Notationen er også forenklet:
Ydermere postuleres homogeniteten af rummet W, dvs. det kræves, at der for enhver eksisterer sådan, at (w) for På grund af dette, på s-algebraen N, den mindste af s-algebraerne i W, der indeholder enhver hændelse af formen, er givet tidsforskydningsoperatorer q t, som bevarer driften af forening, skæring og subtraktion af sæt og for hvilke
Sæt af navne (ikke-terminerende) homogen Markov-proces defineret i if -næsten sikkert
for overgangsfunktionen i processen betragtes X(t) som P( t, x, V), og medmindre der er særlige forbehold, kræver de desuden, at det er nyttigt at huske på, at ved kontrol af (4) er det nok kun at overveje sæt af formularen hvor og hvad i (4) altid Ft kan erstattes af s-algebra svarende til skæringspunktet mellem afslutninger Ft for alle mulige mål Ofte er et sandsynlighedsmål m ("initialfordelingen") fast, og en Markov tilfældig funktion overvejes, hvor er målet på givet af ligheden
M. p. ringede. progressivt målbar, hvis funktionen for hver t>0 inducerer en målbar mapping i hvor er s-algebraen
Borel undergrupper ind . Højre kontinuerlige parlamentsmedlemmer er gradvist målbare. Der er en måde at reducere en heterogen sag til en homogen (se), og i det følgende vil vi tale om homogene parlamentsmedlemmer.
Strengt Markov ejendom. Lad et målbart rum være givet ved et m.
Funktionen kaldes Markov øjeblik, Hvis for alle I dette tilfælde klassificeres sættet som en familie F t hvis at (oftest fortolkes F t som et sæt af hændelser forbundet med udviklingen af X(t) op til tidspunktet t). For tro
Progressivt målbar M. p. Xnaz. strengt Markov proces (s.m.p.), hvis for nogen Markov øjeblik m og alle og relationen
(strengt Markov ejendom) holder næsten sikkert på sættet W t. Ved kontrol af (5) er det nok kun at overveje sæt af formen, hvor det symmetriske rum i dette tilfælde for eksempel er et hvilket som helst retkontinuerligt Fellersk dimensionelt rum i et topologisk. plads E. M. p. ringede. Feller Markov proces hvis funktionen
er kontinuert, når f er kontinuert og afgrænset.
I klasse med. m.p. der skelnes mellem visse underklasser. Lad Markov-overgangsfunktionen P( t, x, V), defineret i et metrisk lokalt kompakt rum E, stokastisk kontinuerlig:
for et hvilket som helst naboskab U af hvert punkt. Så hvis operatorer tager klassen af kontinuerte funktioner i sig selv, der forsvinder i det uendelige, så er funktionerne P( t, x, V) opfylder standarden M. p. X, altså gennemgående til højre med. m.p., for hvilket
og - næsten helt sikkert på sættet a - Pmarkov-øjeblikke, der ikke aftager med væksten.Afslutning af Markov-processen. Ofte fysisk Det er tilrådeligt at beskrive systemer, der bruger et ikke-terminerende magnetfelt, men kun på et tidsinterval af tilfældig længde. Derudover kan selv simple transformationer af magnetiske processer føre til en proces med baner specificeret på et tilfældigt interval (se. "Funktionelt" fra en Markov-proces). Styret af disse overvejelser introduceres begrebet en knækket MP.
Lade være et homogent magnetfelt i fase rum med en overgang funktion og lad der eksistere et punkt og en funktion sådan, at for og ellers (hvis der ikke er særlige forbehold, overveje ). Ny bane x t(w) er kun specificeret for ) ved hjælp af ligheden a Ft er defineret som et spor i et sæt
Indstil hvor der kaldes ved en afsluttende Markov-proces (o.m.p.), opnået fra den ved at afslutte (eller dræbe) på tidspunktet z. Z-værdien kaldes pausens øjeblik, eller livets tidspunkt, o. m.p. Faserummet i den nye proces er, hvor der er et spor af s-algebraen i E. Overgangsfunktion o. m.p. er en begrænsning til sættet Process X(t). en strengt Markov-proces, eller en standard Markov-proces, hvis den har den tilsvarende egenskab. En ikke-ophørende MP kan betragtes som en o. m.p. med pausemomentet Heterogen o. smp. bestemmes på lignende måde. M.
Markov processer og differentialligninger. Parlamentsmedlemmer af typen Brownsk bevægelse er tæt forbundet med parabolske differentialligninger. type. Overgangstæthed p(s, x, t, y) af diffusionsprocessen opfylder, under visse yderligere antagelser, Kolmogorovs inverse og direkte differentialligninger:
Funktion p( s, x, t, y).er den grønnes funktion af ligningerne (6) - (7), og de første kendte metoder til at konstruere diffusionsprocesser var baseret på sætninger om eksistensen af denne funktion for differentialligninger (6) - (7). For en proces, der er homogen i tid, vil operatøren L( s, x)= L(x) på glatte funktioner falder sammen med karakteristikken. operatør M. p. (se "Overgangsoperatørers semigruppe").
Matematik. Forventningerne til forskellige funktionaler fra diffusionsprocesser tjener som løsninger på de tilsvarende grænseværdiproblemer for differentialligningen (1). Lad - matematisk. forventning ved mål Så opfylder funktionen kl s ligning (6) og betingelse
Ligeledes funktionen
er tilfreds med s ligning
og stand og 2 ( T, x) = 0.
Lad det være det øjeblik, hvor man først når grænsen dD område procesforløb Derefter, under visse betingelser, funktionen
opfylder ligningen
og tager værdierne cp på sættet
Løsning af 1. grænseværdiproblem for en generel lineær parabol. 2. ordens ligninger
under ret generelle forudsætninger kan skrives i formen
I det tilfælde, hvor operatøren L og fungerer s, f ikke afhængig af s, En repræsentation svarende til (9) er også mulig til at løse en lineær elliptisk. ligninger Mere præcist funktionen
under visse antagelser er der en løsning på problemet
I det tilfælde, hvor operatoren L degenererer (del b( s, x) = 0 ).eller grænse dD er ikke "god" nok; grænseværdier accepteres muligvis ikke af funktioner (9), (10) på individuelle punkter eller på hele sæt. Konceptet med et regulært grænsepunkt for en operatør L har en probabilistisk fortolkning. På regelmæssige punkter af grænsen opnås grænseværdierne af funktionerne (9), (10). Løsning af problemer (8), (11) giver os mulighed for at studere egenskaberne af de tilsvarende diffusionsprocesser og deres funktionaliteter.
Der er metoder til at konstruere MP'er, der ikke er afhængige af at konstruere løsninger til ligning (6), (7), for eksempel. metode stokastiske differentialligninger, absolut kontinuerlig ændring af mål osv. Denne omstændighed, sammen med formlerne (9), (10), giver os mulighed for sandsynligt at konstruere og studere egenskaberne for grænseværdiproblemer for ligning (8), samt egenskaberne ved løsningen af den tilsvarende elliptiske. ligninger
Da løsningen af en stokastisk differentialligning er ufølsom over for degenerationen af matrixen b( s, x), At probabilistiske metoder blev brugt til at konstruere løsninger til at degenerere elliptiske og parabolske differentialligninger. Udvidelse af gennemsnitsprincippet for N. M. Krylov og N. N. Bogolyubov til stokastiske differentialligninger gjorde det muligt ved hjælp af (9) at opnå de tilsvarende resultater for elliptiske og parabolske differentialligninger. Det viste sig, at det var muligt at løse visse vanskelige problemer med at studere egenskaberne af løsninger til ligninger af denne type med en lille parameter ved den højeste afledede ved hjælp af probabilistiske overvejelser. Løsningen af det 2. grænseværdiproblem for ligning (6) har også en sandsynlighedsbetydning. Formuleringen af grænseværdiproblemer for et ubegrænset domæne er tæt forbundet med gentagelsen af den tilsvarende diffusionsproces.
Ved en tidshomogen proces (L er ikke afhængig af s) falder ligningens positive løsning, op til en multiplikationskonstant, under visse forudsætninger sammen med MP'ens stationære fordelingstæthed.. Sandsynlighedsbetragtninger viser sig også at være nyttig, når man overvejer grænseværdiproblemer for ikke-lineære paraboler. ligninger. R. 3. Khasminsky.
Lit.: Markov A. A., "Izvestia. Phys.-Mathematics Society of Kazan University", 1906, bind 15, nr. 4, s. 135-56; V a s h e l i e r L., "Ann. scient. Ecole norm, super.", 1900, v. 17, s. 21-86; Kolmogorov A.N., "Math. Ann.", 1931, Bd 104, S. 415-458; rus. Oversættelse - "Uspekhi Matematheskikh Nauk", 1938, århundrede. 5, s. 5-41; Zhun Kai-lai, Homogene Markov-kæder, trans. fra engelsk, M., 1964; R e 1 1 e r W., "Ann. Math.", 1954, v. 60, s. 417-36; Dynkin E.B., Yushkevich A.A., "Sandsynlighedsteori og dens anvendelser," 1956, bind 1, århundrede. 1, s. 149-55; Xant J.-A., Markov processer og potentialer, trans. fra engelsk, M., 1962; D e l l a s h e r i K., Kapaciteter og tilfældige processer, trans. fra French, M., 1975; Dynk og E.V., Fundamenter for teorien om Markov-processer, M., 1959; ham, Markov Processes, M., 1963; G og h man I. I., S k o r o x o d A. V., Theory of random processes, bind 2, M., 1973; Freidlin M.I., i bogen: Results of Science. Sandsynlighedsteori, matematisk statistik. - Teoretisk kybernetik. 1966, M., 1967, s. 7-58; X a sminskiy R. 3., "Sandsynlighedsteori og dens anvendelser," 1963, bind 8, i . 1, s. 3-25; Ventzel A.D., Freidlin M.I., Fluctuations in dynamic systems under the influence of small random disturbances, M., 1979; Blumenthal R. M., G e t o r R. K., Markov processer and potential theory, N.Y.-L., 1968; Getоor R. K., Markov processer: Ray processer og rigtige processer, V., 1975; Kuznetsov S.E., "Sandsynlighedsteori og dens anvendelser", 1980, bind 25, århundrede. 2, s. 389-93.