Markovi juhuslikud protsessid on nime saanud silmapaistva vene matemaatiku A.A. Markov (1856-1922), kes alustas esmakordselt juhuslike muutujate tõenäosussuhte uurimist ja lõi teooria, mida võib nimetada "tõenäosusdünaamikaks". Järgnevalt said selle teooria alused juhuslike protsesside üldteooria, aga ka selliste oluliste rakendusteaduste nagu difusiooniprotsesside teooria, usaldusväärsuse teooria, järjekorrateooria jne lähtealuseks. Praegu kasutatakse Markovi protsesside teooriat ja selle rakendusi laialdaselt erinevates teadusvaldkondades nagu mehaanika, füüsika, keemia jne.
Tänu matemaatilise aparaadi võrdlevale lihtsusele ja selgusele, saadud lahenduste suurele usaldusväärsusele ja täpsusele on Markovi protsessid pälvinud operatsiooniuuringute ja optimaalse otsuste tegemise teooriaga seotud spetsialistide erilist tähelepanu.
Vaatamata ülalmainitud lihtsusele ja selgusele eeldab Markovi ahelate teooria praktiline rakendamine mõningate terminite ja põhiprintsiipide tundmist, millest tuleks enne näidete esitamist rääkida.
Nagu märgitud, viitavad Markovi juhuslikud protsessid juhuslike protsesside (SP) erijuhtudele. Juhuslikud protsessid põhinevad omakorda juhusliku funktsiooni (SF) kontseptsioonil.
Juhuslik funktsioon on funktsioon, mille väärtus argumendi mis tahes väärtuse korral on juhuslik muutuja (RV). Teisisõnu võib SF-i nimetada funktsiooniks, mis iga testi korral võtab mingi varem tundmatu kuju.
Sellised SF näited on: pingekõikumised elektriahelas, auto kiirus piiratud kiirusega teelõigul, detaili pinnakaredus teatud piirkonnas jne.
Reeglina arvatakse, et kui SF argumendiks on aeg, siis sellist protsessi nimetatakse juhuslikuks. Juhuslikel protsessidel on veel üks määratlus, mis on lähemal otsustusteooriale. Juhusliku protsessi all mõistetakse sel juhul mis tahes füüsilise või tehnilise süsteemi olekute juhuslikku muutumist aja või mõne muu argumendi suhtes.
On lihtne mõista, et kui määrate oleku ja kujutate sõltuvust, on selline sõltuvus juhuslik funktsioon.
Juhuslikud protsessid liigitatakse olekutüüpide ja argumendi t järgi. Sellisel juhul võivad juhuslikud protsessid olla diskreetsete või pidevate olekute või ajaga.
Lisaks ülaltoodud juhuslike protsesside klassifitseerimise näidetele on veel üks oluline omadus. See omadus kirjeldab tõenäosuslikku seost juhuslike protsesside olekute vahel. Nii et näiteks kui juhuslikus protsessis sõltub süsteemi igasse järgnevasse olekusse ülemineku tõenäosus ainult eelmisest olekust, siis nimetatakse sellist protsessi järelmõjuta protsessiks.
Märgime esiteks, et diskreetsete olekute ja ajaga juhuslikku protsessi nimetatakse juhuslikuks jadaks.
Kui juhuslikul jadal on Markovi omadus, nimetatakse seda Markovi ahelaks.
Teisest küljest, kui juhuslikus protsessis on olekud diskreetsed, aeg on pidev ja järelmõju omadus säilib, siis sellist juhuslikku protsessi nimetatakse pideva ajaga Markovi protsessiks.
Markovi juhuslikku protsessi peetakse homogeenseks, kui üleminekutõenäosused jäävad protsessi ajal konstantseks.
Markovi kett loetakse antuks, kui on antud kaks tingimust.
1. Maatriksi kujul on üleminekutõenäosuste kogum:
2. On olemas algtõenäosuste vektor
mis kirjeldab süsteemi algseisundit.
Lisaks maatriksvormile saab Markovi ahela mudelit esitada ka suunatud kaalutud graafikuna (joonis 1).
Riis. 1
Markovi ahela süsteemi olekute kogum klassifitseeritakse teatud viisil, võttes arvesse süsteemi edasist käitumist.
1. Pöördumatu komplekt (joon. 2).
Joonis 2.
Mittetagastava hulga puhul on võimalikud mis tahes üleminekud selles komplektis. Süsteem võib sellest komplektist lahkuda, kuid ei saa selle juurde tagasi pöörduda.
2. Tagastuskomplekt (joon. 3).
Riis. 3.
Sel juhul on võimalikud ka kõik komplektisisesed üleminekud. Süsteem saab sellesse komplekti siseneda, kuid ei saa sellest lahkuda.
3. Ergodic komplekt (joon. 4).
Riis. 4.
Ergodilise hulga puhul on igasugused hulgasisesed üleminekud võimalikud, kuid üleminekud hulgalt ja hulgale on välistatud.
4. Absorbeerimiskomplekt (joon. 5)
Riis. 5.
Kui süsteem sellesse komplekti siseneb, protsess lõpeb.
Mõnel juhul on vaatamata protsessi juhuslikkusele võimalik teatud määral kontrollida jaotusseadusi või üleminekutõenäosuste parameetreid. Selliseid Markovi kette nimetatakse kontrollitud. Ilmselgelt muutub otsustamisprotsess kontrollitud Markovi kettide (CMC) abil eriti tõhusaks, nagu sellest hiljem juttu tuleb.
Diskreetse Markovi ahela (DMC) peamiseks tunnuseks on protsessi üksikute etappide (etappide) vaheliste intervallide determinism. Sageli aga reaalsetes protsessides seda omadust ei järgita ja intervallid osutuvad mõne jaotusseadusega juhuslikeks, kuigi protsessi Markovi omadus säilib. Selliseid juhuslikke jadasid nimetatakse poolMarkoviks.
Lisaks võivad Markovi ahelad, võttes arvesse teatud ülalmainitud olekukogumite olemasolu ja puudumist, olla neelduvad, kui on olemas vähemalt üks neelduv olek, või ergoodilised, kui üleminekutõenäosused moodustavad ergoodilise hulga. Omakorda võivad ergoodilised ahelad olla regulaarsed või tsüklilised. Tsüklilised ahelad erinevad tavalistest selle poolest, et teatud arvu etappide (tsüklite) kaudu toimuvate üleminekute ajal toimub naasmine mingisse olekusse. Tavalistel kettidel see omadus puudub.
Järjekorrateooria on tõenäosusteooria üks harudest. See teooria arvestab tõenäosuslik probleeme ja matemaatilisi mudeleid (enne seda käsitlesime deterministlikke matemaatilisi mudeleid). Tuletame teile meelde, et:
Deterministlik matemaatiline mudel peegeldab objekti (süsteemi, protsessi) käitumist vaatenurgast täielik kindlus olevikus ja tulevikus.
Tõenäosuslik matemaatiline mudel võtab arvesse juhuslike tegurite mõju objekti (süsteemi, protsessi) käitumisele ja hindab seetõttu tulevikku teatud sündmuste tõenäosuse seisukohalt.
Need. siin, nagu näiteks mänguteoorias, käsitletakse probleeme tingimustesebakindlus.
Vaatleme esmalt mõningaid mõisteid, mis iseloomustavad “stohhastilist määramatust”, kui ülesandes sisalduvad ebakindlad tegurid on juhuslikud muutujad (või juhuslikud funktsioonid), mille tõenäosuslikud karakteristikud on kas teada või saadud kogemusest. Sellist ebakindlust nimetatakse ka "soodsaks", "healoomuliseks".
Juhusliku protsessi mõiste
Rangelt võttes on juhuslikud häired igale protsessile omased. Juhusliku protsessi kohta on lihtsam tuua näiteid kui “mittejuhusliku” protsessi kohta. Isegi näiteks kella käitamise protsess (see näib olevat rangelt kalibreeritud teos - “töötab nagu kell”) on allutatud juhuslikele muutustele (edasiliikumine, mahajäämine, peatumine). Kuid seni, kuni need häired on tähtsusetud ja mõjutavad meid huvipakkuvaid parameetreid vähe, võime need tähelepanuta jätta ja pidada protsessi deterministlikuks, mittejuhuslikuks.
Las olla mingi süsteem S(tehniline seade, selliste seadmete rühm, tehnoloogiline süsteem - masin, objekt, töökoda, ettevõte, tööstus jne). Süsteemis S lekib juhuslik protsess, kui see aja jooksul oma olekut muudab (läheb ühest olekust teise), pealegi senitundmatul juhuslikul viisil.
Näited: 1. Süsteem S– tehnoloogiline süsteem (masinaosa). Masinad lähevad aeg-ajalt katki ja neid remonditakse. Selles süsteemis toimuv protsess on juhuslik.
2. Süsteem S- õhusõiduk, mis lendab kindlal kõrgusel kindlal marsruudil. Häirivad tegurid - ilmastikutingimused, meeskonna vead jne, tagajärjed - konarlikkus, lennugraafiku rikkumine jne.
Markovi juhuslik protsess
Süsteemis toimuvat juhuslikku protsessi nimetatakse Markovski, kui mõneks hetkeks t 0 protsessi tõenäosuslikud omadused tulevikus sõltuvad ainult selle hetkeseisust t 0 ja ei sõltu sellest, millal ja kuidas süsteem sellesse olekusse jõudis.
Olgu süsteem hetkel t 0 teatud olekus S 0 . Teame süsteemi oleviku tunnuseid, kõike, mis millal juhtus t<t 0 (protsessi ajalugu). Kas suudame ennustada (ennustada) tulevikku, s.t. mis saab millal t>t 0 ? Mitte täpselt, kuid tulevikus võib leida protsessi mõningaid tõenäosuslikke tunnuseid. Näiteks tõenäosus, et mõne aja pärast süsteem S suudab S 1 või jääb olekusse S 0 jne.
Näide. Süsteem S- õhulahingus osalev õhusõidukite rühm. Lase x- "punaste" lennukite arv, y– "siniste" lennukite arv. Selleks ajaks t vastavalt 0 ellujäänud (mitte allatulistatud) lennukite arv – x 0 ,y 0 . Meid huvitab tõenäosus, et hetkel on arvuline paremus “punaste” poolel. See tõenäosus sõltub sellest, millises olekus süsteem sel ajal oli t 0, ja mitte selle kohta, millal ja millises järjestuses allatulistatud kuni hetkeni surid t 0 lennukit.
Praktikas Markovi protsesse nende puhtal kujul tavaliselt ei kohta. Kuid on protsesse, mille puhul võib “esiajaloo” mõju tähelepanuta jätta. Ja selliste protsesside uurimisel saab kasutada Markovi mudeleid (järjekorrateooria ei arvesta Markovi järjekorrasüsteemidega, kuid neid kirjeldav matemaatiline aparaat on palju keerulisem).
Operatsiooniuuringutes on suure tähtsusega Markovi juhuslikud diskreetsete olekute ja pideva ajaga protsessid.
Protsessi nimetatakse diskreetse oleku protsess, kui see on võimalik S 1 ,S 2, ... saab eelnevalt kindlaks määrata ja süsteemi üleminek olekust olekusse toimub "hüppega", peaaegu koheselt.
Protsessi nimetatakse pidev ajaline protsess, kui võimalike olekust olekusse üleminekute hetked ei ole eelnevalt fikseeritud, vaid on ebakindlad, juhuslikud ja võivad tekkida igal hetkel.
Näide. Tehnoloogiline süsteem (jaotis) S koosneb kahest masinast, millest kumbki võib juhuslikul ajahetkel rikki minna (tõrkeneda), misjärel algab koheselt agregaadi remont, mis samuti jätkub teadmata, juhuslikult. Võimalikud on järgmised süsteemi olekud:
S 0 - mõlemad masinad töötavad;
S 1 - esimene masin on remondis, teine töötab;
S 2 - teine masin on remondis, esimene töötab;
S 3 - mõlemad masinad on remondis.
Süsteemi üleminekud S olekust olekusse esinevad peaaegu koheselt, juhuslikel hetkedel, kui konkreetne masin ebaõnnestub või remont on lõpetatud.
Diskreetsete olekutega juhuslike protsesside analüüsimisel on mugav kasutada geomeetrilist skeemi - oleku graafik. Graafi tipud on süsteemi olekud. Graafika kaared – võimalikud üleminekud olekust olekusse
Joonis 1. Süsteemi oleku graafik
olek. Meie näite puhul on olekugraafik näidatud joonisel 1.
Märge. Üleminek olekust S 0 tolli S 3 ei ole joonisel näidatud, sest eeldatakse, et masinad ebaõnnestuvad üksteisest sõltumatult. Jätame tähelepanuta mõlema masina samaaegse rikke võimaluse.
9. loeng
Markovi protsessid9. loeng
Markovi protsessid
1
Markovi protsessid
Markovi protsessidSüsteemis toimuvat juhuslikku protsessi nimetatakse
Markovian, kui sellel pole tagajärgi. Need.
kui arvestada protsessi hetkeseisu (t 0) - as
olevik, võimalike olekute hulk ( (s),s t) - as
minevik, võimalike olekute hulk ( (u),u t) - as
tulevikus, siis Markovi protsessi jaoks fikseeritud
olevik, tulevik ei sõltu minevikust, vaid on määratud
ainult olevikus ja ei sõltu sellest, millal ja kuidas süsteem
jõudis sellesse seisundisse.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
2
Markovi protsessid
Markovi protsessidMarkovi juhuslikud protsessid on nime saanud silmapaistva vene matemaatiku A. A. Markovi järgi, kes hakkas esmakordselt uurima juhuslike muutujate tõenäosuslikku seost
ja lõi teooria, mida võib nimetada "dünaamikaks
tõenäosused." Seejärel olid selle teooria alused
juhuslike protsesside üldteooria algalused, aga ka sellised olulised rakendusteadused nagu difusiooniprotsesside teooria, usaldusväärsusteooria, järjekorrateooria jne.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
3
Markov Andrei Andrejevitš Markov Andrei Andrejevitš Markov Andrei Andreevitš
Markovi protsessidMarkov Andrei Andrejevitš
1856-1922
Vene matemaatik.
Kirjutas umbes 70 tööd
teooriad
numbrid,
teooriad
funktsiooni lähendused, teooria
tõenäosused. Laiendas oluliselt seaduse ulatust
suur hulk ja keskne
piiri teoreem. On
juhuslike protsesside teooria rajaja.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
4
Markovi protsessid
Markovi protsessidPraktikas on Markovi protsessid puhtal kujul tavaliselt
ei kohtu. Kuid on protsesse, mille puhul võib “esiajaloo” mõju tähelepanuta jätta ja seda ka õppimisel
Selliste protsesside jaoks saab kasutada Markovi mudeleid. IN
Praegu kasutatakse Markovi protsesside teooriat ja selle rakendusi laialdaselt erinevates valdkondades.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
5
Markovi protsessid
Markovi protsessidBioloogia: sünni ja surma protsessid – populatsioonid, mutatsioonid,
epideemiad.
Füüsika:
radioaktiivsed
laguneb,
teooria
loendurid
elementaarosakesed, difusiooniprotsessid.
Keemia:
teooria
jälgi
V
tuumaenergia
fotoemulsioonid,
Keemilise kineetika tõenäosusmudelid.
Pildid.jpg
Astronoomia: fluktuatsiooniteooria
Linnutee heledus.
Järjekorra teooria: telefonikeskjaamad,
remonditöökojad, piletikassad, infolauad,
masin ja muud tehnoloogilised süsteemid, juhtimissüsteemid
paindlikud tootmissüsteemid, infotöötlus serverite poolt.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
6
Markovi protsessid
Markovi protsessidOlgu praegusel hetkel t0 süsteem sees
teatud olek S0. Me teame omadusi
süsteemi olek olevikus ja kõik, mis juhtus t< t0
(protsessi taust). Kas suudame tulevikku ennustada,
need. mis juhtub t > t0?
Mitte täpselt, aga mõned tõenäosuslikud tunnused
protsessi võib leida tulevikus. Näiteks tõenäosus, et
et mõne aja pärast
süsteem S on olekusse
S1 või jääb olekusse S0 jne.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
7
Markovi protsessid. Näide.
Markovi protsessidMarkovi protsessid. Näide.
System S on õhuvõitluses osalev õhusõidukite rühm. Olgu x suurus
“punased” tasapinnad, y – “siniste” tasandite arv. Ajahetkel t0 ellujäänud (mitte allatulistatud) lennukite arv
vastavalt – x0, y0.
Meid huvitab tõenäosus, et hetkel
t 0 on arvuline paremus "punaste" poolel. See tõenäosus sõltub süsteemi olekust
hetkel t0, mitte sellel, millal ja millises järjestuses lennukid alla tulistati enne hetke t0 surma.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
8
Diskreetsed Markovi ketid
Markovi protsessidDiskreetsed Markovi ketid
Markovi protsess lõpliku või loendatava arvuga
olekuid ja ajahetki nimetatakse diskreetseteks
Markovi kett. Üleminekud olekust olekusse on võimalikud ainult täisarvulistel ajahetkedel.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
9
10. Diskreetsed Markovi ketid. Näide
Markovi protsessidOletame
Mida
kõne
tulemas
O
järjestikused mündivisked
viskemäng; sisse visatakse münt
tingimuslikud ajahetked t =0, 1, ... ja at
iga sammu saab mängija võita ±1 s
sama
tõenäosus
1/2,
nagu nii
Seega on hetkel t selle koguvõimendus juhuslik suurus ξ(t) võimalike väärtustega j = 0, ±1, ... .
Eeldusel, et ξ(t) = k, on väljamakse järgmises etapis
on juba võrdne ξ(t+1) = k ± 1, võttes väärtused j = k ± 1 sama tõenäosusega 1/2. Võime öelda, et siin toimub vastava tõenäosusega üleminek olekust ξ(t) = k olekusse ξ(t+1) = k ± 1.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
10
11. Diskreetsed Markovi ketid
Markovi protsessidDiskreetsed Markovi ketid
Seda näidet üldistades võime ette kujutada süsteemi, millel on
loendatav arv võimalikke olekuid, mis aja jooksul
diskreetne aeg t = 0, 1, ... liigub juhuslikult olekust olekusse.
Olgu ξ(t) tema asukoht ajahetkel t juhuslike üleminekute ahela tulemusena
ξ(0) -> ξ(1) -> ... -> ξ(t) -> ξ(t+1) ->...-> ... .
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
11
12. Diskreetsed Markovi ketid
Markovi protsessidDiskreetsed Markovi ketid
Diskreetsete olekutega juhuslike protsesside analüüsimisel on mugav kasutada geomeetrilist skeemi - graafikut
osariigid. Graafi tipud on süsteemi olekud. Graafiku kaared
– võimalikud üleminekud olekust olekusse.
Viskemäng.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
12
13. Diskreetsed Markovi ketid
Markovi protsessidDiskreetsed Markovi ketid
Tähistame kõiki võimalikke olekuid täisarvudega i = 0, ±1, ...
Oletame, et teadaoleva oleku ξ(t) =i korral läheb süsteem järgmises etapis tingimusliku tõenäosusega olekusse ξ(t+1) = j
P( (t 1) j (t) i)
olenemata tema käitumisest minevikus või õigemini sõltumata
üleminekute ahelast hetkeni t:
P( (t 1) j (t) i; (t 1) it 1;...; (0) i0 )
P( (t 1) j (t) i)
Seda vara nimetatakse Markovianiks.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
13
14. Diskreetsed Markovi ketid
Markovi protsessidDiskreetsed Markovi ketid
Number
pij P( (t 1) j (t) i)
nimetatakse tõenäosuseks
süsteemi üleminek olekust i olekusse j ühe sammuga
aeg t 1.
Kui üleminekutõenäosus t-st ei sõltu, siis vooluring
Markovit nimetatakse homogeenseks.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
14
15. Diskreetsed Markovi ketid
Markovi protsessidDiskreetsed Markovi ketid
Maatriks P, mille elementideks on tõenäosused
üleminekut pij nimetatakse üleminekumaatriksiks:
p11...p1n
P p 21 ... p 2n
lk
n1...pnn
See on stohhastiline, st.
pij 1;
i
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
p ij 0 .
15
16. Diskreetsed Markovi ketid. Näide
Markovi protsessidDiskreetsed Markovi ketid. Näide
Üleminekumaatriks viskemängu jaoks
...
k 2
k 2
0
k 1
1/ 2
k
0
k 1
k
k 1
k 2
0
1/ 2
0
0
1/ 2
0
1/ 2
0
1/ 2
0
0
0
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
...
k 1 k 2
0
0
0
1/ 2
0
1/ 2
...
0
0
1/ 2
0
16
17. Diskreetsed Markovi ketid. Näide
Markovi protsessidDiskreetsed Markovi ketid. Näide
Pinnase keemilise analüüsi tulemusena hindab aednik
selle seisund on üks kolmest numbrist – hea (1), rahuldav (2) või halb (3). Paljude aastate vaatluste tulemusena märkas aednik
et mulla tootlikkus voolus
aasta oleneb ainult selle seisukorrast aastal
Eelmine aasta. Seetõttu tõenäosus
pinnase üleminek ühest olekust teise
teist saab kujutada järgmiselt
Markovi kett maatriksiga P1:
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
17
18. Diskreetsed Markovi ketid. Näide
Markovi protsessidDiskreetsed Markovi ketid. Näide
Küll aga saab aednik põllumajandustavade tulemusena maatriksis P1 üleminekutõenäosusi muuta.
Seejärel asendatakse maatriks P1
maatriksile P2:
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
18
19. Diskreetsed Markovi ketid
Markovi protsessidDiskreetsed Markovi ketid
Vaatleme, kuidas protsessi olekud aja jooksul muutuvad. Vaatleme protsessi järjestikustel ajahetkedel, alates hetkest 0. Seadke algne tõenäosusjaotus p(0) ( p1 (0),..., pm (0)), kus m on olekute arv protsessi pi (0) on leidmise tõenäosus
protsess olekus i algsel ajahetkel. Tõenäosust pi(n) nimetatakse oleku tingimusteta tõenäosuseks
i ajal n 1.
Vektori p (n) komponendid näitavad, millised ahela võimalikest olekutest ajahetkel n on kõige rohkem
tõenäoline.
m
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
pk(n) 1
k 1
19
20. Diskreetsed Markovi ketid
Markovi protsessidDiskreetsed Markovi ketid
Jada ( p (n)) n 1,... teadmine võimaldab teil saada aimu süsteemi käitumisest aja jooksul.
3 oleku süsteemis
p11 p12 p13
P lk 21
lk
31
lk 22
lk 32
lk 23
lk 33
p2 (1) p1 (0) p12 p2 (0) p22 p3 (0) p32
p2 (n 1) p1 (n) p12 p2 (n) p22 p3 (n) p32
Üldiselt:
p j (1) pk (0) pkj
p j (n 1) pk (n) pkj
k
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
k
p(n 1) p(n) P
20
21. Diskreetsed Markovi ketid. Näide
Markovi protsessidDiskreetsed Markovi ketid. Näide
Maatriks
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
Samm
(p(n))
n
0
1, 0, 0
n
1
0.2 , 0.5 , 0.3
n
2
0.04 , 0.35 , 0.61
n
3
0.008 , 0.195 , 0.797
n
4
0.0016 , 0.1015 , 0.8969
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
21
22. Diskreetsed Markovi ketid
Markovi protsessidDiskreetsed Markovi ketid
n
Üleminekumaatriks n astme jaoks P(n) P .
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
p(2) p(0) P
2
p(2)
P(2) P2
1, 0, 0
0.0016
0.
0.
0.0016
0.
0.
0.1015
0.0625
0.
0.1015
0.0625
0.
0.8969
0.9375
1.
0.8969
0.9375
1.
0.04 , 0.35 , 0.61
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
22
23. Diskreetsed Markovi ketid
Markovi protsessidDiskreetsed Markovi ketid
Kuidas Markovi ahelad n puhul käituvad?
Homogeense Markovi ahela puhul kehtib teatud tingimustel järgmine omadus: p (n) n korral.
Tõenäosused 0 ei sõltu esialgsest jaotusest
p(0) ja on määratud ainult maatriksiga P . Sel juhul nimetatakse seda statsionaarseks jaotuseks ja ahelat ennast ergoodiliseks. Ergoodsuse omadus tähendab, et n suureneb
olekute tõenäosus lakkab praktiliselt muutumast ja süsteem läheb stabiilsesse töörežiimi.
i
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
23
24. Diskreetsed Markovi ketid. Näide
Markovi protsessidDiskreetsed Markovi ketid. Näide
0.20 0.50 0.30
0.00 0.50 0.50
0.00 0.00 1.00
0 0 1
P() 0 0 1
0 0 1
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
p()(0,0,1)
24
25. Diskreetsed Markovi ketid. Näide
Markovi protsessidDiskreetsed Markovi ketid. Näide
0.30 0.60 0.10
0.10 0.60 0.30
0.05 0.40 0.55
0.1017 0.5254 0.3729
P() 0,1017 0,5254 0,3729
0.1017 0.5254 0.3729
p() (0,1017,0,5254,0,3729)
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
25
26. Markovi protsessid pideva ajaga
Markovi protsessidProtsessi nimetatakse pideva aja protsessiks, kui
võimalike olekust olekusse üleminekute hetked ei ole eelnevalt fikseeritud, vaid on ebakindlad, juhuslikud ja võivad juhtuda
igal ajal.
Näide. Tehnoloogiline süsteem S koosneb kahest seadmest,
millest igaüks võib juhuslikul ajahetkel väljuda
hoone, misjärel algab koheselt agregaadi remont, jätkudes samuti teadmata, juhuslikult.
Võimalikud on järgmised süsteemi olekud:
S0 - mõlemad seadmed töötavad;
S1 - esimene seade on remondis, teine töötab korralikult;
S2 - teine seade on remondis, esimene töötab korralikult;
S3 - mõlemad seadmed on remondis.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
26
27. Markovi protsessid pideva ajaga
Markovi protsessidPideva ajaga Markovi protsessid
Toimuvad süsteemi S üleminekud olekust olekusse
peaaegu kohe, juhuslikel ebaõnnestumise hetkedel
üks või teine seade või
remondi lõpetamine.
Samaaegse tõenäosusega
mõlema seadme rike
võib tähelepanuta jätta.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
27
28. Sündmuste vood
Markovi protsessidSündmuste vood
Sündmuste voog on homogeensete sündmuste jada, mis järgneb üksteisele mõnel juhuslikul ajahetkel.
on sündmuste keskmine arv
Sündmuste voo intensiivsus
ajaühiku kohta.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
28
29. Sündmuste vood
Markovi protsessidSündmuste vood
Sündmuste voogu nimetatakse statsionaarseks, kui selle tõenäosuslikud omadused ei sõltu ajast.
Eelkõige intensiivsus
ühtlane vool on konstantne. Sündmuste voos on paratamatult kondenseerumine või haruldus, kuid need ei ole korrapärase iseloomuga ning sündmuste keskmine arv ajaühikus on konstantne ega sõltu ajast.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
29
30. Sündmuste vood
Markovi protsessidSündmuste vood
Sündmuste voogu nimetatakse tagajärgedeta vooluks, kui jaoks
mis tahes kaks mittekattuvat ajaperioodi ja ühele neist langevate sündmuste arv ei sõltu sellest, kui palju sündmusi teisele langeb. Teisisõnu tähendab see seda, et voolu moodustavad sündmused ilmnevad teatud hetkedel
aeg üksteisest sõltumatult ja igaüks on põhjustatud oma põhjustest.
Sündmuste voogu nimetatakse tavaliseks, kui kahe või enama sündmuse toimumise tõenäosus elementaarses segmendis t on tühine võrreldes ühe sündmuse toimumise tõenäosusega.
sündmused, s.t. sündmused ilmuvad selles ükshaaval, mitte korraga mitmekaupa
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
30
31. Sündmuste vood
Markovi protsessidSündmuste vood
Sündmuste voogu nimetatakse lihtsaimaks (või statsionaarseks Poissoniks), kui sellel on kolm omadust korraga: 1) paigal, 2) tavaline, 3) sellel pole tagajärgi.
Lihtsamal voolul on kõige lihtsam matemaatiline kirjeldus. Ta mängib ojade vahel sama erilist
rolli, nagu muu hulgas normaaljaotuse seadus
jaotamise seadused. Nimelt piisava hulga iseseisvate, statsionaarsete ja tavaliste peale asetamisel
voolud (oma intensiivsuselt üksteisega võrreldavad), tulemuseks on kõige lihtsamale lähedane voog.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
31
32. Sündmuste vood
Markovi protsessidSündmuste vood
Lihtsaima intensiivsusega voolu jaoks
intervall
naabersündmuste vahelisel ajal T on eksponentsiaalne
jaotus tihedusega
p(x) e x , x 0 .
Eksponentjaotusega juhusliku muutuja T puhul on matemaatiline ootus parameetri pöördväärtus.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
32
33. Markovi protsessid pideva ajaga
Markovi protsessidPideva ajaga Markovi protsessid
Arvestades diskreetsete olekute ja pideva ajaga protsesse, võime eeldada, et kõik süsteemi S üleminekud olekust olekusse toimuvad mõju all.
lihtsad sündmuste vood (kõnevood, tõrkevood, taastumisvood jne).
Kui kõik sündmuste vood, mis kannavad süsteemi S olekust olekusse, on kõige lihtsamad, siis toimub see protsess
süsteem saab olema Markovian.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
33
34. Markovi protsessid pideva ajaga
Markovi protsessidPideva ajaga Markovi protsessid
Laske riigi süsteemil tegutseda
lihtsaim sündmuste voog. Niipea kui selle voo esimene sündmus ilmub, "hüppab" süsteem olekust välja
seisukorda.
- süsteemi ülekandvate sündmuste voo intensiivsus
riigilt
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
V
.
34
35. Markovi protsessid pideva ajaga
Markovi protsessidPideva ajaga Markovi protsessid
Olgu vaadeldaval süsteemil S
võimalikud olekud
. Tõenäosus p ij (t) on olekust i olekusse j ülemineku tõenäosus aja t jooksul.
i-nda oleku tõenäosus
on tõenäosus, et
et ajahetkel t on süsteem olekus
. Ilmselgelt iga hetk summa
kõigist olekutõenäosustest on võrdne ühega:
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
35
36. Markovi protsessid pideva ajaga
Markovi protsessidPideva ajaga Markovi protsessid
Et leida kõik olekutõenäosused
Kuidas
aja funktsioonid, koostatakse ja lahendatakse Kolmogorovi diferentsiaalvõrrandid - eritüüpi võrrand, milles tundmatud funktsioonid on olekute tõenäosused.
Ülemineku tõenäosused:
p ij (t) p ik (t) kj
k
Tingimusteta tõenäosuste jaoks:
p j (t) p k (t) kj
k
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
36
37. Kolmogorov Andrei Nikolajevitš
Markovi protsessidKolmogorov Andrei Nikolajevitš
1903-1987
Suur venelane
matemaatik.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
37
38. Markovi protsessid pideva ajaga
Markovi protsessidPideva ajaga Markovi protsessid
- rikkevoolu intensiivsus;
- taastumisvoo intensiivsus.
Süsteem olgu seisukorras
S0. Voolu abil viiakse see olekusse S1
esimese seadme rikked. Selle intensiivsus on
Kus
- seadme keskmine tööaeg.
Süsteem viiakse olekust S1 olekusse S0 taastamiste vooluga
esimene seade. Selle intensiivsus on
Kus
- keskmine aeg esimese masina parandamiseks.
Sündmuste voogude intensiivsused, mis kannavad süsteemi mööda kõiki graafiku kaare, arvutatakse sarnaselt.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
38
39. Järjekorrasüsteemid
Markovi protsessidNäiteid järjekorra teenindussüsteemidest (QS): telefonikeskjaamad, remonditöökojad,
pilet
kassaaparaadid,
viide
büroo,
tööpingid ja muud tehnoloogilised süsteemid,
süsteemid
juhtimine
paindlik
tootmissüsteemid,
infotöötlus serverite poolt jne.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
39
40. Järjekorrasüsteemid
Markovi protsessidJärjekorrasüsteemid
QS koosneb teatud arvust serveerimistest
üksused, mida nimetatakse teeninduskanaliteks (need on
masinad, robotid, sideliinid, kassapidajad jne). Igasugune SMO
on loodud juhuslikel aegadel saabuvate rakenduste (nõuete) voo teenindamiseks.
Päringu teenindamine jätkub juhuslikult, pärast mida kanal vabaneb ja on valmis järgmist vastu võtma
rakendusi.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
40
41. Järjekorrasüsteemid
Markovi protsessidJärjekorrasüsteemid
QS-i tööprotsess on diskreetne juhuslik protsess
olekud ja pidev aeg. QS-i olek muutub mõne sündmuse toimumise hetkedel järsult
(uue taotluse saabumine, teenuse lõpp, hetk,
kui ootamisest väsinud rakendus järjekorrast lahkub).
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
41
42. Järjekorrasüsteemid
Markovi protsessidJärjekorrasüsteemid
Järjekorrasüsteemide klassifikatsioon
1. riketega QS;
2. Järjekord koos järjekorraga.
Keeldumisega QS-is saab taotlus, mis saabus ajal, kui kõik kanalid on hõivatud, keeldumise, lahkub QS-ist ega ole enam
serveeritud.
Järjekorraga QS-is ei lahku taotlus, mis saabub ajal, mil kõik kanalid on hõivatud, vaid satub järjekorda ja jääb ootama, millal see kätte jõuab.
Järjekordadega QS-id jagunevad olenevalt erinevatest tüüpidest
oleneb sellest, kuidas järjekord on organiseeritud – kas piiratud või piiramatu. Piirangud võivad kehtida nii järjekorra pikkusele kui ka ajale
ootused, "teenindusdistsipliin".
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
42
43. Järjekorrasüsteemid
Markovi protsessidJärjekorrasüsteemid
Järjekorrateooria teemaks on ehitamine
etteantud tingimusi ühendavad matemaatilised mudelid
QS toimimine (kanalite arv, nende jõudlus, reeglid
töö, rakenduste voo olemus) meid huvitavate omadustega - QS-i tõhususe näitajad. Need näitajad kirjeldavad QS-i võimet vooluga toime tulla
rakendusi. Need võivad olla: QS-i poolt teenindatavate rakenduste keskmine arv ajaühikus; keskmine hõivatud kanalite arv; keskmine taotluste arv järjekorras; keskmine teeninduse ooteaeg jne.
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
43
44.
AITÄHTÄHELEPANU!!!
44
45. Koostage üleminekugraafik
Markovi protsessidKoostage üleminekugraafik
0.30
0.70
0.0
0.10
0.60
0.30
0.50
0.50
0.0
KHNURE, osakond PM, lektor Kirichenko L.O.
"Tõenäosusteooria, matemaatika
statistika ja juhuslikud protsessid"
Paljud toimingud, mida tuleb optimaalse lahenduse valikul analüüsida, arenevad juhuslike protsessidena sõltuvalt mitmest juhuslikust tegurist.
Paljude juhusliku protsessina arenevate operatsioonide matemaatiliseks kirjeldamiseks saab edukalt rakendada tõenäosusteoorias nn Markovi juhuslike protsesside jaoks välja töötatud matemaatilist aparaati.
Selgitagem Markovi juhusliku protsessi mõistet.
Las olla mingi süsteem S, mille olek ajas muutub (süsteemi all S võib tähendada kõike: tööstusettevõtet, tehnilist seadet, remonditöökoda jne). Kui süsteemi olek S muutuvad aja jooksul juhuslikult, ettearvamatult, ütlevad nad seda süsteemis S lekib juhuslik protsess.
Näited juhuslikest protsessidest:
hinnakõikumised aktsiaturul;
klienditeenindus juuksurisalongis või remonditöökojas;
ettevõtete grupi tarneplaani elluviimine jne.
Kõigi nende protsesside konkreetne kulg sõltub mitmest juhuslikust, varem ettearvamatust tegurist, näiteks:
ettearvamatute uudiste saabumine poliitiliste muutuste kohta börsile;
klientidelt tulevate rakenduste (nõuete) voo juhuslikkus;
juhuslikud katkestused tarneplaani täitmisel jne.
MÄÄRATLUS. Süsteemis toimuvat juhuslikku protsessi nimetatakse Markovian(või protsess ilma tagajärgedeta), kui sellel on järgmine omadus: iga ajahetke kohta t 0 süsteemi mis tahes oleku tõenäosus tulevikus (koos t > t 0) sõltub ainult selle olekust olevikus (koos t = t 0) ja ei sõltu sellest, millal ja kuidas süsteem sellesse olekusse jõudis (st kuidas protsess minevikus arenes).
Teisisõnu, Markovi juhuslikus protsessis sõltub selle edasine areng ainult hetkeseisust ja ei sõltu protsessi “eelajaloost”.
Vaatame näidet. Laske süsteemil S esindab aktsiaturgu, mis on olnud juba mõnda aega. Oleme huvitatud sellest, kuidas süsteem tulevikus töötab. Vähemalt esmapilgul on selge, et tulevase tootluse omadused (konkreetse aktsia hinna languse tõenäosus nädala jooksul) sõltuvad süsteemi hetkeseisust (mitmesugused tegurid, nagu kuna siin võivad sekkuda valitsuse otsused või valimistulemused) ning ei sõltu sellest, millal ja kuidas süsteem praegusesse seisu jõudis (ei sõltu nende aktsiate hinnaliikumise iseloomust minevikus).
Praktikas kohtame sageli juhuslikke protsesse, mida võib erineva lähendusastmega pidada Markoviks.
Markovi juhuslike protsesside teoorial on lai valik erinevaid rakendusi. Peamiselt hakkab meid huvitama Markovi juhuslike protsesside teooria rakendamine matemaatiliste tehtemudelite koostamisel, mille kulg ja tulemus sõltuvad oluliselt juhuslikest teguritest.
Markovi juhuslikud protsessid jagunevad klassid sõltuvalt sellest, kuidas ja millistel ajahetkedel saab süsteem S" oma olekuid muuta.
MÄÄRATLUS. Juhuslikku protsessi nimetatakse protsess diskreetsete olekutega, võimaluse korral süsteemi olekud s x , s 2 , s v... saab järjest loetleda (nummerdada) ja protsess ise on see, et aeg-ajalt süsteem S hüppab järsult (hetkeliselt) ühest olekust teise.
Näiteks projektiarendus S teostavad ühiselt kaks osakonda, millest igaüks võib eksida. Võimalikud on järgmised süsteemi olekud:
5, - mõlemad osakonnad töötavad normaalselt;
s 2 - esimene osakond tegi vea, teine töötab hästi;
s 3 - teine osakond tegi vea, esimene töötab hästi;
s 4 - mõlemad osakonnad tegid vea.
Süsteemis toimuv protsess seisneb selles, et see liigub teatud ajahetkedel juhuslikult (“hüppab”) olekust olekusse. Süsteemil on kokku neli võimalikku olekut. Meie ees on diskreetsete olekutega protsess.
Lisaks diskreetsete olekutega protsessidele on olemas pidevate olekutega juhuslikud protsessid: neid protsesse iseloomustab järkjärguline sujuv üleminek olekust olekusse. Näiteks pinge muutmise protsess valgustusvõrgus on pidevate olekutega juhuslik protsess.
Vaatleme ainult diskreetsete olekutega juhuslikke protsesse.
Diskreetsete olekutega juhuslike protsesside analüüsimisel on väga mugav kasutada geomeetrilist skeemi - nn olekugraafikut. Olekugraafik kujutab geomeetriliselt süsteemi võimalikke olekuid ja selle võimalikke üleminekuid olekust olekusse.
Las olla süsteem S diskreetsete olekutega:
Iga olekut tähistatakse ristkülikuga ja võimalikke üleminekuid (“hüppeid”) olekust olekusse tähistatakse neid ristkülikuid ühendavate nooltega. Olekugraafiku näide on näidatud joonisel fig. 4.1.
Pange tähele, et nooled tähistavad ainult otseseid üleminekuid olekust olekusse; kui süsteem suudab olekust üle minna s 2 kell 5 3 ainult läbi s y siis tähistavad nooled ainult üleminekuid s 2-> ja l, 1 -> 5 3, aga mitte s 2 -» s y Vaatame mõnda näidet:
1. Süsteem S- ettevõte, mis võib olla ühes viiest võimalikust riigist: s ]- töötab kasumiga;
s 2- kaotas oma arenguväljavaated ja lakkas kasumit tootmast;
5 3 - sai potentsiaalse ülevõtmise objektiks;
s 4- on välise kontrolli all;
s 5- müüakse enampakkumisel likvideeritava ettevõtte vara.
Ettevõtte seisugraafik on näidatud joonisel fig. 4.2.
Riis. 4.2
- 2. Süsteem S- kahe filiaaliga pank. Võimalikud on järgmised süsteemi olekud:
- 5, - mõlemad filiaalid töötavad kasumiga;
s 2 - esimene filiaal töötab tulutult, teine kasumiga;
5 3 - teine filiaal töötab kasumita, esimene kasumiga;
s 4 - mõlemad filiaalid töötavad tulutult.
Eeldatakse, et seisund ei parane.
Olekugraafik on näidatud joonisel fig. 4.3. Pange tähele, et graafik ei näita võimalikku üleminekut olekust s ] otse s4, mis saab teoks, kui pank kohe töötab kahjumiga. Nagu praktika kinnitab, võib sellise sündmuse võimaluse tähelepanuta jätta.
Riis. 4.3
3. Süsteem S- investeerimisühing, mis koosneb kahest kauplejast (osakonnast): I ja II; igaüks neist võib mingil ajahetkel hakata kahjumiga töötama. Kui see juhtub, võtab ettevõtte juhtkond kohe kasutusele meetmed osakonna kasumliku töö taastamiseks.
Võimalikud süsteemi olekud: s- mõlema osakonna tegevus on tulus; s 2- esimene osakond taastatakse, teine töötab kasumiga;
s 3- esimene osakond töötab kasumiga, teine taastatakse;
s 4- mõlemad osakonnad taastatakse.
Süsteemi oleku graafik on näidatud joonisel fig. 4.4.
4. Eelmise näite tingimustes uurib iga kaupleja tegevust enne osakonna tulusat tööd taastama asumist ettevõtte juhtkond, et võtta kasutusele meetmed selle parandamiseks.
Mugavuse huvides nummerdame süsteemi olekud mitte ühe, vaid kahe indeksiga; esimene tähendab esimese kaupleja staatust (1 - töötab kasumiga, 2 - juhtkond uurib tema tegevust, 3 - taastab osakonna kasumliku tegevuse); teine - samad olekud teise kaupleja kohta. Näiteks, s 23 tähendab: esimese kaupleja tegevust uuritakse, teise kaupleja taastab tulusa töö.
Võimalikud süsteemi olekud S:
s u- mõlema kaupleja tegevus toob kasumit;
s l2- esimene kaupleja töötab kasumiga, teise tegevust uurib ettevõtte juhtkond;
5 13 - esimene kaupleja töötab kasumiga, teine taastab osakonna kasumliku tegevuse;
s 2l- esimese kaupleja tegevust uurib juhtkond, teine töötab kasumiga;
s 22 - mõlema kaupleja tegevust uurib juhtkond;
- 5 23 - uuritakse esimese kaupleja tööd, teine kaupleja taastab osakonna kasumliku tegevuse;
- 5 31 - esimene kaupleja taastab osakonna kasumliku tegevuse, teine töötab kasumiga;
- 5 32 - osakonna tulusa tegevuse taastab esimene kaupleja, tutvub teise kaupleja tööga;
- 5 33 - mõlemad kauplejad taastavad oma osakonna tulusa töö.
Osariike on kokku üheksa. Olekugraafik on näidatud joonisel fig. 4.5.
mille areng pärast ajaparameetri t mis tahes väärtust ei sõltu sellele eelnenud arengust t, eeldusel, et protsessi väärtus sel hetkel on fikseeritud (lühidalt: protsessi “tulevik” ja “minevik” ei sõltu üksteisest teadaoleva “olevikuga”).
Tavaliselt nimetatakse omadust, mis määrab magnetvälja Markovian; selle sõnastas esmakordselt A. A. Markov. Kuid juba L. Bachelieri töödes on märgata katset tõlgendada Browni liikumist magnetprotsessina, mis sai õigustuse pärast N. Wieneri uurimistööd (N. Wiener, 1923). Pideva aja magnetprotsesside üldteooria aluse pani A. N. Kolmogorov.
Markovi vara. On olemas M. definitsioonid, mis üksteisest oluliselt erinevad. Üks levinumaid on järgmine. Olgu juhuslik protsess väärtustega mõõdetavast ruumist antud tõenäosusruumil kus T - reaaltelje alamhulk Olgu Nt(vastavalt Nt).seal on s-algebra genereeritud suurustega X(s).at Kus Teisisõnu, Nt(vastavalt Nt) on sündmuste kogum, mis on seotud protsessi arenguga kuni hetkeni t (alates t-st) . Kutsutakse protsessi X(t). Markovi protsess, kui Markovi vara kehtib (peaaegu kindlasti) kõigile:
või mis on sama, kui üldse
M. p., mille puhul T sisaldub naturaalarvude hulgas, kutsutakse. Markovi kett(viimast terminit seostatakse aga kõige sagedamini maksimaalselt loendatava E-ga) . Kui on intervall rohkem kui loendatav, kutsutakse M.. pidev aeg Markovi kett. Pideva aja magnetiliste protsesside näiteid pakuvad difusiooniprotsessid ja sõltumatute sammudega protsessid, sealhulgas Poissoni ja Wieneri protsessid.
Edaspidi räägime täpsuse huvides ainult juhtumist, kus valemid (1) ja (2) annavad selge tõlgenduse "mineviku" ja "tuleviku" sõltumatuse põhimõttele teadaoleva "olevikuga", kuid M. p definitsioon nende põhjal osutus ebapiisavalt paindlikuks neis arvukates olukordades, kus on vaja arvestada mitte ühe, vaid teatud tüüpi (1) või (2) tingimuste kogumiga, mis vastavad erinevatele, kuigi kokkulepitud tingimustele. teatud viisil viisid seda laadi kaalutlused järgmise määratluse vastuvõtmiseni (vt.).
Olgu antud järgmine:
a) mõõdetav ruum, kus s-algebra sisaldab kõiki E ühepunktihulki;
b) mõõdetav ruum, mis on varustatud s-algebra perekonnaga, nii et kui
c) funktsioon ("trajektoor") x t =xt(w) , mis tahes mõõdetava kaardistamise jaoks
d) iga ja tõenäosuse mõõt s-algebral nii, et funktsioon on mõõdetav, kui ja
Nimede komplekt (mittelõpetav) Markovi protsess, mis on defineeritud kui -peaaegu kindlalt
mis iganes võib olla Siin - elementaarsündmuste ruum, - faasiruum või olekuruum, P( s, x, t, V)- ülemineku funktsioon või protsessi siirdetõenäosus X(t) . Kui E on varustatud topoloogiaga ja see on Boreli kogum E, siis on kombeks öelda, et M. p E. Tavaliselt sisaldab M. p definitsioon nõuet, et ja seejärel tuleb tõlgendada kui tõenäosust, eeldusel, et x s =x.
Tekib küsimus: kas iga Markovi siirdefunktsioon on P( s, x;TV), mõõdetavas ruumis antud võib käsitleda teatud M. ruumi üleminekufunktsioonina. Vastus on positiivne, kui näiteks E on eraldatav lokaalselt kompaktne ruum ja see on Boreli komplektide kogum. E. Pealegi lase E - täismeetria ruumi ja lase
kellelegi kuhuA - punkti e-naabruse täiendus X. Siis saab vastavat magnetvälja lugeda pidevaks paremal ja omava piiridega vasakul (st selle trajektoore saab sellisena valida). Pideva magnetvälja olemasolu tagab tingimus juures (vt, ). Mehaaniliste protsesside teoorias pööratakse põhitähelepanu protsessidele, mis on (ajaliselt) homogeensed. Vastav definitsioon eeldab antud süsteemi objektid a) - d) selle erinevusega, et selle kirjelduses esinenud parameetrite s ja u puhul on nüüd lubatud ainult väärtus 0. Tähistus on samuti lihtsustatud:
Lisaks postuleeritakse ruumi W homogeensus, st nõutakse, et iga jaoks eksisteeriks selline, et (w) jaoks Seetõttu on s-algebras N, väikseim s-algebrast W-s, mis sisaldab mis tahes kujuga sündmust, on antud aja nihke operaatorid q t, mis säilitavad hulkade liitmise, lõikumise ja lahutamise tehted ja mille puhul
Nimede komplekt (mittelõpetav) homogeenne Markovi protsess, mis on defineeritud kui -peaaegu kindlasti
protsessi X(t) üleminekufunktsiooni jaoks loetakse P( t, x, V), ja kui spetsiaalseid reservatsioone pole, nõuavad need lisaks, et Kasulik on meeles pidada, et (4) kontrollimisel piisab, kui arvestada alati ainult vormiga, kus ja mis (4) Ft saab asendada s-algebraga, mis on võrdne lõpetamiste lõikepunktiga Ft Kõigi võimalike mõõtude puhul on sageli fikseeritud tõenäosusmõõt m (“esialgne jaotus”) ja arvestatakse Markovi juhuslikku funktsiooni, kus on võrdsuse poolt antud mõõt.
M. p. järk-järgult mõõdetav, kui iga t>0 korral kutsub funktsioon esile mõõdetava vastendamise, kus on s-algebra
Boreli alamhulgad sisse . Õiged pidevad parlamendiliikmed on järk-järgult mõõdetavad. On võimalus taandada heterogeenne juhtum homogeenseks (vt) ja edaspidi räägime homogeensetest parlamendiliikmetest.
Rangelt Markovi vara. Mõõdetav ruum olgu antud m-ga.
Funktsiooni kutsutakse Markovi hetk, Kui kõigi jaoks Sel juhul klassifitseeritakse hulk perekonnaks F t, kui at (enamasti tõlgendatakse F t sündmuste kogumina, mis on seotud X(t) arenguga kuni hetkeni t). Sest uskuda
Järk-järgult mõõdetav M. lk. rangelt Markovi protsess (s.m.p.), kui mingi Markovi momendi m ja kõik ja seos
(rangelt Markovi omadus) kehtib peaaegu kindlasti hulgal W t . Märkimisel (5) piisab, kui arvestada ainult vormihulkadega, kus sel juhul on sümmeetriliseks ruumiks näiteks suvaline parem-pidev Felleri mõõtmeruum topoloogilises. ruumi E. M. p. Feller Markovi protsess, kui funktsioon
on pidev, kui f on pidev ja piiratud.
Klassis koos. eristatakse teatud alamklasse. Olgu Markovi siirdefunktsioon P( t, x, V), määratletud lokaalselt kompaktses ruumis E, stohhastiliselt pidev:
Iga punkti mis tahes naabruskonnas U Kui operaatorid võtavad endasse lõpmatuses kaovate pidevate funktsioonide klassi, siis funktsioonid P(. t, x, V) vastab standardile M. p. X, st paremal pidev koos. s.t., mille jaoks
ja – peaaegu kindlasti võtteplatsil a – Pmarkovi hetked, mis kasvuga ei vähene.Markovi protsessi lõpetamine. Sageli füüsiline Soovitatav on kirjeldada süsteeme, mis kasutavad mittelõpuvat magnetvälja, kuid ainult juhusliku pikkusega ajavahemikul. Lisaks võivad isegi lihtsad magnetprotsesside teisendused viia protsessini, mille trajektoorid on määratud juhuslikul intervallil (vt. "Funktsionaalne" Markovi protsessist). Nendest kaalutlustest juhindudes võetakse kasutusele katkise parlamendiliikme mõiste.
Laskma olema homogeenne magnetväli faasiruumis, millel on üleminekufunktsioon ja olgu olemas punkt ja funktsioon nii, et ja muidu (kui pole erireservatsioone, kaaluge ). Uus trajektoor xt(w) on määratud ainult ) jaoks võrdsuse a abil Ft on määratletud kui jälg komplektis
Määra helistamiskoht lõpetava Markovi protsessiga (o.m.p.), mis saadakse lõpetamise (või tapmise) teel ajahetkel z. z väärtust nimetatakse vaheaja hetk ehk eluaeg, o. m.p. Uue protsessi faasiruum on koht, kus on s-algebra jälg E.Üleminekufunktsioon o. m.p. on protsessi X(t) komplekti piirang. rangelt Markovi protsess või standardne Markovi protsess, kui sellel on vastav omadus Mittelõpuvat MP-d võib pidada o-ks. sulamismomendiga Heterogeenne o. st määratakse sarnasel viisil. M.
Markovi protsessid ja diferentsiaalvõrrandid. Browni liikumise tüüpi MP-d on tihedalt seotud paraboolsete diferentsiaalvõrranditega. tüüp. Üleminekutihedus p(s, x, t, y) difusiooniprotsessist rahuldab teatud lisaeeldustel Kolmogorovi pöörd- ja otsediferentsiaalvõrrandid:
Funktsioon p( s, x, t, y).on võrrandite (6) - (7) Greeni funktsioon ja esimesed teadaolevad meetodid difusiooniprotsesside konstrueerimiseks põhinesid teoreemidel selle funktsiooni olemasolu kohta diferentsiaalvõrrandite (6) - (7) jaoks. Ajaliselt homogeense protsessi korral operaator L( s, x)= L(x).sujuvatel funktsioonidel langeb kokku tunnusega. operaator M. lk (vt "Üleminekuoperaatorite poolrühm").
matemaatika. difusiooniprotsesside erinevate funktsionaalide ootused on lahenduseks diferentsiaalvõrrandi (1) vastavatele piirväärtusprobleemidele. Olgu - matemaatiline. ootus mõõtmisel Siis funktsioon rahuldab at s võrrand (6) ja tingimus
Samamoodi funktsioon
rahuldab s võrrand
ja tingimus ja 2 ( T, x) = 0.
Olgu tt esimese piirini jõudmise hetk dD piirkond protsessi trajektoor Seejärel teatud tingimustel funktsioon
rahuldab võrrandit
ja võtab komplektis väärtused cp
Üldise lineaarse parabooli 1. piirväärtusülesande lahendus. 2. järku võrrandid
üsna üldistel eeldustel saab kirjutada kujul
Juhul, kui operaator L ja funktsioonid s, f ei sõltu s, Lineaarse elliptika lahendamiseks on võimalik ka (9)-ga sarnane esitus. võrrandid Täpsemalt funktsioon
teatud eeldustel on probleemile lahendus
Juhul kui operaator L degenereerub (del b( s, x) = 0 ).või piiri dD ei ole piisavalt "hea" piirväärtusi ei pruugi funktsioonid (9), (10) üksikutes punktides või tervetes komplektides aktsepteerida. Korrapärase piiripunkti mõiste operaatori jaoks L on tõenäosuslik tõlgendus. Piiri tavalistes punktides saavutatakse piiriväärtused funktsioonide (9), (10) abil. Ülesannete (8), (11) lahendamine võimaldab uurida vastavate difusiooniprotsesside omadusi ja nende funktsionaalsusi.
MP-de koostamiseks on meetodeid, mis ei tugine näiteks võrrandite (6), (7) lahenduste konstrueerimisele. meetod stohhastilised diferentsiaalvõrrandid, absoluutselt pidev mõõtemuutus jne. See asjaolu koos valemitega (9), (10) võimaldab tõenäosuslikult konstrueerida ja uurida võrrandi (8) piirväärtusülesannete omadusi, aga ka lahenduse omadusi. vastav elliptiline. võrrandid
Kuna stohhastilise diferentsiaalvõrrandi lahend ei ole tundlik maatriksi degeneratsiooni suhtes b( s, x), See Elliptiliste ja paraboolsete diferentsiaalvõrrandite lahenduste koostamiseks kasutati tõenäosuslikke meetodeid. N. M. Krylovi ja N. N. Bogolyubovi keskmistamisprintsiibi laiendamine stohhastilistele diferentsiaalvõrranditele võimaldas (9) kasutades saada vastavad tulemused elliptiliste ja paraboolsete diferentsiaalvõrrandite jaoks. Selgus, et tõenäosuslikke kaalutlusi kasutades oli võimalik lahendada teatud keerulisi probleeme seda tüüpi võrrandite lahenduste omaduste uurimisel väikese parameetriga kõrgeima tuletisega. Võrrandi (6) 2. piirväärtusülesande lahendusel on samuti tõenäosuslik tähendus. Piiramatu domeeni piirväärtusprobleemide formuleerimine on tihedalt seotud vastava difusiooniprotsessi kordumisega.
Ajas homogeense protsessi korral (L ei sõltu s-st) langeb võrrandi positiivne lahend kuni korrutuskonstandini teatud eeldustel kokku MP statsionaarse jaotustihedusega olla kasulik mittelineaarsete paraboolide piirväärtusprobleemide kaalumisel. võrrandid. R. 3. Khasminsky.
Valgus: Markov A. A., "Izvestia. Kaasani ülikooli füüsika-matemaatika selts", 1906, 15. kd, nr 4, lk. 135-56; V a s h e l i e r L., "Ann. teadlane. Ecole norm, super.", 1900, v. 17, lk. 21-86; Kolmogorov A.N., "Math. Ann.", 1931, Bd 104, S. 415-458; rus. Tõlge - "Uspekhi Matematicheskikh Nauk", 1938, sajand. 5, lk. 5-41; Zhun Kai-lai, Homogeensed Markovi ketid, tlk. inglise keelest, M., 1964; R e 1 1 e r W., "Ann. Math.", 1954, v. 60, lk. 417-36; Dynkin E.B., Yushkevich A.A., "Tõenäosusteooria ja selle rakendused", 1956, 1. sajand. 1, lk. 149-55; Xant J.-A., Markovi protsessid ja potentsiaalid, tlk. inglise keelest, M., 1962; D e l l a s h e r i K., Võimsused ja juhuslikud protsessid, trans. prantsuse keelest, M., 1975; Dynk ja E.V., Markovi protsesside teooria alused, M., 1959; tema, Markovi protsessid, M., 1963; G ja h man I. I., S k o r o x o d A. V., Juhuslike protsesside teooria, 2. kd, M., 1973; Freidlin M.I., raamatus: Results of Science. Tõenäosusteooria, matemaatiline statistika. - Teoreetiline küberneetika. 1966, M., 1967, lk. 7-58; X a sminskiy R. 3., "Tõenäosusteooria ja selle rakendused", 1963, 8. kd . 1, lk. 3-25; Ventzel A.D., Freidlin M.I., Fluktuatsioonid dünaamilistes süsteemides väikeste juhuslike häirete mõjul, M., 1979; Blumenthal R. M., G e t o r R. K., Markovi protsessid ja potentsiaali teooria, N.Y.-L., 1968; Getоor R. K., Markovi protsessid: Kiirprotsessid ja õiged protsessid, V., 1975; Kuznetsov S.E., "Tõenäosusteooria ja selle rakendused", 1980, 25. sajand. 2, lk. 389-93.