Jina la njia linamaanisha miraba angalau. Kuongeza mienendo kwenye chati

RUR 100 bonasi kwa agizo la kwanza

Chagua aina ya kazi Kazi ya Stashahada Kazi ya kozi Muhtasari wa Tasnifu ya Uzamili Ripoti ya mazoezi Kifungu Ripoti Mapitio ya Mtihani Kazi ya Monograph Suluhisho la Tatizo la Mpango wa biashara Majibu ya maswali Kazi ya ubunifu Insha Kuchora Insha Mawasilisho Tafsiri Kuandika Nyingine Kuongeza upekee wa maandishi Tasnifu ya Uzamili Kazi ya maabara Usaidizi wa mtandaoni

Jua bei

Mbinu ya miraba ya uchache zaidi ni mbinu ya hisabati (kihesabu-takwimu) inayotumiwa kupatanisha mfululizo wa saa, kutambua aina ya uwiano kati ya vigeu vya nasibu, n.k. Inajumuisha ukweli kwamba chaguo za kukokotoa zinazoelezea jambo fulani hukadiriwa na chaguo la kukokotoa rahisi zaidi. Zaidi ya hayo, mwisho huchaguliwa kwa njia ambayo kupotoka kwa kawaida (angalia Mtawanyiko) wa viwango halisi vya kazi katika pointi zilizozingatiwa kutoka kwa zilizopangwa ni ndogo zaidi.

Kwa mfano, kulingana na data inayopatikana ( Xi,ndiyo) (i = 1, 2, ..., n) curve kama hiyo imeundwa y = a + bx, ambapo jumla ya chini ya mikengeuko ya mraba hupatikana

yaani, kitendakazi kulingana na vigezo viwili kinapunguzwa: a- sehemu kwenye mhimili wa kuratibu na b- mteremko wa mstari wa moja kwa moja.

Milinganyo inayotoa masharti muhimu ya kupunguza utendakazi S(a,b), zinaitwa milinganyo ya kawaida. Kama utendakazi wa kukadiria, sio tu mstari (mpangilio kwenye mstari ulionyooka), lakini pia quadratic, parabolic, exponential, n.k. hutumiwa. Kwa mfano wa kupanga mfululizo wa saa kwenye mstari ulionyooka, ona Mtini. M.2, ambapo jumla ya umbali wa mraba ( y 1 – ȳ 1)2 + (y 2 – ȳ 2)2 .... ndio mdogo zaidi, na mstari ulionyooka unaotokana unaonyesha vyema mwenendo wa mfululizo wa uchunguzi wa kiashirio fulani kwa wakati.

Kwa makadirio ya OLS yasiyo na upendeleo, ni muhimu na ya kutosha kutimiza hali muhimu zaidi ya uchanganuzi wa urejeshaji: matarajio ya hisabati ya hitilafu ya nasibu, yenye masharti ya vipengele, lazima iwe sawa na sifuri. Hali hii, haswa, inafikiwa ikiwa: 1.matarajio ya hisabati ya makosa ya nasibu ni sifuri, na 2.sababu na makosa ya nasibu ni vigeu vinavyojitegemea vya nasibu. Hali ya kwanza inaweza kuzingatiwa kuwa imetimizwa kila wakati kwa mifano iliyo na mara kwa mara, kwani mara kwa mara inachukua matarajio yasiyo ya sifuri ya hisabati ya makosa. Hali ya pili - hali ya exogeneity ya mambo - ni ya msingi. Ikiwa mali hii haijafikiwa, basi tunaweza kudhani kuwa karibu makadirio yoyote yatakuwa ya kuridhisha sana: hayatakuwa sawa (yaani, hata idadi kubwa ya data hairuhusu kupata makadirio ya hali ya juu katika kesi hii. )

Njia ya kawaida ya ukadiriaji wa takwimu wa vigezo vya milinganyo ya urejeshi ni mbinu ya angalau miraba. Njia hii inategemea idadi ya mawazo kuhusu asili ya data na matokeo ya mfano. Ya kuu ni mgawanyiko wazi wa viambatisho vya asili kuwa tegemezi na huru, kutokuwa na uhusiano wa mambo yaliyojumuishwa katika hesabu, mstari wa uhusiano, kutokuwepo kwa uunganisho wa mabaki, usawa wa matarajio yao ya hisabati hadi sifuri na mara kwa mara. utawanyiko.

Moja ya dhana kuu za OLS ni dhana ya usawa wa tofauti za kupotoka ei, i.e. kuenea kwao karibu na wastani (sifuri) thamani ya mfululizo inapaswa kuwa thamani thabiti. Mali hii inaitwa homoscedasticity. Kwa mazoezi, tofauti za kupotoka mara nyingi sio sawa, ambayo ni, heteroskedasticity inazingatiwa. Hii inaweza kuwa kutokana na sababu mbalimbali. Kwa mfano, kunaweza kuwa na makosa katika data chanzo. Makosa ya mara kwa mara katika maelezo ya chanzo, kama vile makosa katika mpangilio wa nambari, yanaweza kuwa na athari kubwa kwenye matokeo. Mara nyingi, uenezi mkubwa wa kupotoka єi huzingatiwa na maadili makubwa ya kutofautisha tegemezi (vigezo). Ikiwa data ina hitilafu kubwa, basi, kwa kawaida, kupotoka kwa thamani ya mfano iliyohesabiwa kutoka kwa data yenye makosa pia itakuwa kubwa. Ili kuondokana na kosa hili, tunahitaji kupunguza mchango wa data hii kwa matokeo ya hesabu, kuwapa uzito mdogo kuliko wengine wote. Wazo hili linatekelezwa katika OLS yenye uzito.

Ukadiriaji wa data ya majaribio ni njia inayotokana na kubadilisha data iliyopatikana kwa majaribio na chaguo la kukokotoa la uchanganuzi ambalo hupita au sanjari katika sehemu kuu na maadili asili (data iliyopatikana wakati wa jaribio au jaribio). Hivi sasa, kuna njia mbili za kufafanua kazi ya uchambuzi:

Kwa kuunda ukalimani wa n-degree polynomial ambayo hupita moja kwa moja kupitia pointi zote safu fulani ya data. Katika kesi hii, kazi ya kukadiria inawasilishwa kwa njia ya: polynomial ya ukalimani katika fomu ya Lagrange au polynomial ya ukalimani katika fomu ya Newton.

Kwa kuunda n-degree kukadiria polynomial ambayo hupita katika maeneo ya karibu ya pointi kutoka kwa safu fulani ya data. Kwa hivyo, utendakazi wa kukadiria hulainisha kelele zote nasibu (au hitilafu) zinazoweza kutokea wakati wa jaribio: thamani zilizopimwa wakati wa jaribio hutegemea vipengele vya nasibu ambavyo hubadilika kulingana na sheria zao wenyewe (hitilafu za kipimo au chombo, usahihi au majaribio. makosa). Katika kesi hii, kazi ya kukadiria imedhamiriwa kwa kutumia njia ya angalau mraba.

Njia ya angalau mraba(katika fasihi ya Kiingereza Ordinary Least Squares, OLS) ni mbinu ya hisabati kulingana na kubainisha kipengele cha kukadiria ambacho kimeundwa kwa ukaribu wa pointi kutoka kwa safu fulani ya data ya majaribio. Kukaribiana kwa chaguo za kukokotoa asili na kukadiria F(x) hubainishwa kwa kipimo cha nambari, yaani: jumla ya mikengeuko ya mraba ya data ya majaribio kutoka kwa mkunjo unaokaribia F(x) inapaswa kuwa ndogo zaidi.

Ukadiriaji wa mkunjo ulioundwa kwa kutumia mbinu ya angalau miraba

Njia ya angalau mraba hutumiwa:

Kutatua mifumo iliyoamuliwa zaidi ya milinganyo wakati idadi ya milinganyo inazidi idadi ya zisizojulikana;

Ili kupata suluhisho katika kesi ya mifumo ya kawaida (sio ya kupita kiasi) isiyo ya mstari ya equations;

Ili kukadiria thamani za nukta na utendakazi fulani wa kukadiria.

Ukadiriaji wa chaguo za kukokotoa kwa kutumia mbinu ya miraba ndogo zaidi hubainishwa kutokana na hali ya jumla ya kima cha chini cha mikengeuko ya mraba ya chaguo za kukokotoa za kukadiria kutoka kwa safu fulani ya data ya majaribio. Kigezo hiki cha mbinu ya angalau miraba kimeandikwa kama usemi ufuatao:

Thamani za kazi ya kukadiria iliyohesabiwa kwenye sehemu za nodi,

Mkusanyiko fulani wa data ya majaribio katika sehemu za nodi.

Kigezo cha quadratic kina idadi ya sifa "nzuri", kama vile kutofautisha, kutoa suluhu ya kipekee kwa tatizo la kukadiria na vitendaji vya kukadiria vya polinomia.

Kulingana na hali ya shida, kazi inayokaribia ni polynomial ya digrii m

Kiwango cha kipengele cha kukokotoa cha kukadiria hakitegemei idadi ya nukta nodi, lakini kipimo chake lazima kiwe chini ya kipimo (idadi ya pointi) ya safu fulani ya data ya majaribio.

∙ Ikiwa kiwango cha kazi inayokaribia ni m = 1, basi tunakadiria kazi ya tabular na mstari wa moja kwa moja (regression ya mstari).

∙ Ikiwa kiwango cha kitendakazi kinachokaribia ni m=2, basi tunakadiria utendaji wa jedwali na parabola ya quadratic (ukadirio wa quadratic).

∙ Ikiwa kiwango cha kazi inayokaribia ni m = 3, basi tunakadiria kazi ya meza na parabola ya cubic (ukadirio wa cubic).

Katika hali ya jumla, inapohitajika kuunda takriban polynomial ya digrii m kwa maadili yaliyotolewa ya jedwali, sharti la kiwango cha chini cha jumla ya mikengeuko ya mraba juu ya nukta zote za nodi huandikwa upya katika fomu ifuatayo:

- coefficients haijulikani ya takriban polynomial ya shahada m;

Idadi ya maadili ya jedwali iliyobainishwa.

Sharti la lazima kwa kuwepo kwa kiwango cha chini cha chaguo za kukokotoa ni usawa hadi sufuri wa viasili vyake vya sehemu kuhusiana na vigeu visivyojulikana. . Kama matokeo, tunapata mfumo ufuatao wa equations:

Wacha tubadilishe mfumo unaotokana wa milinganyo: fungua mabano na uhamishe masharti ya bure kwa upande wa kulia wa usemi. Kama matokeo, mfumo unaotokana wa maneno ya algebraic ya mstari utaandikwa kwa fomu ifuatayo:

Mfumo huu wa usemi wa aljebra unaofanana unaweza kuandikwa upya katika umbo la matrix:

Kama matokeo, mfumo wa milinganyo ya mstari wa mwelekeo wa m+1 ulipatikana, ambayo inajumuisha m+1 haijulikani. Mfumo huu unaweza kutatuliwa kwa kutumia mbinu yoyote ya kutatua milinganyo ya aljebra ya mstari (kwa mfano, mbinu ya Gaussian). Kama matokeo ya suluhisho, vigezo visivyojulikana vya kazi inayokaribia itapatikana ambayo hutoa jumla ya kiwango cha chini cha kupotoka kwa mraba wa kazi inayokaribia kutoka kwa data ya asili, i.e. ukadiriaji bora zaidi wa quadratic. Inapaswa kukumbuka kwamba ikiwa hata thamani moja ya data ya chanzo inabadilika, coefficients zote zitabadilisha maadili yao, kwa kuwa zimedhamiriwa kabisa na data ya chanzo.

Ukadiriaji wa data chanzo kwa utegemezi wa mstari

(rejeshi la mstari)

Kama mfano, hebu tuchunguze mbinu ya kuamua kazi inayokaribia, ambayo imeainishwa katika mfumo wa utegemezi wa mstari. Kwa mujibu wa mbinu ya angalau mraba, hali ya kima cha chini cha jumla ya kupotoka kwa mraba imeandikwa katika fomu ifuatayo:

Kuratibu za nodes za meza;

Coefficients zisizojulikana za chaguo za kukokotoa za kukadiria, ambazo zimebainishwa kama tegemezi la mstari.

Hali ya lazima kwa kuwepo kwa kiwango cha chini cha chaguo za kukokotoa ni usawa hadi sufuri wa viasili vyake vya sehemu kuhusiana na vigeu visivyojulikana. Kama matokeo, tunapata mfumo ufuatao wa equations:

Wacha tubadilishe mfumo unaotokana wa milinganyo.

Tunatatua mfumo unaotokana wa milinganyo ya mstari. Viwango vya kukokotoa vya kukadiria vya kukokotoa katika fomu ya uchanganuzi hubainishwa kama ifuatavyo (mbinu ya Cramer):

Vigawo hivi vinahakikisha ujenzi wa kitendakazi cha kukadiria kwa mstari kwa mujibu wa kigezo cha kupunguza jumla ya miraba ya ukadiriaji wa chaguo za kukokotoa kutoka kwa thamani zilizotolewa za jedwali (data ya majaribio).

Algorithm ya kutekeleza mbinu ya angalau miraba

1. Data ya awali:

Mkusanyiko wa data ya majaribio yenye idadi ya vipimo N imebainishwa

Kiwango cha takriban polinomia (m) kimebainishwa

2. Algorithm ya kuhesabu:

2.1. Coefficients imedhamiriwa kwa ajili ya kujenga mfumo wa equations na vipimo

Coefficients ya mfumo wa milinganyo (upande wa kushoto wa equation)

- index ya nambari ya safu ya matrix ya mraba ya mfumo wa equations

Masharti ya bure ya mfumo wa milinganyo ya mstari (upande wa kulia wa equation)

- index ya nambari ya safu ya matrix ya mraba ya mfumo wa equations

2.2. Uundaji wa mfumo wa milinganyo ya mstari yenye mwelekeo.

2.3. Kutatua mfumo wa milinganyo ya mstari ili kubaini hesabu zisizojulikana za takriban polinomia ya digrii m.

2.4 Uamuzi wa jumla ya mikengeuko ya mraba ya polinomia inayokaribia kutoka kwa maadili asili katika sehemu zote za nodi.

Thamani iliyopatikana ya jumla ya mikengeuko ya mraba ndiyo ya chini iwezekanavyo.

Ukadiriaji kwa kutumia vitendaji vingine

Ikumbukwe kwamba wakati wa kukadiria data asili kwa mujibu wa mbinu ya angalau miraba, kitendakazi cha logarithmic, kitendakazi cha kielelezo na kitendakazi cha nguvu wakati mwingine hutumiwa kama kitendakazi cha kukadiria.

Ukadiriaji wa logarithmic

Wacha tuzingatie kesi wakati kazi ya kukadiria inatolewa na kazi ya logarithmic ya fomu:

Baada ya kusawazisha, tunapata kazi ya fomu ifuatayo: g (x) = x + 1 3 + 1 .

Tunaweza kukadiria data hii kwa kutumia uhusiano wa mstari y = a x + b kwa kuhesabu vigezo vinavyolingana. Ili kufanya hivyo, tutahitaji kutumia njia inayoitwa angalau mraba. Pia utahitaji kutengeneza mchoro ili kuangalia ni mstari upi utakaosawazisha data ya majaribio vyema.

Yandex.RTB R-A-339285-1

OLS ni nini (njia ya angalau mraba)

Jambo kuu tunalohitaji kufanya ni kupata mgawo kama huo wa utegemezi wa mstari ambao thamani ya kazi ya vigezo viwili F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 itakuwa ndogo zaidi. Kwa maneno mengine, kwa maadili fulani ya a na b, jumla ya upungufu wa mraba wa data iliyowasilishwa kutoka kwa mstari wa moja kwa moja unaosababishwa utakuwa na thamani ya chini. Hii ndiyo maana ya mbinu ya angalau miraba. Tunachohitaji kufanya ili kutatua mfano ni kupata upeo wa kazi ya vigezo viwili.

Jinsi ya kupata fomula za kuhesabu coefficients

Ili kupata fomula za kuhesabu coefficients, unahitaji kuunda na kutatua mfumo wa equations na vigezo viwili. Ili kufanya hivyo, tunahesabu derivatives ya sehemu ya usemi F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 kwa heshima na a na b na kuzilinganisha na 0.

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n ay ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

Ili kutatua mfumo wa equations, unaweza kutumia njia yoyote, kwa mfano, mbadala au njia ya Cramer. Kwa hivyo, tunapaswa kuwa na fomula zinazoweza kutumiwa kukokotoa vigawo kwa kutumia mbinu ya angalau miraba.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n

Tumekokotoa thamani za viambajengo ambamo chaguo la kukokotoa
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 itachukua thamani ya chini. Katika aya ya tatu tutathibitisha kwa nini iko hivi hasa.

Huu ni utumiaji wa njia ya miraba ndogo katika mazoezi. Fomula yake, ambayo hutumika kupata kigezo a, inajumuisha ∑ i = 1 n x i, ∑ i = 1 n y i, ∑ i = 1 n x i y i, ∑ i = 1 n x i 2, pamoja na parameta.
n - inaashiria kiasi cha data ya majaribio. Tunakushauri kuhesabu kila kiasi tofauti. Thamani ya mgawo b huhesabiwa mara baada ya a.

Hebu turudi kwenye mfano wa awali.

Mfano 1

Hapa tuna n sawa na tano. Ili iwe rahisi zaidi kuhesabu kiasi kinachohitajika kilichojumuishwa katika fomula za mgawo, hebu tujaze meza.

	mimi = 1	i=2	i=3	i=4	i=5	∑ i = 1 5
Xi	0	1	2	4	5	12
y i	2 , 1	2 , 4	2 , 6	2 , 8	3	12 , 9
x i y i	0	2 , 4	5 , 2	11 , 2	15	33 , 8
x mimi 2	0	1	4	16	25	46

Suluhisho

Safu ya nne ni pamoja na data iliyopatikana kwa kuzidisha maadili kutoka safu ya pili na maadili ya tatu kwa kila mtu i. Mstari wa tano una data kutoka kwa pili, mraba. Safu wima ya mwisho inaonyesha jumla ya maadili ya safu mlalo mahususi.

Wacha tutumie njia ya miraba ndogo zaidi kukokotoa mgawo a na b tunayohitaji. Ili kufanya hivyo, badilisha maadili yanayotakiwa kutoka kwa safu ya mwisho na uhesabu kiasi:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n ⇒ 3, 8 5 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

Inabadilika kuwa mstari wa moja kwa moja unaokaribia unaohitajika utaonekana kama y = 0, 165 x + 2, 184. Sasa tunahitaji kuamua ni mstari gani utakaokadiria data vizuri zaidi - g (x) = x + 1 3 + 1 au 0, 165 x + 2, 184. Wacha tukadirie kwa kutumia njia ya miraba kidogo zaidi.

Ili kuhesabu kosa, tunahitaji kupata jumla ya kupotoka kwa mraba wa data kutoka kwa mistari ya moja kwa moja σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 na σ 2 = ∑ i = 1 n (y i) - g (x i)) 2, thamani ya chini itafanana na mstari unaofaa zaidi.

σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0, 165 x i + 2, 184)) 2 ≈ 0, 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0.096

Jibu: tangu σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0.165 x + 2.184.

Njia ya miraba ndogo inaonyeshwa wazi katika mchoro wa picha. Mstari mwekundu unaashiria mstari wa moja kwa moja g (x) = x + 1 3 + 1, mstari wa bluu alama y = 0, 165 x + 2, 184. Data ya awali inaonyeshwa na dots pink.

Hebu tueleze ni kwa nini hasa makadirio ya aina hii yanahitajika.

Zinaweza kutumika katika kazi zinazohitaji kulainisha data, na vile vile katika zile ambapo data lazima iingizwe au kuongezwa. Kwa mfano, katika tatizo lililojadiliwa hapo juu, mtu anaweza kupata thamani ya kiasi kinachozingatiwa y kwa x = 3 au kwa x = 6. Tumetoa nakala tofauti kwa mifano kama hii.

Uthibitisho wa njia ya OLS

Ili kazi kuchukua thamani ya chini wakati a na b zinahesabiwa, ni muhimu kwamba katika hatua fulani matrix ya fomu ya quadratic ya tofauti ya kazi ya fomu F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 ni chanya uhakika. Hebu tuonyeshe jinsi inapaswa kuonekana.

Mfano 2

Tuna tofauti ya mpangilio wa pili wa fomu ifuatayo:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2 b

Suluhisho

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a; b) δ a δ b = δ δ F (a; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n

Kwa maneno mengine, tunaweza kuiandika hivi: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b.

Tulipata matrix ya fomu ya quadratic M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n.

Katika kesi hii, maadili ya vitu vya mtu binafsi hayatabadilika kulingana na a na b . Je! tumbo hili ni chanya? Ili kujibu swali hili, hebu tuangalie ikiwa watoto wake wa angular ni chanya.

Tunahesabu ndogo ya angular ya utaratibu wa kwanza: 2 ∑ i = 1 n (x i) 2 > 0. Kwa kuwa pointi x silingani, ukosefu wa usawa ni mkali. Tutazingatia hili katika mahesabu zaidi.

Tunahesabu agizo la pili la angular:

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

Baada ya hayo, tunaendelea kuthibitisha ukosefu wa usawa n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 kwa kutumia uingizaji wa hisabati.

Wacha tuangalie ikiwa ukosefu huu wa usawa ni halali kwa n kiholela. Wacha tuchukue 2 na tuhesabu:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Tumepata usawa sahihi (ikiwa thamani x 1 na x 2 hazilingani).

Hebu tufanye dhana kwamba usawa huu utakuwa wa kweli kwa n, i.e. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 - kweli.
Sasa tutathibitisha uhalali wa n + 1, i.e. kwamba (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0, ikiwa n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .

Tunahesabu:

(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + + (x n + 1 - x 1) 2 + (x n + 1) - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Usemi ulioambatanishwa katika viunga vya curly utakuwa mkubwa kuliko 0 (kulingana na kile tulichofikiri katika hatua ya 2), na maneno yaliyobaki yatakuwa makubwa kuliko 0, kwa kuwa yote ni miraba ya nambari. Tumethibitisha ukosefu wa usawa.

Jibu: kupatikana a na b italingana na thamani ndogo zaidi ya kazi F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, ambayo ina maana kwamba ni vigezo vinavyohitajika vya mbinu ya angalau mraba. (LSM).

Ukiona hitilafu katika maandishi, tafadhali yaangazie na ubonyeze Ctrl+Enter

Mbinu ya Kawaida ya Mraba Mdogo (OLS).- njia ya hisabati inayotumiwa kutatua matatizo mbalimbali, kwa kuzingatia kupunguza jumla ya kupotoka kwa mraba wa kazi fulani kutoka kwa vigezo vinavyohitajika. Inaweza kutumika "kusuluhisha" mifumo iliyoamuliwa zaidi ya equations (wakati idadi ya equations inazidi idadi ya haijulikani), kupata suluhisho katika kesi ya mifumo ya kawaida (isiyo ya kupita kiasi) isiyo ya mstari ya equations, kwa takriban maadili ya pointi za baadhi. kazi. OLS ni mojawapo ya mbinu za msingi za uchanganuzi wa urejeleaji kwa kukadiria vigezo visivyojulikana vya mifano ya urejeshi kutoka kwa data ya sampuli.

Encyclopedic YouTube

1 / 5

✪ Mbinu ya angalau miraba. Somo

✪ Mitin I.V. - Usindikaji wa matokeo ya kimwili. jaribio - Mbinu ya angalau mraba (Mhadhara wa 4)

✪ Mbinu ya angalau mraba, somo la 1/2. Utendakazi wa mstari

✪ Uchumi. Hotuba ya 5. Mbinu ya angalau miraba

✪ Mbinu ya angalau miraba. Majibu

Manukuu

Hadithi

Hadi mwanzoni mwa karne ya 19. wanasayansi hawakuwa na sheria fulani za kutatua mfumo wa equations ambayo idadi ya haijulikani ni chini ya idadi ya equations; Hadi wakati huo, mbinu za kibinafsi zilitumiwa ambazo zilitegemea aina ya equations na juu ya akili ya calculator, na kwa hiyo calculator tofauti, kulingana na data sawa ya uchunguzi, walikuja kwa hitimisho tofauti. Gauss (1795) alikuwa wa kwanza kutumia njia hiyo, na Legendre (1805) aliigundua kwa uhuru na kuichapisha chini ya jina lake la kisasa (Kifaransa. Méthode des moindres quarrés). Laplace aliunganisha mbinu hiyo na nadharia ya uwezekano, na mwanahisabati wa Marekani Adrain (1808) alizingatia matumizi yake ya uwezekano wa kinadharia. Njia hiyo ilienea na kuboreshwa na utafiti zaidi wa Encke, Bessel, Hansen na wengine.

Kiini cha mbinu ya angalau miraba

Hebu x (\mtindo wa kuonyesha x)- kit n (\mtindo wa kuonyesha n) vigezo visivyojulikana (vigezo), f i (x) (\mtindo wa maonyesho f_(i)(x)), , m > n (\mtindo wa kuonyesha m>n)- seti ya kazi kutoka kwa seti hii ya vigezo. Kazi ni kuchagua maadili kama haya x (\mtindo wa kuonyesha x), ili maadili ya kazi hizi ziwe karibu iwezekanavyo kwa maadili fulani y i (\mtindo wa kuonyesha y_(i)). Kimsingi tunazungumza juu ya "suluhisho" la mfumo uliowekwa wazi wa milinganyo f i (x) = y i (\mtindo wa maonyesho f_(i)(x)=y_(i)), i = 1 , ... , m (\displaystyle i=1,\ldets ,m) kwa maana iliyoonyeshwa ya ukaribu wa juu wa sehemu za kushoto na za kulia za mfumo. Kiini cha mbinu ya angalau miraba ni kuchagua kama "kipimo cha ukaribu" jumla ya mikengeuko ya mraba ya pande za kushoto na kulia. | f i (x) − y i | (\mtindo wa maonyesho |f_(i)(x)-y_(i)|). Kwa hivyo, kiini cha MNC kinaweza kuonyeshwa kama ifuatavyo:

∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\mtindo wa maonyesho \jumla _(i)e_(i)^(2)=\jumla _(i)(y_(i)-f_( i)(x))^(2)\mshale wa kulia \min _(x)).

Ikiwa mfumo wa equations una suluhisho, basi kiwango cha chini cha jumla ya mraba kitakuwa sawa na sifuri na ufumbuzi halisi wa mfumo wa equations unaweza kupatikana kwa uchambuzi au, kwa mfano, kwa kutumia mbinu mbalimbali za uboreshaji wa nambari. Ikiwa mfumo umedhamiriwa kupita kiasi, ambayo ni kusema kwa uhuru, idadi ya milinganyo huru ni kubwa kuliko idadi ya vigeu vinavyohitajika, basi mfumo hauna suluhisho kamili na njia ndogo ya mraba inaruhusu sisi kupata vekta "bora". x (\mtindo wa kuonyesha x) kwa maana ya ukaribu wa juu wa vekta y (\mtindo wa kuonyesha y) Na f (x) (\mtindo wa maonyesho f(x)) au ukaribu wa juu zaidi wa vekta ya kupotoka e (\mtindo wa maonyesho e) hadi sifuri (ukaribu unaeleweka kwa maana ya umbali wa Euclidean).

Mfano - mfumo wa milinganyo ya mstari

Hasa, njia ya angalau mraba inaweza kutumika "kutatua" mfumo wa equations linear

A x = b (\mtindo wa kuonyesha Ax=b),

Wapi A (\mtindo wa kuonyesha A) tumbo la ukubwa wa mstatili m × n , m > n (\displaystyle m\times n,m>n)(yaani, idadi ya safu za matrix A ni kubwa kuliko idadi ya vigeu vinavyotafutwa).

Kwa ujumla, mfumo kama huo wa equations hauna suluhisho. Kwa hiyo, mfumo huu unaweza "kutatuliwa" tu kwa maana ya kuchagua vector vile x (\mtindo wa kuonyesha x) kupunguza "umbali" kati ya vekta A x (\mtindo wa kuonyesha Ax) Na b (\mtindo wa maonyesho b). Ili kufanya hivyo, unaweza kutumia kigezo cha kupunguza jumla ya miraba ya tofauti kati ya pande za kushoto na kulia za milinganyo ya mfumo, ambayo ni. (A x − b) T (A x − b) → dakika (\mtindo wa kuonyesha (Ax-b)^(T)(Ax-b)\mshale wa kulia \min). Ni rahisi kuonyesha kwamba kutatua tatizo hili la kupunguza husababisha kutatua mfumo wafuatayo wa equations

A T A x = A T b ⇒ x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Rightarrow x=(A^(T)A)^(-1)A^ (T)b).

OLS katika uchanganuzi wa rejista (ukadirio wa data)

Hebu iwepo n (\mtindo wa kuonyesha n) maadili ya baadhi ya kutofautiana y (\mtindo wa kuonyesha y)(hii inaweza kuwa matokeo ya uchunguzi, majaribio, nk) na vigezo vinavyohusiana x (\mtindo wa kuonyesha x). Changamoto ni kuhakikisha kuwa uhusiano kati ya y (\mtindo wa kuonyesha y) Na x (\mtindo wa kuonyesha x) takriban na baadhi ya chaguo za kukokotoa zinazojulikana ndani ya baadhi ya vigezo visivyojulikana b (\mtindo wa maonyesho b), ambayo ni, kwa kweli pata maadili bora ya vigezo b (\mtindo wa maonyesho b), kwa kukadiria thamani kwa kiwango cha juu zaidi f (x , b) (\mtindo wa maonyesho f(x,b)) kwa maadili halisi y (\mtindo wa kuonyesha y). Kwa kweli, hii inakuja kwa kesi ya "kutatua" mfumo wa equations uliopangwa zaidi kwa heshima na b (\mtindo wa maonyesho b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldets ,n).

Katika uchanganuzi wa urejeshi na hasa katika uchumi, mifano ya uwezekano wa utegemezi kati ya vigezo hutumiwa

Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

Wapi ε t (\displaystyle \varepsilon _(t))- inaitwa hivyo makosa ya nasibu mifano.

Ipasavyo, kupotoka kwa maadili yaliyozingatiwa y (\mtindo wa kuonyesha y) kutoka kwa mfano f (x , b) (\mtindo wa maonyesho f(x,b)) tayari kudhaniwa katika mfano yenyewe. Kiini cha njia ya angalau mraba (kawaida, classical) ni kupata vigezo vile b (\mtindo wa maonyesho b), ambapo jumla ya mikengeuko ya mraba (makosa, kwa mifano ya rejista mara nyingi huitwa mabaki ya rejista) e t (\mtindo wa kuonyesha e_(t)) itakuwa ndogo:

b ^ O L S = arg ⁡ min b R S S (b) (\mtindo wa kuonyesha (\kofia (b))_(OLS)=\arg \min _(b)RSS(b)),

Wapi R S S (\mtindo wa kuonyesha RSS)- Kiingereza Jumla ya Mabaki ya Mraba inafafanuliwa kama:

R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\jumla _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

Katika hali ya jumla, shida hii inaweza kutatuliwa kwa njia za uboreshaji wa nambari (kupunguza). Katika kesi hii, wanazungumza miraba isiyo ya mstari isiyo na mstari(NLS au NLLS - Kiingereza Non-Linear Angalau Mraba). Katika hali nyingi inawezekana kupata suluhisho la uchambuzi. Ili kutatua tatizo la kupunguza, ni muhimu kupata pointi za stationary za kazi R S S (b) (\mtindo wa kuonyesha RSS(b)), kutofautisha kulingana na vigezo visivyojulikana b (\mtindo wa maonyesho b), kusawazisha derivatives kwa sifuri na kutatua mfumo unaotokana wa milinganyo:

∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_) (t),b))(\frac (\sehemu f(x_(t),b))(\sehemu b))=0).

OLS katika kesi ya urejeshaji wa mstari

Wacha utegemezi wa rejista uwe wa mstari:

y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).

Hebu y ni vekta ya safu wima ya uchunguzi wa utofauti unaoelezewa, na X (\mtindo wa kuonyesha X)-Hii (n × k) (\mtindo wa kuonyesha ((n\times k)))-matrix ya uchunguzi wa sababu (safu za matrix ni vekta za maadili ya sababu katika uchunguzi fulani, safu ni vekta ya maadili ya jambo fulani katika uchunguzi wote). Uwakilishi wa matrix ya mfano wa mstari una fomu:

y = X b + ε (\displaystyle y=Xb+\varepsilon).

Halafu vekta ya makadirio ya utofauti ulioelezewa na vekta ya mabaki ya rejista itakuwa sawa.

y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\kofia (y))=Xb,\quad e=y-(\kofia (y))=y-Xb).

Ipasavyo, jumla ya miraba ya mabaki ya rejista itakuwa sawa na

R S S = e T e = (y − X b) T (y − X b) (\mtindo wa kuonyesha RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

Kutofautisha kazi hii kwa heshima na vekta ya vigezo b (\mtindo wa maonyesho b) na kusawazisha derivatives kwa sifuri, tunapata mfumo wa milinganyo (katika mfumo wa matrix):

(X T X) b = X T y (\mtindo wa kuonyesha (X^(T)X)b=X^(T)y).

Katika fomu ya matrix iliyobainishwa, mfumo huu wa equations unaonekana kama hii:

(∑ x t 1 2 ∑ x 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t t 3 ∑ x t 3 k ∑ x t 2 ∑ x t 2 x t 3 x 3 x t 2 ∑ x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 3 b) t k 2) (b 3 b) t k 2) (b 3 b) ∑ x t 2 y t ∑ x t 3 y t ⋮ ∑ x t k y t) , (\displaystyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldets &\jumla x_(t1)x_(tk)\\\jumla x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldets &\ jumla x_(t2)x_(tk)\\\jumla x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldets &\sum x_ (t3)x_(tk)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ldets &\sum x_(tk)^(2)\\\mwisho(pmatrix))(\anza(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_(k)\\\mwisho(pmatrix))=(\anza(pmmatrix)\jumla x_(t1)y_(t)\\\jumla x_(t2)y_(t)\\ \jumla x_(t3)y_(t)\\\vdots \\\jumla x_(tk)y_(t)\\\mwisho(pmmatrix)),) ambapo hesabu zote zinachukuliwa juu ya maadili yote halali t (\mtindo wa kuonyesha t).

Ikiwa mara kwa mara ni pamoja na mfano (kama kawaida), basi x t 1 = 1 (\mtindo wa kuonyesha x_(t1)=1) mbele ya kila mtu t (\mtindo wa kuonyesha t), kwa hiyo, katika kona ya juu kushoto ya tumbo ya mfumo wa equations kuna idadi ya uchunguzi. n (\mtindo wa kuonyesha n), na katika vipengee vilivyobaki vya safu ya kwanza na safu wima ya kwanza - hesabu tu za maadili tofauti: ∑ x t j (\mtindo wa kuonyesha \sum x_(tj)) na kipengele cha kwanza cha upande wa kulia wa mfumo ni ∑ y t (\mtindo wa maonyesho \jumla y_(t)).

Suluhisho la mfumo huu wa equations hutoa fomula ya jumla ya makadirio ya miraba angalau kwa mfano wa mstari:

b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x - 1 C x y (\displaystyle (\kofia (b))_(OLS)=(X^(T) )X)^(-1)X^(T)y=\kushoto((\frac (1)(n))X^(T)X\kulia)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).

Kwa madhumuni ya uchambuzi, uwakilishi wa mwisho wa fomula hii unageuka kuwa muhimu (katika mfumo wa equations wakati wa kugawanya na n, njia za hesabu zinaonekana badala ya hesabu). Ikiwa katika muundo wa rejista data iliyozingatia, basi katika uwakilishi huu matrix ya kwanza ina maana ya sampuli covariance matrix ya mambo, na ya pili ni vekta ya covariances ya mambo na variable tegemezi. Ikiwa kwa kuongeza data ni pia kawaida kwa MSE (hiyo ni, hatimaye sanifu), basi matrix ya kwanza ina maana ya matrix ya uunganisho wa sampuli ya mambo, vekta ya pili - vekta ya uunganisho wa sampuli ya mambo na kutofautisha tegemezi.

Sifa muhimu ya makadirio ya OLS kwa mifano na mara kwa mara- mstari wa urekebishaji uliojengwa hupitia katikati ya mvuto wa data ya sampuli, ambayo ni, usawa umeridhika:

y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\mtindo wa kuonyesha (\bar (y))=(\kofia (b_(1)))+\sum _(j=2)^(k) (\kofia (b))_(j)(\bar (x))_(j)).

Hasa, katika hali mbaya, wakati regressor pekee ni mara kwa mara, tunaona kwamba makadirio ya OLS ya parameter pekee (mara kwa mara yenyewe) ni sawa na thamani ya wastani ya kutofautiana iliyoelezwa. Hiyo ni, maana ya hesabu, inayojulikana kwa mali zake nzuri kutoka kwa sheria za idadi kubwa, pia ni makadirio ya mraba - inakidhi kigezo cha jumla ya upungufu wa mraba kutoka kwake.

Kesi maalum rahisi zaidi

Katika kesi ya urejeshaji wa mstari uliooanishwa y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), wakati utegemezi wa mstari wa tofauti moja kwa nyingine inakadiriwa, fomula za hesabu hurahisishwa (unaweza kufanya bila aljebra ya matrix). Mfumo wa equations una fomu:

(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\mtindo wa kuonyesha (\anza(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\mwisho(pmmatrix))(\anza(pmmatrix)a\\b\\\mwisho(pmmatrix))=(\anza(pmatrix)(\bar (y))\\ (\overline (xy))\\\mwisho(pmmatrix))).

Kuanzia hapa ni rahisi kupata makadirio ya mgawo:

( b ^ = Cov ⁡ (x , y) Var ⁡ (x) = x y ¯ − x ¯ y ¯ 2 ¯ − x ¯ 2 , a ^ = y ¯ − b x ¯ . (\mtindo wa kuonyesha (\anza(kesi) (\kofia (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x))))=(\frac ((\ overline (xy))-(\bar (x))(\bar (y)))((\ overline (x^(2))))-(\overline (x)))^(2))),\\( \kofia (a))=(\bar (y))-b(\bar (x)).\mwisho(kesi)))

Licha ya ukweli kwamba katika kesi ya jumla mifano na mara kwa mara ni vyema, katika baadhi ya kesi inajulikana kutokana na masuala ya kinadharia kwamba mara kwa mara. a (\mtindo wa kuonyesha a) lazima iwe sawa na sifuri. Kwa mfano, katika fizikia uhusiano kati ya voltage na sasa ni U = I ⋅ R (\displaystyle U=I\cdot R); Wakati wa kupima voltage na sasa, ni muhimu kukadiria upinzani. Katika kesi hii, tunazungumza juu ya mfano y = b x (\mtindo wa kuonyesha y=bx). Katika kesi hii, badala ya mfumo wa equations tuna equation moja

(∑ x t 2) b = ∑ x t y t (\mtindo wa kuonyesha \kushoto(\jumla x_(t)^(2)\kulia)b=\jumla x_(t)y_(t)).

Kwa hivyo, fomula ya kukadiria mgawo mmoja ina fomu

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\mtindo wa kuonyesha (\kofia (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2))) ))).

Kesi ya mfano wa polynomial

Ikiwa data inafaa kulingana na chaguo la kukokotoa la polinomia la kigezo kimoja f (x) = b 0 + ∑ i = 1 k b i x i (\mtindo wa maonyesho f(x)=b_(0)+\jumla \vikomo _(i=1)^(k)b_(i)x^(i)), basi, kutambua digrii x i (\mtindo wa kuonyesha x^(i)) kama sababu za kujitegemea kwa kila moja i (\mtindo wa kuonyesha i) inawezekana kukadiria vigezo vya mfano kulingana na fomula ya jumla ya kukadiria vigezo vya mfano wa mstari. Ili kufanya hivyo, inatosha kuzingatia katika formula ya jumla kwamba kwa tafsiri kama hiyo x t i x t j = x t i x t j = x t i + j (\mtindo wa kuonyesha x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) Na x t j y t = x t j y t (\mtindo wa kuonyesha x_(tj)y_(t)=x_(t)^(j)y_(t)). Kwa hivyo, hesabu za matrix katika kesi hii zitachukua fomu:

(n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x i 2 … ∑ m x i k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 … ∑ n ∑ k ∑ b ∑ n 1 b ∑ n 1 b ∑ n 1 b ∑ n 1 b ∑ n ∑ n t ∑ n x t y t ⋮ ∑ n x t k y t ] . (\mtindo wa onyesho (\anza(pmatrix)n&\jumla \vikomo _(n)x_(t)&\ldets &\sum \vikomo _(n)x_(t)^(k)\\\jum \mipaka _( n)x_(t)&\jumla \vikomo _(n)x_(i)^(2)&\ldets &\sum \mipaka _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\jumla \vikomo _(n)x_(t)^(k)&\sum \vikomo _(n)x_(t)^(k+1)&\ldets &\ jumla \vikomo _(n)x_(t)^(2k)\mwisho(pmmatrix))(\anza(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\mwisho( bmatrix))=(\anza(bmatrix)\jumla \mipaka _(n)y_(t)\\\jumla \mipaka _(n)x_(t)y_(t)\\\vdots \\\jumla \mipaka _(n)x_(t)^(k)y_(t)\mwisho(bmatrix)).)

Tabia za takwimu za wakadiriaji wa OLS

Kwanza kabisa, tunaona kuwa kwa mifano ya mstari, makadirio ya OLS ni makadirio ya mstari, kama ifuatavyo kutoka kwa fomula hapo juu. Kwa makadirio ya OLS yasiyo na upendeleo, ni muhimu na ya kutosha kutimiza hali muhimu zaidi ya uchanganuzi wa urejeshaji: matarajio ya hisabati ya hitilafu ya nasibu, yenye masharti ya vipengele, lazima iwe sawa na sifuri. Hali hii, hasa, imeridhika ikiwa

matarajio ya hisabati ya makosa ya nasibu ni sifuri, na
vipengele na makosa ya nasibu ni vigeu vinavyojitegemea sivyo nasibu.

Hali ya pili - hali ya exogeneity ya mambo - ni ya msingi. Ikiwa mali hii haijafikiwa, basi tunaweza kudhani kuwa karibu makadirio yoyote yatakuwa ya kuridhisha sana: hayatakuwa sawa (yaani, hata idadi kubwa ya data hairuhusu kupata makadirio ya hali ya juu katika kesi hii. ) Katika kesi ya classical, dhana yenye nguvu zaidi inafanywa juu ya uamuzi wa mambo, kinyume na hitilafu ya random, ambayo ina maana moja kwa moja kwamba hali ya exogeneity imekutana. Katika hali ya jumla, kwa uwiano wa makadirio, inatosha kukidhi hali ya exogeneity pamoja na muunganisho wa tumbo. V x (\mtindo wa kuonyesha V_(x)) kwa baadhi ya matrix isiyo ya umoja kadiri saizi ya sampuli inavyoongezeka hadi isiyo na mwisho.

Ili, pamoja na uthabiti na kutokuwa na upendeleo, makadirio ya (ya kawaida) miraba ndogo kuwa na ufanisi pia (bora zaidi katika darasa la makadirio yasiyo na upendeleo), sifa za ziada za makosa ya nasibu lazima zitimizwe:

Mawazo haya yanaweza kutengenezwa kwa matrix ya udadisi ya vekta ya makosa bila mpangilio V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).

Mfano wa mstari unaokidhi masharti haya unaitwa classical. Makadirio ya OLS ya urejeleaji wa mstari wa kitamaduni hayana upendeleo, thabiti na makadirio bora zaidi katika darasa la makadirio yote yasiyopendelea upande wowote (katika fasihi ya Kiingereza ufupisho wakati mwingine hutumiwa. BLUU (Kikadiriaji Bora cha Linear kisichopendelea) - makadirio bora ya mstari usio na upendeleo; Katika fasihi ya Kirusi, nadharia ya Gauss-Markov inatajwa mara nyingi). Kama ilivyo rahisi kuonyesha, matrix ya udadisi ya vekta ya makadirio ya mgawo itakuwa sawa na:

V (b ^ O L S) = σ 2 (X T X) − 1 (\mtindo wa kuonyesha V((\kofia (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Ufanisi unamaanisha kuwa matriki hii ya ushirikiano ni "ndogo" (mchanganyiko wowote wa mstari wa coefficients, na hasa coefficients yenyewe, ina tofauti ndogo), yaani, katika darasa la wakadiriaji wa mstari usio na upendeleo, wakadiriaji wa OLS ndio bora zaidi. Vipengele vya diagonal vya matrix hii - tofauti za makadirio ya mgawo - ni vigezo muhimu vya ubora wa makadirio yaliyopatikana. Walakini, haiwezekani kuhesabu matrix ya udadisi kwa sababu tofauti ya makosa ya nasibu haijulikani. Inaweza kuthibitishwa kuwa makadirio yasiyo na upendeleo na thabiti (kwa mfano wa mstari wa kawaida) wa tofauti ya makosa ya nasibu ni idadi:

S 2 = R S S / (n − k) (\mtindo wa kuonyesha s^(2)=RSS/(n-k)).

Tukibadilisha thamani hii katika fomula ya matrix ya ushirikiano, tunapata makadirio ya matrix ya ushirikiano. Makadirio yanayotokana pia hayana upendeleo na thabiti. Ni muhimu pia kwamba makadirio ya tofauti ya makosa (na hivyo tofauti ya coefficients) na makadirio ya vigezo vya mfano ni vigezo huru vya random, ambayo inafanya uwezekano wa kupata takwimu za majaribio kwa ajili ya kupima hypotheses kuhusu coefficients ya mfano.

Ikumbukwe kwamba ikiwa mawazo ya kitamaduni hayajafikiwa, makadirio ya parameta ya OLS sio ya ufanisi zaidi na, wapi. W (\mtindo wa kuonyesha W) ni baadhi ya linganifu chanya uhakika uzito tumbo. Mraba mdogo wa kawaida ni kesi maalum ya mbinu hii, ambapo matrix ya uzito ni sawia na matrix ya utambulisho. Kama inavyojulikana, kwa matrices ya ulinganifu (au waendeshaji) kuna upanuzi W = P T P (\mtindo wa kuonyesha W=P^(T)P). Kwa hivyo, kazi iliyoainishwa inaweza kuwakilishwa kama ifuatavyo e T P T P e = (P e) T P e = e ∗ T e ∗ (\mtindo wa kuonyesha e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), yaani, utendakazi huu unaweza kuwakilishwa kama jumla ya miraba ya baadhi ya "mabaki" yaliyobadilishwa. Kwa hivyo, tunaweza kutofautisha darasa la njia ndogo za mraba - njia za LS (Mraba Mdogo).

Imethibitishwa (nadharia ya Aitken) kwamba kwa modeli ya urejeshaji ya laini ya jumla (ambayo hakuna vikwazo vinavyowekwa kwenye matrix ya udadisi ya makosa ya nasibu), yenye ufanisi zaidi (katika darasa la makadirio ya mstari usio na upendeleo) ni yale yanayoitwa makadirio. Viwanja Vidogo vya jumla vya jumla (GLS - Viwanja Vidogo vya Jumla)- Mbinu ya LS yenye matrix ya uzani sawa na matrix ya udadisi kinyume cha makosa ya nasibu: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).

Inaweza kuonyeshwa kuwa fomula ya makadirio ya GLS ya vigezo vya mfano wa mstari ina fomu

B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\mtindo wa kuonyesha (\kofia (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Matrix ya ushirikiano wa makadirio haya itakuwa sawa na

V (b ^ G L S) = (X T V − 1 X) − 1 (\mtindo wa kuonyesha V((\kofia (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)).

Kwa kweli, kiini cha OLS kiko katika mabadiliko fulani (ya mstari) (P) ya data asilia na matumizi ya OLS ya kawaida kwa data iliyobadilishwa. Madhumuni ya mabadiliko haya ni kwamba kwa data iliyobadilishwa, makosa ya nasibu tayari yanakidhi mawazo ya zamani.

OLS iliyopimwa

Kwa upande wa matrix ya uzani wa mshazari (na kwa hivyo matrix ya udadisi ya makosa ya nasibu), tunayo kinachojulikana kuwa Mraba Mdogo (WLS) yenye uzani. Katika kesi hii, jumla ya uzani wa miraba ya mabaki ya mfano hupunguzwa, ambayo ni kwamba, kila uchunguzi hupokea "uzito" ambao ni sawia na tofauti ya makosa ya nasibu katika uchunguzi huu: e T W e = ∑ t = 1 n e t 2 σ t 2 (\mtindo wa kuonyesha e^(T)Sisi=\jumla _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma_(t)^(2)))). Kwa kweli, data hubadilishwa kwa kupima uchunguzi (kugawanya kwa kiasi sawia na makadirio ya kupotoka kwa kawaida ya makosa ya nasibu), na OLS ya kawaida inatumika kwa data iliyopimwa.

ISBN 978-5-7749-0473-0 .

Uchumi. Kitabu cha maandishi / Ed. Eliseeva I.I. - 2nd ed. - M.: Fedha na Takwimu, 2006. - 576 p. - ISBN 5-279-02786-3.

Alexandrova N.V. Historia ya maneno ya hisabati, dhana, nukuu: kitabu-rejeleo cha kamusi. - Toleo la 3 - M.: LKI, 2008. - 248 p. - ISBN 978-5-382-00839-4. I.V. Mitin, Rusakov V.S. Uchambuzi na usindikaji wa data ya majaribio - toleo la 5 - 24 p.

Mbinu ya angalau mraba (LSM) Viwanja Vidogo vya Kawaida, OLS) -- mbinu ya hisabati inayotumika kutatua matatizo mbalimbali, kwa kuzingatia kupunguza jumla ya mikengeuko ya utendakazi fulani kutoka kwa vigeu vinavyohitajika. Inaweza kutumika "kusuluhisha" mifumo iliyoamuliwa zaidi ya equations (wakati idadi ya equations inazidi idadi ya haijulikani), kupata suluhisho katika kesi ya mifumo ya kawaida (isiyo ya kupita kiasi) isiyo ya mstari ya equations, kwa takriban maadili ya pointi na kazi fulani. OLS ni mojawapo ya mbinu za msingi za uchanganuzi wa urejeleaji kwa kukadiria vigezo visivyojulikana vya mifano ya urejeshi kutoka kwa data ya sampuli.

Kiini cha mbinu ya angalau miraba

Hebu iwe seti ya vigezo visivyojulikana (vigezo), na iwe seti ya kazi kutoka kwa seti hii ya vigezo. Kazi ni kuchagua maadili kama hayo ya x kwamba maadili ya kazi hizi ni karibu iwezekanavyo kwa maadili fulani. Kimsingi, tunazungumza juu ya "suluhisho" la mfumo uliowekwa wazi wa milinganyo kwa maana iliyoonyeshwa ya ukaribu wa juu wa sehemu za kushoto na kulia za mfumo. Kiini cha mbinu ya angalau miraba ni kuchagua kama "kipimo cha ukaribu" jumla ya mikengeuko ya mraba ya pande za kushoto na kulia - . Kwa hivyo, kiini cha MNC kinaweza kuonyeshwa kama ifuatavyo:

Ikiwa mfumo wa equations una suluhisho, basi kiwango cha chini cha jumla ya mraba kitakuwa sawa na sifuri na ufumbuzi halisi wa mfumo wa equations unaweza kupatikana kwa uchambuzi au, kwa mfano, kwa kutumia mbinu mbalimbali za uboreshaji wa nambari. Ikiwa mfumo umedhamiriwa kupita kiasi, ambayo ni kusema kwa uhuru, idadi ya milinganyo huru ni kubwa kuliko idadi ya vigeu vinavyohitajika, basi mfumo hauna suluhisho kamili na njia ndogo ya mraba inaruhusu mtu kupata vekta "bora" ndani. hisia ya ukaribu wa juu zaidi wa vekta na au ukaribu wa juu zaidi wa vekta ya kupotoka hadi sifuri (ukaribu unaoeleweka kwa maana ya umbali wa Euclidean).

Mfano - mfumo wa milinganyo ya mstari

Hasa, njia ya angalau mraba inaweza kutumika "kutatua" mfumo wa equations linear

ambapo matrix sio mraba, lakini saizi ya mstatili (kwa usahihi zaidi, kiwango cha matrix A ni kubwa kuliko idadi ya anuwai inayotafutwa).

Kwa ujumla, mfumo kama huo wa equations hauna suluhisho. Kwa hiyo, mfumo huu unaweza "kutatuliwa" tu kwa maana ya kuchagua vector vile ili kupunguza "umbali" kati ya vectors na. Kwa kufanya hivyo, unaweza kutumia kigezo cha kupunguza jumla ya mraba wa tofauti kati ya pande za kushoto na za kulia za equations za mfumo, yaani. Ni rahisi kuonyesha kwamba kutatua tatizo hili la kupunguza husababisha kutatua mfumo wafuatayo wa equations

Kwa kutumia pseudoinversion operator, suluhisho linaweza kuandikwa upya kama ifuatavyo:

iko wapi matrix ya kinyume cha uwongo.

Tatizo hili pia linaweza "kutatuliwa" kwa kutumia njia inayoitwa mraba yenye uzito mdogo (tazama hapa chini), wakati milinganyo tofauti ya mfumo inapokea uzani tofauti kwa sababu za kinadharia.

Uhalali mkali na uanzishwaji wa mipaka ya utumiaji mkubwa wa njia hiyo ulitolewa na A. A. Markov na A. N. Kolmogorov.

OLS katika uchanganuzi wa rejista (ukadirio wa data)[hariri | hariri maandishi ya wiki] Acha kuwe na maadili ya kutofautisha (hii inaweza kuwa matokeo ya uchunguzi, majaribio, n.k.) na vigeu vinavyolingana. Kazi ni kukadiria uhusiano kati na kwa kazi fulani inayojulikana ndani ya vigezo visivyojulikana, ambayo ni, kupata maadili bora zaidi ya parameta ambayo huleta maadili karibu iwezekanavyo kwa maadili halisi. Kwa kweli, hii inakuja kwa kesi ya "kusuluhisha" mfumo uliodhamiriwa wa milinganyo kwa heshima na:

Katika uchanganuzi wa urejeshi na hasa katika uchumi, mifano ya uwezekano wa utegemezi kati ya vigezo hutumiwa

ziko wapi zinazoitwa makosa ya nasibu ya mfano.

Ipasavyo, kupotoka kwa maadili yaliyozingatiwa kutoka kwa zile za mfano huchukuliwa katika mfano yenyewe. Kiini cha njia ndogo ya mraba (ya kawaida, ya kitambo) ni kupata vigezo kama ambavyo jumla ya kupotoka kwa mraba (makosa, kwa mifano ya rejista mara nyingi huitwa mabaki ya kumbukumbu) itakuwa ndogo:

wapi - Kiingereza Jumla ya Mabaki ya Mraba inafafanuliwa kama:

Katika hali ya jumla, shida hii inaweza kutatuliwa kwa njia za uboreshaji wa nambari (kupunguza). Katika kesi hii, wanazungumza juu ya miraba isiyo ya mstari (NLS au NLLS - Viwanja Visivyo vya Linear Angalau). Katika hali nyingi inawezekana kupata suluhisho la uchambuzi. Ili kutatua tatizo la kupunguza, ni muhimu kupata pointi za stationary za kazi kwa kutofautisha kwa heshima na vigezo visivyojulikana, kusawazisha derivatives kwa sifuri na kutatua mfumo unaosababishwa wa equations:

OLS katika kesi ya urejeshaji wa mstari[hariri | hariri maandishi ya wiki]

Wacha utegemezi wa rejista uwe wa mstari:

Wacha iwe vekta ya safu ya uchunguzi wa utofauti ulioelezewa, na iwe matrix ya uchunguzi wa sababu (safu za matrix ni vekta za maadili ya sababu katika uchunguzi fulani, na safu wima ni vekta ya maadili. ya sababu fulani katika uchunguzi wote). Uwakilishi wa matrix ya mfano wa mstari ni:

Halafu vekta ya makadirio ya utofauti ulioelezewa na vekta ya mabaki ya rejista itakuwa sawa.

Ipasavyo, jumla ya miraba ya mabaki ya rejista itakuwa sawa na

Kutofautisha kazi hii kwa heshima na vekta ya vigezo na kusawazisha derivatives kwa sifuri, tunapata mfumo wa equations (katika fomu ya tumbo):

Katika fomu ya matrix iliyobainishwa, mfumo huu wa equations unaonekana kama hii:

ambapo hesabu zote zinachukuliwa juu ya maadili yote halali.

Ikiwa mara kwa mara imejumuishwa katika mfano (kama kawaida), basi kwa wote, kwa hiyo katika kona ya juu kushoto ya tumbo ya mfumo wa equations kuna idadi ya uchunguzi, na katika vipengele vilivyobaki vya safu ya kwanza na safu ya kwanza. kuna tu jumla ya maadili ya vigezo: na kipengele cha kwanza cha upande wa kulia wa mfumo ni .

Suluhisho la mfumo huu wa equations hutoa fomula ya jumla ya makadirio ya miraba angalau kwa mfano wa mstari:

Kwa madhumuni ya uchambuzi, uwakilishi wa mwisho wa fomula hii unageuka kuwa muhimu (katika mfumo wa equations wakati wa kugawanya na n, njia za hesabu zinaonekana badala ya hesabu). Ikiwa katika modeli ya urejeshi data imejikita, basi katika uwakilishi huu matrix ya kwanza ina maana ya sampuli ya matrix ya covariance ya mambo, na ya pili ni vekta ya covariances ya mambo na kutofautisha tegemezi. Ikiwa, kwa kuongeza, data pia imerekebishwa kwa kupotoka kwa kawaida (hiyo ni, mwishowe kusawazishwa), basi matrix ya kwanza ina maana ya sampuli ya uunganisho wa matrix ya mambo, vekta ya pili - vekta ya uunganisho wa sampuli ya mambo na tegemezi. kutofautiana.

Sifa muhimu ya makadirio ya OLS kwa mifano iliyo na muundo wa kudumu ni kwamba laini ya rejista iliyojengwa inapita katikati ya mvuto wa data ya sampuli, ambayo ni, usawa unashikilia:

Kesi maalum rahisi zaidi[hariri | hariri maandishi ya wiki]

Katika kesi ya urejeshaji wa mstari uliooanishwa, wakati utegemezi wa mstari wa kutofautisha moja kwa mwingine unakadiriwa, fomula za hesabu hurahisishwa (unaweza kufanya bila aljebra ya matrix). Mfumo wa equations una fomu:

Kuanzia hapa ni rahisi kupata makadirio ya mgawo:

Ingawa kwa jumla mifano iliyo na mara kwa mara ni bora, katika hali zingine inajulikana kutoka kwa mazingatio ya kinadharia kwamba mara kwa mara inapaswa kuwa sawa na sifuri. Kwa mfano, katika fizikia uhusiano kati ya voltage na sasa ni; Wakati wa kupima voltage na sasa, ni muhimu kukadiria upinzani. Katika kesi hii, tunazungumza juu ya mfano. Katika kesi hii, badala ya mfumo wa equations tuna equation moja

Kwa hivyo, fomula ya kukadiria mgawo mmoja ina fomu

Tabia za takwimu za makadirio ya OLS[hariri | hariri maandishi ya wiki]

Hali ya kwanza inaweza kuzingatiwa kuwa imeridhika kila wakati kwa mifano iliyo na mara kwa mara, kwani mara kwa mara inachukua matarajio yasiyo ya sifuri ya kihesabu ya makosa (kwa hiyo, mifano iliyo na mara kwa mara kwa ujumla inapendekezwa). ujanibishaji mdogo wa rejista ya mraba

Hali ya pili - hali ya exogeneity ya mambo - ni ya msingi. Ikiwa mali hii haijafikiwa, basi tunaweza kudhani kuwa karibu makadirio yoyote yatakuwa ya kuridhisha sana: hayatakuwa sawa (yaani, hata idadi kubwa ya data hairuhusu kupata makadirio ya hali ya juu katika kesi hii. ) Katika kesi ya classical, dhana yenye nguvu zaidi inafanywa juu ya uamuzi wa mambo, kinyume na hitilafu ya random, ambayo ina maana moja kwa moja kwamba hali ya exogeneity imekutana. Katika hali ya jumla, kwa uwiano wa makadirio, inatosha kukidhi hali ya exogeneity pamoja na muunganiko wa tumbo hadi baadhi ya matrix isiyo ya umoja kadiri saizi ya sampuli inavyoongezeka hadi infinity.

Ili, pamoja na uthabiti na kutokuwa na upendeleo, makadirio ya (ya kawaida) LSM pia yawe na ufanisi (bora zaidi katika darasa la makadirio yasiyo na upendeleo), sifa za ziada za makosa ya nasibu lazima zitimizwe:

Tofauti za mara kwa mara (sawa) za makosa ya nasibu katika uchunguzi wote (hakuna heteroskedasticity):

Ukosefu wa uwiano (autocorrelation) ya makosa ya nasibu katika uchunguzi tofauti na kila mmoja

Mawazo haya yanaweza kutengenezwa kwa matrix ya udadisi ya vekta ya makosa bila mpangilio

Mfano wa mstari unaokidhi masharti haya unaitwa classical. Makadirio ya OLS ya urejeshaji wa mstari wa kitamaduni hayana upendeleo, thabiti na makadirio bora zaidi katika darasa la makadirio yote yasiyoegemea ya mstari (katika fasihi ya Kiingereza ufupisho wa BLUE (Best Linear Unbiased Estimator) wakati mwingine hutumiwa - makadirio bora zaidi ya mstari yasiyopendelea; katika lugha ya nyumbani. fasihi nadharia ya Gauss mara nyingi hupewa - Markov). Kama ilivyo rahisi kuonyesha, matrix ya udadisi ya vekta ya makadirio ya mgawo itakuwa sawa na:

Ufanisi unamaanisha kuwa matriki hii ya ushirikiano ni "ndogo" (mchanganyiko wowote wa mstari wa coefficients, na hasa coefficients yenyewe, ina tofauti ndogo), yaani, katika darasa la wakadiriaji wa mstari usio na upendeleo, wakadiriaji wa OLS ndio bora zaidi. Vipengele vya diagonal vya matrix hii-tofauti za makadirio ya mgawo-ni vigezo muhimu vya ubora wa makadirio yaliyopatikana. Walakini, haiwezekani kuhesabu matrix ya udadisi kwa sababu tofauti ya makosa ya nasibu haijulikani. Inaweza kuthibitishwa kuwa makadirio yasiyo na upendeleo na thabiti (kwa mfano wa mstari wa kawaida) wa tofauti ya makosa ya nasibu ni idadi:

Ikumbukwe kwamba ikiwa mawazo ya classical hayakufikiwa, makadirio ya OLS ya vigezo sio makadirio ya ufanisi zaidi (huku yakibaki bila upendeleo na thabiti). Walakini, makadirio ya matrix ya covariance huharibika zaidi - inakuwa ya upendeleo na isiyoweza kutekelezwa. Hii ina maana kwamba hitimisho la takwimu kuhusu ubora wa mfano uliojengwa katika kesi hii inaweza kuwa isiyoaminika sana. Moja ya chaguzi za kutatua tatizo la mwisho ni kutumia makadirio maalum ya matrix ya covariance, ambayo ni sawa na ukiukwaji wa mawazo ya classical (makosa ya kawaida katika fomu Nyeupe na makosa ya kawaida katika fomu ya Newey-West). Mbinu nyingine ni kutumia njia inayoitwa ya jumla ya mraba mdogo.

OLS ya Jumla[hariri | hariri maandishi ya wiki]

Nakala kuu: miraba ya jumla ya jumla

Njia ya miraba ndogo inaruhusu ujanibishaji mpana. Badala ya kupunguza jumla ya miraba ya mabaki, mtu anaweza kupunguza aina fulani chanya ya quadratic ya vekta ya mabaki, ambapo kuna matrix fulani ya uzani chanya ya ulinganifu. Mraba mdogo wa kawaida ni kesi maalum ya mbinu hii, ambapo matrix ya uzito ni sawia na matrix ya utambulisho. Kama inavyojulikana kutoka kwa nadharia ya matrices ya ulinganifu (au waendeshaji), kuna mtengano wa matrices kama hayo. Kwa hivyo, kazi iliyoainishwa inaweza kuwakilishwa kama ifuatavyo

yaani, utendakazi huu unaweza kuwakilishwa kama jumla ya miraba ya baadhi ya "mabaki" yaliyobadilishwa. Kwa hivyo, tunaweza kutofautisha darasa la njia ndogo za mraba - njia za LS (Mraba Mdogo).

Imethibitishwa (nadharia ya Aitken) kwamba kwa modeli ya urejeshaji ya laini ya jumla (ambayo hakuna vikwazo vinavyowekwa kwenye matrix ya udadisi ya makosa ya nasibu), yenye ufanisi zaidi (katika darasa la makadirio ya mstari usio na upendeleo) ni yale yanayoitwa makadirio. miraba ndogo ya jumla (GLS - Viwanja Vidogo Vidogo vya Jumla) - Mbinu ya LS yenye matriki ya uzani sawa na matriki ya udadisi kinyume cha makosa nasibu: .

Inaweza kuonyeshwa kuwa fomula ya makadirio ya GLS ya vigezo vya mfano wa mstari ina fomu

Matrix ya ushirikiano wa makadirio haya itakuwa sawa na

OLS iliyopimwa[hariri | hariri maandishi ya wiki]

Kwa upande wa matrix ya uzani wa ulalo (na kwa hivyo matrix ya udadisi ya makosa ya nasibu), tunayo kinachojulikana kuwa miraba isiyo na uzani (WLS - Viwanja Vidogo Vilivyopimwa). Katika kesi hii, jumla ya uzani wa miraba ya mabaki ya mfano hupunguzwa, ambayo ni kwamba, kila uchunguzi hupokea "uzito" ambao ni sawia na tofauti ya makosa ya nasibu katika uchunguzi huu:

Kwa kweli, data hubadilishwa kwa kupima uchunguzi (kugawanya kwa kiasi sawia na makadirio ya kupotoka kwa kawaida ya makosa ya nasibu), na OLS ya kawaida inatumika kwa data iliyopimwa.