Selepas meratakan, kita memperoleh fungsi dalam bentuk berikut: g (x) = x + 1 3 + 1 .
Kita boleh menganggarkan data ini menggunakan hubungan linear y = a x + b dengan mengira parameter yang sepadan. Untuk melakukan ini, kita perlu menggunakan kaedah kuasa dua terkecil yang dipanggil. Anda juga perlu membuat lukisan untuk menyemak garisan yang paling sesuai untuk menjajarkan data percubaan.
Yandex.RTB R-A-339285-1
Apakah sebenarnya OLS (kaedah kuasa dua terkecil)
Perkara utama yang perlu kita lakukan ialah mencari pekali pergantungan linear sedemikian di mana nilai fungsi dua pembolehubah F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 akan menjadi terkecil. Dalam erti kata lain, untuk nilai tertentu a dan b, jumlah sisihan kuasa dua data yang dibentangkan daripada garis lurus yang terhasil akan mempunyai nilai minimum. Ini adalah maksud kaedah kuasa dua terkecil. Apa yang perlu kita lakukan untuk menyelesaikan contoh ialah mencari ekstrem bagi fungsi dua pembolehubah.
Bagaimana untuk mendapatkan formula untuk mengira pekali
Untuk mendapatkan formula pengiraan pekali, anda perlu mencipta dan menyelesaikan sistem persamaan dengan dua pembolehubah. Untuk melakukan ini, kita mengira terbitan separa bagi ungkapan F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 berkenaan dengan a dan b dan menyamakannya dengan 0.
δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i
Untuk menyelesaikan sistem persamaan, anda boleh menggunakan sebarang kaedah, contohnya, penggantian atau kaedah Cramer. Akibatnya, kita harus mempunyai formula yang boleh digunakan untuk mengira pekali menggunakan kaedah kuasa dua terkecil.
n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n
Kami telah mengira nilai pembolehubah di mana fungsi itu
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 akan mengambil nilai minimum. Dalam perenggan ketiga kita akan membuktikan mengapa ia betul-betul seperti ini.
Ini adalah aplikasi kaedah kuasa dua terkecil dalam amalan. Formulanya, yang digunakan untuk mencari parameter a, termasuk ∑ i = 1 n x i, ∑ i = 1 n y i, ∑ i = 1 n x i y i, ∑ i = 1 n x i 2, serta parameter
n – ia menandakan jumlah data eksperimen. Kami menasihati anda untuk mengira setiap jumlah secara berasingan. Nilai pekali b dikira sejurus selepas a.
Mari kita kembali kepada contoh asal.
Contoh 1
Di sini kita mempunyai n bersamaan dengan lima. Untuk menjadikannya lebih mudah untuk mengira jumlah yang diperlukan termasuk dalam formula pekali, mari kita isi jadual.
| i=1 | i=2 | i=3 | i=4 | i=5 | ∑ i = 1 5 | |
| x i | 0 | 1 | 2 | 4 | 5 | 12 |
| y i | 2 , 1 | 2 , 4 | 2 , 6 | 2 , 8 | 3 | 12 , 9 |
| x i y i | 0 | 2 , 4 | 5 , 2 | 11 , 2 | 15 | 33 , 8 |
| x i 2 | 0 | 1 | 4 | 16 | 25 | 46 |
Penyelesaian
Baris keempat termasuk data yang diperoleh dengan mendarabkan nilai dari baris kedua dengan nilai ketiga untuk setiap individu i. Baris kelima mengandungi data dari kedua, kuasa dua. Lajur terakhir menunjukkan jumlah nilai baris individu.
Mari kita gunakan kaedah kuasa dua terkecil untuk mengira pekali a dan b yang kita perlukan. Untuk melakukan ini, gantikan nilai yang diperlukan dari lajur terakhir dan hitung jumlahnya:
n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n ⇒3 a, - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184
Ternyata garis lurus menghampiri yang diperlukan akan kelihatan seperti y = 0, 165 x + 2, 184. Sekarang kita perlu menentukan garis mana yang lebih baik menghampiri data - g (x) = x + 1 3 + 1 atau 0, 165 x + 2, 184. Mari kita anggarkan menggunakan kaedah kuasa dua terkecil.
Untuk mengira ralat, kita perlu mencari jumlah sisihan kuasa dua data daripada garis lurus σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 dan σ 2 = ∑ i = 1 n (y i - g (x i)) 2, nilai minimum akan sepadan dengan garis yang lebih sesuai.
σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0, 165 x i + 2, 184)) 2 ≈ 0, 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0.096
Jawapan: sejak σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0.165 x + 2.184.
Kaedah kuasa dua terkecil ditunjukkan dengan jelas dalam ilustrasi grafik. Garis merah menandakan garis lurus g (x) = x + 1 3 + 1, garis biru menandakan y = 0, 165 x + 2, 184. Data asal ditunjukkan dengan titik merah jambu.
Mari kita terangkan mengapa anggaran jenis ini diperlukan.
Ia boleh digunakan dalam tugas yang memerlukan pelicinan data, serta dalam tugasan yang data mesti diinterpolasi atau diekstrapolasi. Sebagai contoh, dalam masalah yang dibincangkan di atas, seseorang boleh mencari nilai kuantiti y yang diperhatikan pada x = 3 atau pada x = 6. Kami telah menumpukan artikel berasingan untuk contoh sedemikian.
Bukti kaedah OLS
Untuk membolehkan fungsi mengambil nilai minimum apabila a dan b dikira, adalah perlu bahawa pada titik tertentu matriks bentuk kuadratik pembezaan fungsi bentuk F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 ialah pasti positif. Mari tunjukkan kepada anda bagaimana ia sepatutnya kelihatan.
Contoh 2
Kami mempunyai pembezaan pesanan kedua dalam bentuk berikut:
d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2 b
Penyelesaian
δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a; b) δ a δ b = δ δ F (a; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n
Dalam erti kata lain, kita boleh menulisnya seperti ini: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b.
Kami memperoleh matriks bentuk kuadratik M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .
Dalam kes ini, nilai elemen individu tidak akan berubah bergantung pada a dan b . Adakah matriks ini pasti positif? Untuk menjawab soalan ini, mari kita semak sama ada sudut bawahnya adalah positif.
Kami mengira kecil sudut bagi susunan pertama: 2 ∑ i = 1 n (x i) 2 > 0 . Oleh kerana mata x i tidak bertepatan, ketaksamaan adalah ketat. Kami akan mengingati perkara ini dalam pengiraan selanjutnya.
Kami mengira tertib kedua sudut kecil:
d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2
Selepas ini, kita meneruskan untuk membuktikan ketaksamaan n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 menggunakan aruhan matematik.
- Mari kita semak sama ada ketaksamaan ini sah untuk n sewenang-wenangnya. Mari kita ambil 2 dan kira:
2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0
Kami telah memperoleh kesamaan yang betul (jika nilai x 1 dan x 2 tidak bertepatan).
- Marilah kita membuat andaian bahawa ketidaksamaan ini akan menjadi benar untuk n, i.e. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – benar.
- Sekarang kita akan membuktikan kesahihan untuk n + 1, i.e. bahawa (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0, jika n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .
Kami mengira:
(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1) - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0
Ungkapan yang dilampirkan dalam pendakap kerinting akan lebih besar daripada 0 (berdasarkan apa yang kita andaikan dalam langkah 2), dan sebutan yang selebihnya akan lebih besar daripada 0, kerana kesemuanya ialah segi empat sama nombor. Kami telah membuktikan ketidaksamaan.
Jawapan: a dan b yang ditemui akan sepadan dengan nilai terkecil bagi fungsi F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, yang bermaksud bahawa ia adalah parameter yang diperlukan bagi kaedah kuasa dua terkecil (LSM).
Jika anda melihat ralat dalam teks, sila serlahkannya dan tekan Ctrl+Enter
Kaedah kuasa dua terkecil digunakan untuk menganggar parameter persamaan regresi.Salah satu kaedah untuk mengkaji hubungan stokastik antara ciri ialah analisis regresi.
Analisis regresi ialah terbitan persamaan regresi, dengan bantuan nilai purata pembolehubah rawak (atribut hasil) didapati jika nilai pembolehubah lain (atau lain-lain) (atribut faktor) diketahui. Ia termasuk langkah-langkah berikut:
- pemilihan bentuk sambungan (jenis persamaan regresi analitikal);
- anggaran parameter persamaan;
- penilaian kualiti persamaan regresi analitikal.
Dalam kes perhubungan berpasangan linear, persamaan regresi akan mengambil bentuk: y i =a+b·x i +u i . Parameter a dan b persamaan ini dianggarkan daripada data cerapan statistik x dan y. Hasil daripada penilaian tersebut ialah persamaan: , di mana , ialah anggaran parameter a dan b , ialah nilai atribut yang terhasil (pembolehubah) yang diperoleh daripada persamaan regresi (nilai yang dikira).
Selalunya digunakan untuk menganggar parameter kaedah kuasa dua terkecil (LSM).
Kaedah kuasa dua terkecil menyediakan anggaran terbaik (konsisten, cekap dan tidak berat sebelah) bagi parameter persamaan regresi. Tetapi hanya jika andaian tertentu mengenai istilah rawak (u) dan pembolehubah bebas (x) dipenuhi (lihat andaian OLS).
Masalah menganggar parameter persamaan pasangan linear menggunakan kaedah kuasa dua terkecil adalah seperti berikut: untuk mendapatkan anggaran parameter sedemikian, , di mana jumlah sisihan kuasa dua bagi nilai sebenar ciri terhasil - y i daripada nilai yang dikira - adalah minimum.
Secara formal ujian OLS boleh ditulis seperti ini: 
.
Pengelasan kaedah kuasa dua terkecil
- Kaedah kuasa dua terkecil.
- Kaedah kemungkinan maksimum (untuk model regresi linear klasik biasa, kenormalan sisa regresi didalilkan).
- Kaedah OLS kuasa dua terkecil umum digunakan dalam kes autokorelasi ralat dan dalam kes heteroskedastisitas.
- Kaedah kuasa dua terkecil berwajaran (kes khas OLS dengan sisa heteroskedastik).
Mari kita gambarkan maksudnya kaedah kuasa dua terkecil klasik secara grafik. Untuk melakukan ini, kami akan membina plot serakan berdasarkan data cerapan (x i, y i, i=1;n) dalam sistem koordinat segi empat tepat (plot serakan sedemikian dipanggil medan korelasi). Mari cuba pilih garis lurus yang paling hampir dengan titik medan korelasi. Mengikut kaedah kuasa dua terkecil, garisan dipilih supaya jumlah kuasa dua jarak menegak antara titik medan korelasi dan garis ini adalah minimum. 
Notasi matematik untuk masalah ini: 
.
Nilai y i dan x i =1...n diketahui oleh kami; ini adalah data pemerhatian. Dalam fungsi S mereka mewakili pemalar. Pembolehubah dalam fungsi ini ialah anggaran yang diperlukan bagi parameter - , . Untuk mencari minimum fungsi dua pembolehubah, adalah perlu untuk mengira derivatif separa fungsi ini untuk setiap parameter dan menyamakannya dengan sifar, i.e. 
.
Hasilnya, kita memperoleh sistem 2 persamaan linear normal: 
Menyelesaikan sistem ini, kami dapati anggaran parameter yang diperlukan: 
Ketepatan pengiraan parameter persamaan regresi boleh disemak dengan membandingkan jumlah (mungkin terdapat beberapa percanggahan disebabkan pembundaran pengiraan).
Untuk mengira anggaran parameter, anda boleh membina Jadual 1.
Tanda pekali regresi b menunjukkan arah perhubungan (jika b >0, perhubungan adalah langsung, jika b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
Secara formal, nilai parameter a ialah nilai purata y dengan x sama dengan sifar. Jika faktor-atribut tidak dan tidak boleh mempunyai nilai sifar, maka tafsiran parameter a di atas tidak masuk akal.
Menilai keakraban hubungan antara ciri
dijalankan menggunakan pekali korelasi pasangan linear - r x,y. Ia boleh dikira menggunakan formula: 
. Selain itu, pekali korelasi pasangan linear boleh ditentukan melalui pekali regresi b: 
.
Julat nilai yang boleh diterima bagi pekali korelasi pasangan linear adalah dari -1 hingga +1. Tanda pekali korelasi menunjukkan arah hubungan. Jika r x, y >0, maka sambungan adalah terus; jika r x, y<0, то связь обратная.
Sekiranya pekali ini hampir dengan kesatuan dalam magnitud, maka hubungan antara ciri-ciri boleh ditafsirkan sebagai satu linear yang agak rapat. Jika modulnya adalah sama dengan satu ê r x , y ê =1, maka hubungan antara ciri-ciri adalah linear berfungsi. Jika ciri x dan y tidak bersandar secara linear, maka r x,y adalah hampir dengan 0.
Untuk mengira r x,y, anda juga boleh menggunakan Jadual 1.
Jadual 1
| N pemerhatian | x i | y i | x i ∙y i | ||
| 1 | x 1 | y 1 | x 1 y 1 | ||
| 2 | x 2 | y 2 | x 2 y 2 | ||
| ... | |||||
| n | x n | y n | x n y n | ||
| Jumlah Lajur | ∑x | ∑y | ∑xy | ||
| Nilai purata |
 |
 |
,
dengan d 2 ialah varians y yang dijelaskan oleh persamaan regresi;
e 2 - varians sisa (tidak dijelaskan oleh persamaan regresi) bagi y;
s 2 y - jumlah (jumlah) varians bagi y.
Pekali penentuan mencirikan perkadaran variasi (serakan) atribut terhasil y dijelaskan oleh regresi (dan, akibatnya, faktor x) dalam jumlah variasi (serakan) y. Pekali penentuan R 2 yx mengambil nilai dari 0 hingga 1. Sehubungan itu, nilai 1-R 2 yx mencirikan bahagian varians y yang disebabkan oleh pengaruh faktor lain yang tidak diambil kira dalam model dan ralat spesifikasi.
Dengan regresi linear berpasangan, R 2 yx =r 2 yx.
Ia digunakan secara meluas dalam ekonometrik dalam bentuk tafsiran ekonomi yang jelas tentang parameternya.
Regresi linear turun untuk mencari persamaan bentuk
atau 
Persamaan bentuk 
membenarkan berdasarkan nilai parameter yang ditentukan X mempunyai nilai teori bagi ciri terhasil, menggantikan nilai sebenar faktor ke dalamnya X.
Pembinaan regresi linear adalah untuk menganggar parameternya - A Dan V. Anggaran parameter regresi linear boleh didapati menggunakan kaedah yang berbeza.
Pendekatan klasik untuk menganggar parameter regresi linear adalah berdasarkan kaedah kuasa dua terkecil(MNC).
Kaedah kuasa dua terkecil membolehkan kita mendapatkan anggaran parameter tersebut A Dan V, di mana jumlah sisihan kuasa dua bagi nilai sebenar ciri terhasil (y) daripada dikira (teoretikal) minimum:
Untuk mencari minimum fungsi, anda perlu mengira derivatif separa bagi setiap parameter A Dan b dan tetapkannya sama dengan sifar.
Mari kita nyatakan 
melalui S, maka:
Mengubah formula, kami memperoleh sistem persamaan normal berikut untuk menganggar parameter A Dan V:
Menyelesaikan sistem persamaan normal (3.5) sama ada dengan kaedah penghapusan berurutan pembolehubah atau dengan kaedah penentu, kita dapati anggaran parameter yang diperlukan A Dan V.
Parameter V dipanggil pekali regresi. Nilainya menunjukkan purata perubahan dalam hasil dengan perubahan dalam faktor sebanyak satu unit.
Persamaan regresi sentiasa ditambah dengan penunjuk kedekatan sambungan. Apabila menggunakan regresi linear, penunjuk sedemikian ialah pekali korelasi linear. Terdapat pengubahsuaian yang berbeza bagi formula pekali korelasi linear. Beberapa daripadanya diberikan di bawah:
Seperti yang diketahui, pekali korelasi linear adalah dalam had: -1 ≤ ≤ 1.
Untuk menilai kualiti pemilihan fungsi linear, kuasa dua dikira
Pekali korelasi linear dipanggil pekali penentuan. Pekali penentuan mencirikan bahagian varians ciri yang terhasil y, dijelaskan oleh regresi, dalam jumlah varians sifat yang terhasil:
Sehubungan itu, nilai 1 mencirikan bahagian varians y, disebabkan oleh pengaruh faktor lain yang tidak diambil kira dalam model.
Soalan untuk mengawal diri
1. Intipati kaedah kuasa dua terkecil?
2. Berapakah bilangan pembolehubah yang diberikan oleh regresi berpasangan?
3. Apakah pekali yang menentukan keakraban perkaitan antara perubahan?
4. Dalam had apakah pekali penentuan ditentukan?
5. Anggaran parameter b dalam analisis korelasi-regresi?
1. Christopher Dougherty. Pengenalan kepada ekonometrik. - M.: INFRA - M, 2001 - 402 p.
2. S.A. Borodich. Ekonometrik. Minsk LLC "Pengetahuan Baru" 2001.
3. R.U. Rakhmetova Kursus pendek dalam ekonometrik. Tutorial. Almaty. 2004. -78p.
4. I.I. Eliseeva. Ekonometrik. - M.: “Kewangan dan Perangkaan”, 2002
5. Maklumat bulanan dan majalah analisis.
Model ekonomi bukan linear. Model regresi bukan linear. Transformasi pembolehubah.
Model ekonomi tak linear..
Transformasi pembolehubah.
Pekali keanjalan.
Jika terdapat hubungan tak linear antara fenomena ekonomi, maka ia dinyatakan menggunakan fungsi tak linear yang sepadan: contohnya, hiperbola sama sisi 
,
parabola darjah kedua 
dan lain-lain.
Terdapat dua kelas regresi tak linear:
1. Regresi yang tidak linear berkenaan dengan pembolehubah penjelasan termasuk dalam analisis, tetapi linear berkenaan dengan parameter anggaran, contohnya:
Polinomial pelbagai darjah - 
, ;
Hiperbola sama sisi - ;
Fungsi semilogaritma - .
2. Regresi yang tidak linear dalam parameter yang dianggarkan, contohnya:
Kuasa - ;
Demonstratif - ;
Eksponen - .
Jumlah jumlah sisihan kuasa dua nilai individu bagi ciri yang terhasil di daripada nilai purata disebabkan oleh pengaruh banyak sebab. Marilah kita membahagikan keseluruhan set sebab secara bersyarat kepada dua kumpulan: faktor yang dikaji x Dan faktor lain.
Jika faktor tidak mempengaruhi keputusan, maka garis regresi pada graf adalah selari dengan paksi Oh Dan 
Kemudian keseluruhan varians ciri yang terhasil adalah disebabkan oleh pengaruh faktor lain dan jumlah jumlah sisihan kuasa dua akan bertepatan dengan baki. Jika faktor lain tidak mempengaruhi keputusan, maka y terikat Dengan X berfungsi dan jumlah baki kuasa dua ialah sifar. Dalam kes ini, jumlah sisihan kuasa dua yang dijelaskan oleh regresi adalah sama dengan jumlah jumlah kuasa dua.
Oleh kerana tidak semua titik medan korelasi terletak pada garis regresi, serakan mereka sentiasa berlaku akibat pengaruh faktor X, iaitu regresi di Oleh X, dan disebabkan oleh sebab lain (variasi yang tidak dapat dijelaskan). Kesesuaian garis regresi untuk peramalan bergantung pada bahagian mana daripada jumlah variasi ciri tersebut di mengambil kira variasi yang dijelaskan
Jelas sekali, jika jumlah sisihan kuasa dua disebabkan oleh regresi adalah lebih besar daripada jumlah sisa kuasa dua, maka persamaan regresi adalah signifikan secara statistik dan faktor X mempunyai kesan yang ketara terhadap hasilnya u.
, iaitu, dengan bilangan kebebasan variasi bebas sesuatu ciri. Bilangan darjah kebebasan adalah berkaitan dengan bilangan unit populasi n dan bilangan pemalar yang ditentukan daripadanya. Berhubung dengan masalah yang dikaji, bilangan darjah kebebasan harus menunjukkan berapa banyak sisihan bebas daripada P
Penilaian kepentingan persamaan regresi secara keseluruhan diberikan menggunakan F-Kriteria nelayan. Dalam kes ini, hipotesis nol dikemukakan bahawa pekali regresi adalah sama dengan sifar, i.e. b = 0, dan oleh itu faktor X tidak menjejaskan hasilnya u.
Pengiraan segera bagi ujian-F didahului dengan analisis varians. Tempat pusat di dalamnya diduduki oleh penguraian jumlah sisihan kuasa dua pembolehubah di daripada nilai purata di kepada dua bahagian - "dijelaskan" dan "tidak dijelaskan":
- jumlah jumlah sisihan kuasa dua;
- jumlah sisihan kuasa dua dijelaskan oleh regresi;
- jumlah baki sisihan kuasa dua.
Sebarang jumlah sisihan kuasa dua adalah berkaitan dengan bilangan darjah kebebasan , iaitu, dengan bilangan kebebasan variasi bebas sesuatu ciri. Bilangan darjah kebebasan adalah berkaitan dengan bilangan unit populasi n dan dengan bilangan pemalar yang ditentukan daripadanya. Berhubung dengan masalah yang dikaji, bilangan darjah kebebasan harus menunjukkan berapa banyak sisihan bebas daripada P mungkin diperlukan untuk membentuk jumlah kuasa dua tertentu.
Penyerakan setiap darjah kebebasanD.
Nisbah-F (ujian-F): 
Jika hipotesis nol adalah benar, maka varians faktor dan baki tidak berbeza antara satu sama lain. Untuk H 0, penolakan adalah perlu supaya serakan faktor melebihi serakan sisa beberapa kali. Ahli statistik Inggeris Snedekor membangunkan jadual nilai kritikal F-hubungan pada tahap kepentingan hipotesis nol yang berbeza dan bilangan darjah kebebasan yang berbeza. Nilai jadual F-kriteria ialah nilai maksimum nisbah varians yang boleh berlaku sekiranya berlaku perbezaan rawak untuk tahap kebarangkalian tertentu kehadiran hipotesis nol. Nilai yang dikira F-hubungan dianggap boleh dipercayai jika o lebih besar daripada jadual.
Dalam kes ini, hipotesis nol tentang ketiadaan hubungan antara tanda ditolak dan kesimpulan dibuat tentang kepentingan hubungan ini: F fakta > F jadual H 0 ditolak.
Jika nilainya kurang daripada jadual F fakta ‹, F jadual, maka kebarangkalian hipotesis nol adalah lebih tinggi daripada tahap yang ditentukan dan tidak boleh ditolak tanpa risiko serius untuk membuat kesimpulan yang salah tentang kehadiran perhubungan. Dalam kes ini, persamaan regresi dianggap tidak signifikan secara statistik. Tetapi dia tidak menyimpang.
Ralat piawai pekali regresi
Untuk menilai kepentingan pekali regresi, nilainya dibandingkan dengan ralat piawainya, iaitu nilai sebenar ditentukan t-Ujian pelajar: 
yang kemudiannya dibandingkan dengan nilai jadual pada tahap keertian tertentu dan bilangan darjah kebebasan ( n- 2).
Ralat parameter standard A:
Kepentingan pekali korelasi linear disemak berdasarkan magnitud ralat pekali korelasi t r:
Jumlah varians sifat X: 
Regresi Linear Berbilang
Bangunan model
Regresi berbilang mewakili regresi ciri berkesan dengan dua atau lebih faktor, iaitu model bentuk
Regresi boleh memberikan hasil yang baik dalam pemodelan jika pengaruh faktor lain yang mempengaruhi objek kajian boleh diabaikan. Tingkah laku pembolehubah ekonomi individu tidak boleh dikawal, iaitu tidak mungkin untuk memastikan kesamaan semua syarat lain untuk menilai pengaruh satu faktor yang dikaji. Dalam kes ini, anda harus cuba mengenal pasti pengaruh faktor lain dengan memasukkannya ke dalam model, iaitu, bina persamaan regresi berganda: y = a+b 1 x 1 +b 2 +…+b p x p + .
Matlamat utama regresi berganda adalah untuk membina model dengan sejumlah besar faktor, sambil menentukan pengaruh setiap satu daripadanya secara berasingan, serta kesan gabungannya pada penunjuk yang dimodelkan. Spesifikasi model termasuk dua julat isu: pemilihan faktor dan pilihan jenis persamaan regresi
Kaedah kuasa dua terkecil
Kaedah kuasa dua terkecil ( OLS, OLS, Kuasa Dua Terkecil Biasa) - salah satu kaedah asas analisis regresi untuk menganggar parameter yang tidak diketahui model regresi menggunakan data sampel. Kaedah ini adalah berdasarkan meminimumkan jumlah kuasa dua sisa regresi.
Perlu diingatkan bahawa kaedah kuasa dua terkecil itu sendiri boleh dipanggil kaedah untuk menyelesaikan masalah di mana-mana kawasan jika penyelesaiannya terletak pada atau memenuhi beberapa kriteria untuk meminimumkan jumlah kuasa dua beberapa fungsi pembolehubah yang diperlukan. Oleh itu, kaedah kuasa dua terkecil juga boleh digunakan untuk perwakilan anggaran (penghampiran) fungsi tertentu oleh fungsi lain (lebih mudah), apabila mencari set kuantiti yang memenuhi persamaan atau kekangan, bilangan yang melebihi bilangan kuantiti ini , dan lain-lain.
Intipati MNC
Biarkan beberapa model (parametrik) hubungan kebarangkalian (regresi) antara pembolehubah (diterangkan) diberikan y dan banyak faktor (pembolehubah penjelasan) x
di mana ialah vektor parameter model yang tidak diketahui
- ralat model rawak.Biarkan terdapat juga pemerhatian sampel nilai-nilai pembolehubah ini. Biarkan nombor pemerhatian (). Kemudian ialah nilai pembolehubah dalam pemerhatian ke. Kemudian, untuk nilai parameter b yang diberikan, adalah mungkin untuk mengira nilai teori (model) pembolehubah yang dijelaskan y:
Saiz sisa bergantung kepada nilai parameter b.
Intipati kaedah kuasa dua terkecil (biasa, klasik) adalah untuk mencari parameter b yang mana jumlah kuasa dua baki (eng. Jumlah Baki Kuasa Dua) akan menjadi minimum:
Dalam kes umum, masalah ini boleh diselesaikan dengan kaedah pengoptimuman berangka (pengurangan). Dalam kes ini mereka bercakap tentang kuasa dua terkecil tak linear(NLS atau NLLS - Bahasa Inggeris) Kuasa Dua Terkecil Bukan Linear). Dalam banyak kes adalah mungkin untuk mendapatkan penyelesaian analitikal. Untuk menyelesaikan masalah pengecilan, adalah perlu untuk mencari titik pegun bagi fungsi dengan membezakannya berkenaan dengan parameter yang tidak diketahui b, menyamakan derivatif kepada sifar dan menyelesaikan sistem persamaan yang terhasil:
Jika ralat rawak model diedarkan secara normal, mempunyai varians yang sama dan tidak berkorelasi, anggaran parameter OLS adalah sama dengan anggaran kemungkinan maksimum (MLM).
OLS dalam kes model linear
Biarkan pergantungan regresi menjadi linear:
biarlah y ialah vektor lajur pemerhatian pembolehubah yang dijelaskan, dan merupakan matriks pemerhatian faktor (baris matriks ialah vektor nilai faktor dalam pemerhatian tertentu, lajur ialah vektor nilai faktor tertentu dalam semua pemerhatian). Perwakilan matriks model linear ialah:
Kemudian vektor anggaran pembolehubah yang dijelaskan dan vektor sisa regresi akan sama
Oleh itu, jumlah kuasa dua baki regresi akan sama dengan
Membezakan fungsi ini berkenaan dengan vektor parameter dan menyamakan derivatif kepada sifar, kami memperoleh sistem persamaan (dalam bentuk matriks):
.Penyelesaian sistem persamaan ini memberikan formula umum untuk anggaran kuasa dua terkecil untuk model linear:
Untuk tujuan analisis, perwakilan terakhir formula ini berguna. Jika dalam model regresi data berpusat, maka dalam perwakilan ini matriks pertama mempunyai maksud matriks kovarians sampel faktor, dan yang kedua ialah vektor kovarians faktor dengan pembolehubah bersandar. Jika di samping itu data juga dinormalkan kepada MSE (iaitu, akhirnya diseragamkan), maka matriks pertama mempunyai makna matriks korelasi sampel faktor, vektor kedua - vektor korelasi sampel faktor dengan pembolehubah bersandar.
Sifat penting anggaran OLS untuk model dengan tetap- garis regresi yang dibina melalui pusat graviti data sampel, iaitu, kesamaan dipenuhi:
Khususnya, dalam kes yang melampau, apabila satu-satunya regressor ialah pemalar, kami mendapati anggaran OLS bagi satu-satunya parameter (pemalar itu sendiri) adalah sama dengan nilai purata pembolehubah yang dijelaskan. Maksudnya, min aritmetik, yang terkenal dengan sifat baiknya daripada undang-undang nombor besar, juga merupakan anggaran kuasa dua terkecil - ia memenuhi kriteria jumlah minimum sisihan kuasa dua daripadanya.
Contoh: regresi termudah (berpasangan).
Dalam kes regresi linear berpasangan, formula pengiraan dipermudahkan (anda boleh lakukan tanpa algebra matriks):
Sifat penganggar OLS
Pertama sekali, kami ambil perhatian bahawa untuk model linear, anggaran OLS ialah anggaran linear, seperti berikut daripada formula di atas. Untuk anggaran OLS yang tidak berat sebelah, adalah perlu dan mencukupi untuk memenuhi syarat analisis regresi yang paling penting: jangkaan matematik ralat rawak, bersyarat pada faktor, mestilah sama dengan sifar. Keadaan ini, khususnya, berpuas hati jika
- jangkaan matematik ralat rawak adalah sifar, dan
- faktor dan ralat rawak adalah pembolehubah rawak bebas.
Syarat kedua - keadaan eksogeniti faktor - adalah asas. Jika harta ini tidak dipenuhi, maka kita boleh mengandaikan bahawa hampir mana-mana anggaran akan menjadi sangat tidak memuaskan: mereka tidak akan konsisten (iaitu, walaupun jumlah data yang sangat besar tidak membenarkan kami mendapatkan anggaran berkualiti tinggi dalam kes ini ). Dalam kes klasik, andaian yang lebih kuat dibuat tentang penentuan faktor, berbanding ralat rawak, yang secara automatik bermakna syarat eksogenitas dipenuhi. Dalam kes umum, untuk ketekalan anggaran, adalah memadai untuk memenuhi keadaan eksogen bersama-sama dengan penumpuan matriks kepada beberapa matriks bukan tunggal apabila saiz sampel meningkat kepada infiniti.
Agar, sebagai tambahan kepada ketekalan dan tidak berat sebelah, anggaran kuasa dua terkecil (biasa) juga berkesan (yang terbaik dalam kelas anggaran tidak berat sebelah linear), sifat tambahan ralat rawak mesti dipenuhi:
Andaian ini boleh dirumuskan untuk matriks kovarians bagi vektor ralat rawak
Model linear yang memenuhi syarat ini dipanggil klasik. Anggaran OLS untuk regresi linear klasik adalah anggaran tidak berat sebelah, konsisten dan anggaran paling berkesan dalam kelas semua anggaran tidak berat sebelah linear (dalam kesusasteraan Inggeris, singkatan kadangkala digunakan BIRU (Penganggar Tanpa Basis Linear Terbaik) - anggaran tidak berat sebelah linear terbaik; dalam kesusasteraan Rusia teorem Gauss-Markov lebih kerap disebut). Seperti yang mudah ditunjukkan, matriks kovarians bagi vektor anggaran pekali akan sama dengan:
OLS umum
Kaedah kuasa dua terkecil membolehkan generalisasi luas. Daripada meminimumkan jumlah kuasa dua baki, seseorang boleh meminimumkan beberapa bentuk kuadratik pasti positif vektor baki, di mana beberapa matriks berat pasti positif simetri. Kuasa dua terkecil konvensional adalah kes khas pendekatan ini, di mana matriks berat adalah berkadar dengan matriks identiti. Seperti yang diketahui dari teori matriks simetri (atau operator), untuk matriks sedemikian terdapat penguraian. Akibatnya, fungsi yang ditentukan boleh diwakili seperti berikut, iaitu, fungsi ini boleh diwakili sebagai jumlah kuasa dua beberapa "baki" yang diubah. Oleh itu, kita boleh membezakan kelas kaedah kuasa dua terkecil - kaedah LS (Kuasa Dua Terkecil).
Telah dibuktikan (teorem Aitken) bahawa untuk model regresi linear umum (di mana tiada sekatan dikenakan pada matriks kovarians ralat rawak), yang paling berkesan (dalam kelas anggaran tidak berat sebelah linear) ialah anggaran yang dipanggil. Kuasa Dua Terkecil umum (GLS - Kuasa Dua Terkecil Umum)- Kaedah LS dengan matriks berat sama dengan matriks kovarians songsang ralat rawak: .
Ia boleh ditunjukkan bahawa formula untuk anggaran GLS bagi parameter model linear mempunyai bentuk
Matriks kovarians anggaran ini sewajarnya akan sama dengan
Sebenarnya, intipati OLS terletak pada transformasi (linear) tertentu (P) data asal dan penggunaan OLS biasa pada data yang diubah. Tujuan transformasi ini ialah untuk data yang diubah, ralat rawak sudah memenuhi andaian klasik.
OLS berwajaran
Dalam kes matriks berat pepenjuru (dan oleh itu matriks kovarians ralat rawak), kita mempunyai apa yang dipanggil Kuasa Dua Terkecil berwajaran (WLS). Dalam kes ini, jumlah wajaran kuasa dua baki model diminimumkan, iaitu, setiap cerapan menerima "berat" yang berkadar songsang dengan varians ralat rawak dalam pemerhatian ini: . Malah, data diubah dengan menimbang pemerhatian (membahagikan dengan jumlah yang berkadar dengan anggaran sisihan piawai ralat rawak), dan OLS biasa digunakan pada data berwajaran.
Beberapa kes khas menggunakan MNC dalam amalan
Pengiraan pergantungan linear
Mari kita pertimbangkan kes apabila, sebagai hasil daripada mengkaji pergantungan kuantiti skalar tertentu pada kuantiti skalar tertentu (Ini mungkin, sebagai contoh, pergantungan voltan pada kekuatan arus: , di mana adalah nilai malar, rintangan konduktor), pengukuran kuantiti ini telah dijalankan, akibatnya nilai dan nilai sepadannya. Data ukuran mesti direkodkan dalam jadual.
Jadual. Hasil pengukuran.
| Nombor pengukuran | ||
|---|---|---|
| 1 | ||
| 2 | ||
| 3 | ||
| 4 | ||
| 5 | ||
| 6 |
Persoalannya ialah: apakah nilai pekali yang boleh dipilih untuk menggambarkan pergantungan dengan terbaik? Mengikut kaedah kuasa dua terkecil, nilai ini hendaklah sedemikian rupa sehingga jumlah sisihan kuasa dua nilai daripada nilai
adalah minimum
Jumlah sisihan kuasa dua mempunyai satu ekstrem - minimum, yang membolehkan kita menggunakan formula ini. Mari kita cari daripada formula ini nilai pekali. Untuk melakukan ini, kami mengubah bahagian kirinya seperti berikut:
Formula terakhir membolehkan kita mencari nilai pekali, iaitu apa yang diperlukan dalam masalah.
cerita
Sehingga awal abad ke-19. saintis tidak mempunyai peraturan tertentu untuk menyelesaikan sistem persamaan di mana bilangan yang tidak diketahui adalah kurang daripada bilangan persamaan; Sehingga masa itu, teknik persendirian digunakan yang bergantung pada jenis persamaan dan pada kecerdasan kalkulator, dan oleh itu kalkulator yang berbeza, berdasarkan data pemerhatian yang sama, membuat kesimpulan yang berbeza. Gauss (1795) adalah yang pertama menggunakan kaedah itu, dan Legendre (1805) secara bebas menemui dan menerbitkannya di bawah nama modennya (Perancis. Kaedah des moindres quarrés ). Laplace mengaitkan kaedah dengan teori kebarangkalian, dan ahli matematik Amerika Adrain (1808) menganggap aplikasi teori kebarangkaliannya. Kaedah ini meluas dan ditambah baik oleh penyelidikan lanjut oleh Encke, Bessel, Hansen dan lain-lain.
Penggunaan alternatif OLS
Idea kaedah kuasa dua terkecil juga boleh digunakan dalam kes lain yang tidak berkaitan secara langsung dengan analisis regresi. Hakikatnya ialah jumlah segi empat sama adalah salah satu ukuran kedekatan yang paling biasa untuk vektor (metrik Euclidean dalam ruang dimensi terhingga).
Satu aplikasi ialah "penyelesaian" sistem persamaan linear di mana bilangan persamaan lebih besar daripada bilangan pembolehubah
di mana matriksnya bukan segi empat sama, tetapi bersaiz segi empat tepat.
Sistem persamaan sedemikian, dalam kes umum, tidak mempunyai penyelesaian (jika pangkat sebenarnya lebih besar daripada bilangan pembolehubah). Oleh itu, sistem ini boleh "diselesaikan" hanya dalam erti kata memilih vektor sedemikian untuk meminimumkan "jarak" antara vektor dan . Untuk melakukan ini, anda boleh menggunakan kriteria meminimumkan jumlah kuasa dua perbezaan antara sisi kiri dan kanan persamaan sistem, iaitu. Adalah mudah untuk menunjukkan bahawa menyelesaikan masalah pengecilan ini membawa kepada penyelesaian sistem persamaan berikut