Phương pháp bình phương tối thiểu của phương trình tuyến tính. Tìm tham số đường hồi quy

Bàn 4

x n

năm

Bàn 5

ừ tôi

0,705

0,495

0,426

0,357

0,368

0,406

0,549

0,768

Bảng 6

№0

x

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

y

3,030

3,142

3,358

3,463

3,772

3,251

3,170

3,665

№ 1

3,314

3,278

3,262

3,292

3,332

3,397

3,487

3,563

№ 2

1,045

1,162

1,264

1,172

1,070

0,898

0,656

0,344

№ 3

6,715

6,735

6,750

6,741

6,645

6,639

6,647

6,612

№ 4

2,325

2,515

2,638

2,700

2,696

2,626

2,491

2,291

№ 5

1.752

1,762

1,777

1,797

1,821

1,850

1,884

1,944

№ 6

1,924

1,710

1,525

1,370

1,264

1,190

1,148

1,127

№ 7

1,025

1,144

1,336

1,419

1,479

1,530

1,568

1,248

№ 8

5,785

5,685

5,605

5,545

5,505

5,480

5,495

5,510

№ 9

4,052

4,092

4,152

4,234

4,338

4,468

4,599

Sau khi san lấp mặt bằng, chúng ta thu được hàm có dạng sau: g (x) = x + 1 3 + 1 .

Chúng ta có thể ước chừng dữ liệu này bằng cách sử dụng mối quan hệ tuyến tính y = a x + b bằng cách tính các tham số tương ứng. Để làm được điều này, chúng ta sẽ cần áp dụng phương pháp được gọi là phương pháp bình phương tối thiểu. Bạn cũng sẽ cần phải vẽ để kiểm tra xem đường nào sẽ căn chỉnh tốt nhất dữ liệu thử nghiệm.

Yandex.RTB R-A-339285-1

Chính xác thì OLS (phương pháp bình phương tối thiểu) là gì

Điều chính chúng ta cần làm là tìm các hệ số phụ thuộc tuyến tính sao cho giá trị của hàm hai biến F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 sẽ là nhỏ nhất. Nói cách khác, đối với các giá trị nhất định của a và b, tổng bình phương độ lệch của dữ liệu được trình bày so với đường thẳng thu được sẽ có giá trị tối thiểu. Đây là ý nghĩa của phương pháp bình phương tối thiểu. Tất cả những gì chúng ta cần làm để giải ví dụ này là tìm cực trị của hàm hai biến.

Cách rút ra công thức tính hệ số

Để rút ra công thức tính hệ số, bạn cần tạo và giải hệ phương trình hai biến. Để làm điều này, chúng ta tính đạo hàm riêng của biểu thức F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 đối với a và b và đánh đồng chúng bằng 0.

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

Để giải hệ phương trình, bạn có thể sử dụng bất kỳ phương pháp nào, ví dụ: phương pháp thay thế hoặc phương pháp Cramer. Kết quả là chúng ta nên có các công thức có thể sử dụng để tính các hệ số bằng phương pháp bình phương tối thiểu.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n

Chúng tôi đã tính toán giá trị của các biến mà tại đó hàm
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 sẽ lấy giá trị nhỏ nhất. Trong đoạn thứ ba, chúng tôi sẽ chứng minh tại sao nó lại như vậy.

Đây là ứng dụng của phương pháp bình phương nhỏ nhất trong thực tế. Công thức của nó, được sử dụng để tìm tham số a, bao gồm ∑ i = 1 n x i, ∑ i = 1 n y i, ∑ i = 1 n x i y i, ∑ i = 1 n x i 2, cũng như tham số
n – nó biểu thị lượng dữ liệu thử nghiệm. Chúng tôi khuyên bạn nên tính riêng từng số tiền. Giá trị của hệ số b được tính ngay sau a.

Hãy quay lại ví dụ ban đầu.

Ví dụ 1

Ở đây chúng ta có n bằng năm. Để thuận tiện hơn trong việc tính toán số lượng cần thiết có trong công thức hệ số, chúng ta hãy điền vào bảng.

Giải pháp

Hàng thứ tư bao gồm dữ liệu thu được bằng cách nhân các giá trị từ hàng thứ hai với các giá trị của hàng thứ ba cho mỗi cá nhân i. Dòng thứ năm chứa dữ liệu từ dòng thứ hai, bình phương. Cột cuối cùng hiển thị tổng giá trị của các hàng riêng lẻ.

Hãy sử dụng phương pháp bình phương tối thiểu để tính các hệ số a và b mà chúng ta cần. Để thực hiện việc này, hãy thay thế các giá trị bắt buộc từ cột cuối cùng và tính số tiền:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n ⇒ a = 5 33, 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

Hóa ra đường thẳng xấp xỉ cần thiết sẽ có dạng y = 0, 165 x + 2, 184. Bây giờ chúng ta cần xác định dòng nào sẽ xấp xỉ dữ liệu tốt hơn - g (x) = x + 1 3 + 1 hoặc 0, 165 x + 2, 184. Hãy ước lượng bằng phương pháp bình phương nhỏ nhất.

Để tính sai số, chúng ta cần tìm tổng bình phương độ lệch của dữ liệu so với các đường thẳng σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 và σ 2 = ∑ i = 1 n (y i - g (x i)) 2 thì giá trị nhỏ nhất sẽ tương ứng với dòng phù hợp hơn.

σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0, 165 x i + 2, 184)) 2 ≈ 0, 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0,096

Trả lời: kể từ σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0,165 x + 2,184.

Phương pháp bình phương tối thiểu được thể hiện rõ ràng trong hình minh họa đồ họa. Đường màu đỏ đánh dấu đường thẳng g(x) = x + 1 3 + 1, đường màu xanh đánh dấu y = 0, 165 x + 2, 184. Dữ liệu gốc được biểu thị bằng các chấm màu hồng.

Hãy để chúng tôi giải thích tại sao cần có những xấp xỉ chính xác thuộc loại này.

Chúng có thể được sử dụng trong các tác vụ yêu cầu làm mịn dữ liệu cũng như trong những tác vụ mà dữ liệu phải được nội suy hoặc ngoại suy. Ví dụ, trong bài toán đã thảo luận ở trên, người ta có thể tìm giá trị của đại lượng y quan sát được tại x = 3 hoặc tại x = 6. Chúng tôi đã dành một bài viết riêng cho những ví dụ như vậy.

Chứng minh phương pháp OLS

Để hàm số lấy giá trị nhỏ nhất khi tính a và b thì tại một điểm cho trước cần có ma trận dạng bậc hai vi phân của hàm số dạng F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 là xác định dương. Hãy cho bạn thấy nó trông như thế nào.

Ví dụ 2

Ta có vi phân bậc hai có dạng sau:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d adb + δ 2 F (a ; b) δ b 2 d 2 b

Giải pháp

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a; b) δ a δ b = δ δ F (a; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n

Nói cách khác, chúng ta có thể viết nó như thế này: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b.

Ta thu được ma trận dạng bậc hai M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

Trong trường hợp này, giá trị của từng phần tử sẽ không thay đổi tùy theo a và b. Ma trận này có xác định dương không? Để trả lời câu hỏi này, chúng ta hãy kiểm tra xem các góc nhỏ của nó có dương hay không.

Chúng ta tính góc nhỏ bậc nhất: 2 ∑ i = 1 n (x i) 2 > 0 . Vì các điểm x i không trùng nhau nên bất đẳng thức là nghiêm ngặt. Chúng tôi sẽ ghi nhớ điều này trong các tính toán tiếp theo.

Chúng tôi tính toán góc nhỏ bậc hai:

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

Sau đó, chúng ta tiến hành chứng minh bất đẳng thức n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 bằng phương pháp quy nạp toán học.

1. Hãy kiểm tra xem bất đẳng thức này có đúng với n tùy ý hay không. Hãy lấy 2 và tính toán:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Ta đã thu được đẳng thức đúng (nếu giá trị x 1 và x 2 không trùng nhau).

1. Chúng ta hãy giả sử rằng bất đẳng thức này sẽ đúng với n, tức là n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – đúng.
2. Bây giờ chúng ta sẽ chứng minh tính đúng đắn của n + 1, tức là rằng (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0, nếu n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .

Chúng tôi tính toán:

(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Biểu thức nằm trong dấu ngoặc nhọn sẽ lớn hơn 0 (dựa trên những gì chúng ta đã giả định ở bước 2) và các số hạng còn lại sẽ lớn hơn 0, vì chúng đều là bình phương của các số. Ta đã chứng minh được bất đẳng thức.

Trả lời: a và b tìm được sẽ tương ứng với giá trị nhỏ nhất của hàm F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, nghĩa là chúng là tham số bắt buộc của phương pháp bình phương tối thiểu (LSM).

Nếu bạn thấy văn bản có lỗi, vui lòng đánh dấu nó và nhấn Ctrl+Enter

Nó được sử dụng rộng rãi trong kinh tế lượng dưới dạng diễn giải kinh tế rõ ràng về các tham số của nó.

Hồi quy tuyến tính đi xuống để tìm một phương trình có dạng

hoặc

Phương trình của dạng cho phép dựa trên các giá trị tham số được chỉ định X có các giá trị lý thuyết của đặc tính tổng hợp, thay thế các giá trị thực tế của hệ số vào đó X.

Việc xây dựng hồi quy tuyến tính bắt nguồn từ việc ước tính các tham số của nó - MỘT Và V.Ước tính tham số hồi quy tuyến tính có thể được tìm thấy bằng các phương pháp khác nhau.

Cách tiếp cận cổ điển để ước tính các tham số hồi quy tuyến tính dựa trên phương pháp bình phương tối thiểu(MNC).

Phương pháp bình phương tối thiểu cho phép chúng ta thu được các ước lượng tham số như vậy MỘT Và V, tại đó tổng độ lệch bình phương của các giá trị thực tế của đặc tính tổng hợp (y) từ tính toán (lý thuyết) tối thiểu:

Để tìm cực tiểu của hàm số, bạn cần tính đạo hàm riêng cho từng tham số MỘT Và b và đặt chúng bằng 0.

Hãy biểu thị qua S thì:

Biến đổi công thức, ta thu được hệ phương trình chuẩn tắc ước lượng tham số như sau MỘT Và V.:

Giải hệ phương trình chuẩn (3.5) bằng phương pháp loại trừ tuần tự các biến hoặc bằng phương pháp định thức, ta tìm được ước lượng cần thiết của các tham số MỘT Và V.

tham số V. gọi là hệ số hồi quy. Giá trị của nó cho thấy sự thay đổi trung bình trong kết quả khi hệ số thay đổi một đơn vị.

Phương trình hồi quy luôn được bổ sung một chỉ báo về mức độ gần gũi của kết nối. Khi sử dụng hồi quy tuyến tính, chỉ tiêu đó chính là hệ số tương quan tuyến tính. Có những sửa đổi khác nhau của công thức hệ số tương quan tuyến tính. Một số trong số họ được đưa ra dưới đây:

Như đã biết, hệ số tương quan tuyến tính nằm trong giới hạn: -1 ≤ ≤ 1.

Để đánh giá chất lượng lựa chọn của hàm tuyến tính, bình phương được tính

Hệ số tương quan tuyến tính được gọi là hệ số xác định. Hệ số xác định đặc trưng cho tỷ lệ phương sai của đặc tính thu được vâng,được giải thích bằng hồi quy tổng phương sai của tính trạng thu được:

Theo đó, giá trị 1 đặc trưng cho tỷ lệ phương sai vâng, do ảnh hưởng của các yếu tố khác chưa được tính đến trong mô hình.

Câu hỏi để tự kiểm soát

1. Bản chất của phương pháp bình phương tối thiểu?

2. Hồi quy cặp cung cấp bao nhiêu biến?

3. Hệ số nào quyết định mức độ chặt chẽ của mối liên hệ giữa các thay đổi?

4. Hệ số xác định được xác định trong giới hạn nào?

5. Ước lượng tham số b trong phân tích hồi quy tương quan?

1. Christopher Dougherty. Giới thiệu về kinh tế lượng. - M.: INFRA - M, 2001 - 402 tr.

2. SA Borodich. Kinh tế lượng. Minsk LLC “Kiến thức mới” 2001.

3. R.U. Rakhmetova Khóa học ngắn hạn về kinh tế lượng. Hướng dẫn học tập. Almaty. 2004. -78p.

4. I.I. Eliseeva. Kinh tế lượng. - M.: “Tài chính và Thống kê”, 2002

5. Tạp chí thông tin, phân tích hàng tháng.

Các mô hình kinh tế phi tuyến tính. Mô hình hồi quy phi tuyến tính. Sự chuyển đổi của các biến.

Mô hình kinh tế phi tuyến tính..

Sự chuyển đổi của các biến.

Hệ số đàn hồi.

Nếu có mối quan hệ phi tuyến tính giữa các hiện tượng kinh tế thì chúng được biểu thị bằng các hàm phi tuyến tương ứng: ví dụ: một hyperbol đều , parabol bậc hai và v.v.

Có hai loại hồi quy phi tuyến:

1. Các hồi quy phi tuyến đối với các biến giải thích được đưa vào phân tích nhưng tuyến tính đối với các tham số ước lượng, ví dụ:

Đa thức có bậc khác nhau - , ;

Hyperbol đều - ;

Hàm bán logarit - .

2. Các hồi quy phi tuyến trong các tham số được ước tính, ví dụ:

Quyền lực - ;

Biểu tình - ;

Hàm mũ - .

Tổng cộng bình phương độ lệch của các giá trị riêng lẻ của đặc tính kết quả Tại so với giá trị trung bình là do ảnh hưởng của nhiều nguyên nhân. Chúng ta hãy chia có điều kiện toàn bộ lý do thành hai nhóm: yếu tố đang nghiên cứu x Và các yếu tố khác.

Nếu yếu tố không ảnh hưởng đến kết quả thì đường hồi quy trên đồ thị song song với trục Ồ Và

Khi đó toàn bộ phương sai của đặc tính thu được là do ảnh hưởng của các yếu tố khác và tổng bình phương sai lệch sẽ trùng với phần dư. Nếu các yếu tố khác không ảnh hưởng đến kết quả thì y bị ràng buộc Với X chức năng và tổng bình phương còn lại bằng không. Trong trường hợp này, tổng các bình phương được giải thích bằng phép hồi quy bằng tổng các bình phương.

Vì không phải tất cả các điểm của trường tương quan đều nằm trên đường hồi quy nên sự phân tán của chúng luôn xảy ra do ảnh hưởng của hệ số X, tức là hồi quy Tại Qua X, và do nguyên nhân khác gây ra (biến đổi không rõ nguyên nhân). Sự phù hợp của đường hồi quy để dự đoán phụ thuộc vào phần nào trong tổng biến thể của đặc điểm Tại tính đến sự thay đổi được giải thích

Rõ ràng, nếu tổng bình phương độ lệch do hồi quy lớn hơn tổng bình phương còn lại thì phương trình hồi quy có ý nghĩa thống kê và hệ số X có ảnh hưởng đáng kể đến kết quả bạn.

, tức là với số lượng tự do biến đổi độc lập của một đặc tính. Số bậc tự do liên quan đến số đơn vị của quần thể n và số hằng số được xác định từ nó. Liên quan đến vấn đề đang nghiên cứu, số bậc tự do sẽ cho thấy có bao nhiêu sai lệch độc lập so với N

Việc đánh giá tầm quan trọng của phương trình hồi quy nói chung được đưa ra bằng cách sử dụng F-Tiêu chí Fisher. Trong trường hợp này, một giả thuyết không được đưa ra rằng hệ số hồi quy bằng 0, tức là b = 0, và do đó hệ số X không ảnh hưởng đến kết quả bạn.

Việc tính toán F-test ngay lập tức được tiến hành trước bằng việc phân tích phương sai. Vị trí trung tâm trong đó bị chiếm bởi sự phân rã tổng tổng bình phương của một biến Tại từ giá trị trung bình Tại thành hai phần - “giải thích được” và “không giải thích được”:

- tổng các độ lệch bình phương;

- tổng bình phương độ lệch được giải thích bằng hồi quy;

- tổng dư của bình phương độ lệch.

Bất kỳ tổng độ lệch bình phương nào đều liên quan đến số bậc tự do , tức là với số lượng tự do biến đổi độc lập của một đặc tính. Số bậc tự do có liên quan đến số lượng đơn vị dân số N và với số lượng hằng số được xác định từ nó. Liên quan đến vấn đề đang nghiên cứu, số bậc tự do sẽ cho thấy có bao nhiêu sai lệch độc lập so với N có thể cần thiết để tạo thành một tổng bình phương nhất định.

Phân tán theo bậc tự doD.

Tỷ lệ F (kiểm tra F):

Nếu giả thuyết không là đúng, thì hệ số và phương sai dư không khác nhau. Đối với H 0, việc bác bỏ là cần thiết để độ phân tán nhân tố vượt quá độ phân tán dư vài lần. Nhà thống kê người Anh Snedekor đã phát triển các bảng giá trị tới hạn F-các mối quan hệ ở các mức độ ý nghĩa khác nhau của giả thuyết không và số bậc tự do khác nhau. Giá trị bảng F-tiêu chí là giá trị tối đa của tỷ lệ phương sai có thể xảy ra trong trường hợp phân kỳ ngẫu nhiên đối với một mức xác suất nhất định về sự hiện diện của giả thuyết khống. Giá trị tính toán F-các mối quan hệ được coi là đáng tin cậy nếu o lớn hơn bảng.

Trong trường hợp này, giả thuyết không về sự vắng mặt của mối quan hệ giữa các dấu hiệu bị bác bỏ và rút ra kết luận về tầm quan trọng của mối quan hệ này: Thực tế F > Bảng F H 0 bị bác bỏ.

Nếu giá trị nhỏ hơn bảng kê Thực tế F ‹, bảng F, khi đó xác suất của giả thuyết không cao hơn một mức xác định và không thể bị bác bỏ nếu không có nguy cơ nghiêm trọng đưa ra kết luận sai về sự hiện diện của một mối quan hệ. Trong trường hợp này, phương trình hồi quy được coi là không có ý nghĩa thống kê. Nhưng anh ấy không đi chệch hướng.

Sai số chuẩn của hệ số hồi quy

Để đánh giá tầm quan trọng của hệ số hồi quy, giá trị của nó được so sánh với sai số chuẩn của nó, tức là giá trị thực tế được xác định t-Bài kiểm tra của học sinh: sau đó được so sánh với giá trị trong bảng ở một mức ý nghĩa nhất định và số bậc tự do ( N- 2).

Lỗi tham số tiêu chuẩn MỘT:

Tầm quan trọng của hệ số tương quan tuyến tính được kiểm tra dựa trên độ lớn của sai số hệ số tương quan t r:

Tổng phương sai đặc điểm X:

Hồi quy tuyến tính bội

Xây dựng mô hình

Hồi quy bội biểu thị sự hồi quy của một đặc tính hiệu quả với hai hoặc nhiều yếu tố, tức là một mô hình có dạng

Hồi quy có thể cho kết quả tốt trong mô hình hóa nếu có thể bỏ qua ảnh hưởng của các yếu tố khác ảnh hưởng đến đối tượng nghiên cứu. Không thể kiểm soát được hành vi của các biến số kinh tế riêng lẻ, tức là không thể đảm bảo sự bình đẳng của tất cả các điều kiện khác để đánh giá ảnh hưởng của một yếu tố đang nghiên cứu. Trong trường hợp này, bạn nên cố gắng xác định mức độ ảnh hưởng của các yếu tố khác bằng cách đưa chúng vào mô hình, tức là xây dựng phương trình hồi quy bội: y = a+b 1 x 1 +b 2 +…+b p x p + .

Mục tiêu chính của hồi quy bội là xây dựng một mô hình với số lượng lớn các yếu tố, đồng thời xác định mức độ ảnh hưởng của từng yếu tố một cách riêng biệt, cũng như tác động tổng hợp của chúng đối với chỉ báo được mô hình hóa. Đặc tả của mô hình bao gồm hai phạm vi vấn đề: lựa chọn các yếu tố và lựa chọn loại phương trình hồi quy

Phương pháp bình phương tối thiểu (OLS) cho phép bạn ước tính các đại lượng khác nhau bằng cách sử dụng kết quả của nhiều phép đo có chứa sai số ngẫu nhiên.

Đặc điểm của MNE

Ý tưởng chính của phương pháp này là tổng các sai số bình phương được coi là tiêu chí đánh giá độ chính xác của việc giải bài toán, điều này được tìm cách giảm thiểu. Khi sử dụng phương pháp này, có thể sử dụng cả phương pháp số và phương pháp phân tích.

Đặc biệt, khi triển khai bằng số, phương pháp bình phương tối thiểu liên quan đến việc thực hiện càng nhiều phép đo càng tốt đối với một biến ngẫu nhiên chưa biết. Hơn nữa, càng tính toán nhiều thì lời giải sẽ càng chính xác. Dựa trên bộ tính toán này (dữ liệu ban đầu), sẽ thu được một bộ giải pháp ước tính khác, từ đó chọn ra giải pháp tốt nhất. Nếu tập nghiệm được tham số hóa thì phương pháp bình phương tối thiểu sẽ được rút gọn để tìm giá trị tối ưu của các tham số.

Là một cách tiếp cận phân tích để triển khai LSM trên một tập hợp dữ liệu ban đầu (các phép đo) và một tập hợp các giải pháp dự kiến, một giải pháp nhất định (chức năng) được xác định, có thể được biểu thị bằng công thức thu được dưới dạng một giả thuyết nhất định cần được xác nhận. Trong trường hợp này, phương pháp bình phương nhỏ nhất dùng để tìm giá trị nhỏ nhất của hàm này trên tập hợp các sai số bình phương của dữ liệu gốc.

Xin lưu ý rằng đó không phải là lỗi mà là bình phương của lỗi. Tại sao? Thực tế là độ lệch của phép đo so với giá trị chính xác thường là dương và âm. Khi xác định giá trị trung bình, phép tính tổng đơn giản có thể dẫn đến kết luận không chính xác về chất lượng của ước tính, vì việc loại bỏ các giá trị dương và âm sẽ làm giảm khả năng lấy mẫu nhiều phép đo. Và do đó, tính chính xác của đánh giá.

Để ngăn chặn điều này xảy ra, các độ lệch bình phương được cộng lại. Hơn nữa, để cân bằng thứ nguyên của giá trị đo được và ước tính cuối cùng, tổng sai số bình phương được trích ra.

Một số ứng dụng của MNC

MNC được sử dụng rộng rãi trong nhiều lĩnh vực khác nhau. Ví dụ, trong lý thuyết xác suất và thống kê toán học, phương pháp được sử dụng để xác định đặc tính của biến ngẫu nhiên như độ lệch chuẩn, xác định độ rộng của phạm vi giá trị của biến ngẫu nhiên.

Trong đó tìm thấy ứng dụng rộng rãi nhất trong các lĩnh vực khoa học và hoạt động thực tế khác nhau. Đây có thể là vật lý, hóa học, sinh học, kinh tế, xã hội học, tâm lý học, v.v. Theo ý muốn của số phận, tôi thường xuyên phải giải quyết vấn đề kinh tế nên hôm nay tôi sẽ sắp xếp cho các bạn một chuyến du lịch đến một đất nước tuyệt vời mang tên Kinh tế lượng=) ...Sao có thể không muốn chứ?! Ở đó rất tốt – bạn chỉ cần quyết định thôi! ...Nhưng điều bạn chắc chắn muốn là học cách giải quyết vấn đề phương pháp bình phương tối thiểu. Và đặc biệt là những độc giả siêng năng sẽ học cách giải chúng không chỉ chính xác mà còn RẤT NHANH CHÓNG ;-) Nhưng trước tiên phát biểu chung của vấn đề+ Ví dụ kèm theo:

Giả sử rằng trong một lĩnh vực chủ đề nhất định, các chỉ số có biểu hiện định lượng được nghiên cứu. Đồng thời, có mọi lý do để tin rằng chỉ báo phụ thuộc vào chỉ báo. Giả định này có thể là một giả thuyết khoa học hoặc dựa trên lẽ thường cơ bản. Tuy nhiên, hãy gạt khoa học sang một bên và khám phá những lĩnh vực hấp dẫn hơn - cụ thể là cửa hàng tạp hóa. Hãy biểu thị bằng:

– diện tích bán lẻ của một cửa hàng tạp hóa, m2,
– doanh thu hàng năm của một cửa hàng tạp hóa, triệu rúp.

Rõ ràng là diện tích cửa hàng càng lớn thì trong hầu hết các trường hợp, doanh thu của nó sẽ càng lớn.

Giả sử rằng sau khi thực hiện các quan sát/thí nghiệm/tính toán/nhảy múa với trống lục lạc, chúng ta có sẵn dữ liệu số:

Với các cửa hàng tạp hóa, tôi nghĩ mọi thứ đều rõ ràng: - đây là khu vực của cửa hàng thứ 1, - doanh thu hàng năm, - khu vực của cửa hàng thứ 2, - doanh thu hàng năm, v.v. Nhân tiện, không nhất thiết phải có quyền truy cập vào các tài liệu đã được phân loại - có thể đạt được đánh giá khá chính xác về kim ngạch thương mại bằng cách thống kê toán học. Tuy nhiên, đừng để bị phân tâm, khóa học gián điệp thương mại đã được trả phí rồi =)

Dữ liệu dạng bảng cũng có thể được viết dưới dạng điểm và được mô tả dưới dạng quen thuộc Hệ thống Descartes .

Hãy trả lời một câu hỏi quan trọng: Cần bao nhiêu điểm cho một nghiên cứu định tính?

Càng nhiều càng tốt. Bộ tối thiểu có thể chấp nhận được bao gồm 5-6 điểm. Ngoài ra, khi lượng dữ liệu nhỏ thì không thể đưa các kết quả “bất thường” vào mẫu. Vì vậy, chẳng hạn, một cửa hàng nhỏ ưu tú có thể kiếm được nhiều đơn đặt hàng lớn hơn “các đồng nghiệp của nó”, do đó làm sai lệch mô hình chung mà bạn cần tìm!

Nói một cách đơn giản, chúng ta cần chọn một hàm, lịch trìnhđi càng gần các điểm càng tốt . Chức năng này được gọi là xấp xỉ (xấp xỉ - xấp xỉ) hoặc hàm lý thuyết . Nói chung, ngay lập tức xuất hiện một “đối thủ” rõ ràng - một đa thức bậc cao, đồ thị của nó đi qua TẤT CẢ các điểm. Nhưng tùy chọn này phức tạp và thường không chính xác. (vì biểu đồ sẽ luôn "lặp lại" và phản ánh kém xu hướng chính).

Như vậy, hàm tìm kiếm phải khá đơn giản, đồng thời phản ánh đầy đủ sự phụ thuộc. Như bạn có thể đoán, một trong những phương pháp để tìm những hàm như vậy được gọi là phương pháp bình phương tối thiểu. Đầu tiên, chúng ta hãy nhìn vào bản chất của nó một cách tổng quát. Giả sử một số hàm gần đúng với dữ liệu thực nghiệm:


Làm thế nào để đánh giá độ chính xác của phép tính gần đúng này? Chúng ta cũng hãy tính toán sự khác biệt (độ lệch) giữa các giá trị thực nghiệm và chức năng (chúng tôi nghiên cứu bản vẽ). Ý nghĩ đầu tiên xuất hiện trong đầu là ước tính tổng lớn bao nhiêu, nhưng vấn đề là sự khác biệt có thể âm. (Ví dụ, ) và những sai lệch do sự tổng hợp như vậy sẽ triệt tiêu lẫn nhau. Do đó, để ước tính độ chính xác của phép tính gần đúng, cần lấy tổng mô-đun sai lệch:

hoặc sụp đổ: (trong trường hợp ai đó chưa biết: – đây là biểu tượng tổng và – một biến “bộ đếm” phụ trợ, nhận các giá trị từ 1 đến ).

Bằng cách xấp xỉ các điểm thử nghiệm với các hàm khác nhau, chúng ta sẽ thu được các giá trị khác nhau và rõ ràng, khi tổng này nhỏ hơn thì hàm đó chính xác hơn.

Một phương pháp như vậy tồn tại và nó được gọi là phương pháp mô đun tối thiểu. Tuy nhiên, trên thực tế nó đã trở nên phổ biến hơn nhiều. phương pháp bình phương tối thiểu, trong đó các giá trị âm có thể bị loại bỏ không phải bởi mô-đun mà bằng cách bình phương các độ lệch:

, sau đó nỗ lực nhằm mục đích chọn một hàm sao cho tổng bình phương độ lệch càng nhỏ càng tốt. Trên thực tế, tên của phương thức này bắt nguồn từ đây.

Và bây giờ chúng ta quay lại một điểm quan trọng khác: như đã lưu ý ở trên, hàm được chọn phải khá đơn giản - nhưng cũng có nhiều hàm như vậy: tuyến tính , hyperbol, hàm mũ, logarit, bậc hai vân vân. Và tất nhiên, ở đây tôi muốn “thu hẹp lĩnh vực hoạt động” ngay lập tức. Tôi nên chọn loại chức năng nào để nghiên cứu? Một kỹ thuật nguyên thủy nhưng hiệu quả:

– Dễ dàng nhất để mô tả điểm trên bản vẽ và phân tích vị trí của chúng. Nếu chúng có xu hướng chạy theo đường thẳng thì bạn nên tìm phương trình của một đường thẳng với các giá trị tối ưu và . Nói cách khác, nhiệm vụ là tìm các hệ số SUCH sao cho tổng bình phương độ lệch là nhỏ nhất.

Ví dụ, nếu các điểm nằm dọc theo cường điệu, thì rõ ràng là hàm tuyến tính sẽ cho kết quả gần đúng kém. Trong trường hợp này, chúng ta đang tìm kiếm các hệ số “có lợi” nhất cho phương trình hyperbol – những cái cho tổng bình phương tối thiểu .

Bây giờ hãy lưu ý rằng trong cả hai trường hợp chúng ta đang nói về hàm hai biến, đối số của nó là tham số phụ thuộc được tìm kiếm:

Và về cơ bản chúng ta cần giải một bài toán chuẩn - tìm hàm tối thiểu của hai biến.

Hãy nhớ lại ví dụ của chúng ta: giả sử rằng các điểm “lưu trữ” có xu hướng nằm trên một đường thẳng và có mọi lý do để tin rằng sự phụ thuộc tuyến tính doanh thu từ không gian bán lẻ. Hãy tìm các hệ số như vậy “a” và “be” sao cho tổng các bình phương là nhỏ nhất. Mọi thứ vẫn như thường lệ - đầu tiên Đạo hàm riêng cấp 1. Theo quy tắc tuyến tính Bạn có thể phân biệt ngay dưới biểu tượng tổng:

Nếu bạn muốn sử dụng thông tin này cho một bài luận hoặc bài viết học kỳ, tôi sẽ rất biết ơn về liên kết trong danh sách các nguồn; bạn sẽ tìm thấy những tính toán chi tiết như vậy ở một số nơi:

Hãy tạo một hệ thống tiêu chuẩn:

Chúng tôi giảm mỗi phương trình bằng “hai” và ngoài ra, “chia nhỏ” các tổng:

Ghi chú : phân tích độc lập tại sao “a” và “be” có thể được đưa ra ngoài biểu tượng tổng. Nhân tiện, về mặt hình thức điều này có thể được thực hiện với tổng

Hãy viết lại hệ thống ở dạng “áp dụng”:

sau đó thuật toán giải quyết vấn đề của chúng tôi bắt đầu xuất hiện:

Chúng ta có biết tọa độ của các điểm không? Chúng tôi biết. Số tiền chúng ta có thể tìm thấy nó không? Một cách dễ dàng. Hãy làm điều đơn giản nhất hệ hai phương trình tuyến tính hai ẩn số(“a” và “được”). Chúng tôi giải quyết hệ thống, ví dụ, Phương pháp Cramer, nhờ đó ta thu được điểm dừng. Kiểm tra điều kiện đủ để đạt cực trị, chúng ta có thể xác minh rằng tại thời điểm này hàm đạt chính xác tối thiểu. Việc kiểm tra bao gồm các tính toán bổ sung và do đó chúng tôi sẽ bỏ qua nó (nếu cần có thể xem lại khung hình bị thiếu). Chúng tôi rút ra kết luận cuối cùng:

Chức năng theo cách tốt nhất có thể (ít nhất là so với bất kỳ hàm tuyến tính nào khác) mang các điểm thử nghiệm đến gần hơn . Nói một cách đại khái, đồ thị của nó đi càng gần những điểm này càng tốt. Trong truyền thống kinh tế lượng hàm xấp xỉ kết quả còn được gọi là phương trình hồi quy tuyến tính ghép đôi .

Vấn đề đang được xem xét có ý nghĩa thực tiễn rất lớn. Trong tình huống ví dụ của chúng tôi, phương trình. cho phép bạn dự đoán doanh thu giao dịch ("Người Igrek") cửa hàng sẽ có giá trị này hoặc giá trị khác của khu vực bán hàng (ý nghĩa này hoặc ý nghĩa khác của “x”). Đúng, dự báo thu được sẽ chỉ là dự báo, nhưng trong nhiều trường hợp, nó sẽ khá chính xác.

Tôi sẽ chỉ phân tích một bài toán với số “thực”, vì nó không có khó khăn gì - tất cả các phép tính đều ở cấp độ chương trình học lớp 7-8. Trong 95% trường hợp, bạn sẽ được yêu cầu chỉ tìm một hàm tuyến tính, nhưng ở cuối bài viết, tôi sẽ chỉ ra rằng việc tìm các phương trình của hyperbola tối ưu, hàm mũ và một số hàm khác không còn khó khăn nữa.

Trên thực tế, tất cả những gì còn lại là phân phát những điều tốt đẹp đã hứa - để bạn có thể học cách giải những ví dụ như vậy không chỉ một cách chính xác mà còn nhanh chóng. Chúng tôi nghiên cứu kỹ tiêu chuẩn:

Nhiệm vụ

Kết quả nghiên cứu mối quan hệ giữa hai chỉ số, thu được các cặp số sau:

Sử dụng phương pháp bình phương tối thiểu, tìm hàm tuyến tính gần đúng nhất với phương trình thực nghiệm (có kinh nghiệm) dữ liệu. Vẽ hình để xây dựng các điểm thực nghiệm và đồ thị hàm số gần đúng trong hệ tọa độ chữ nhật Descartes . Tìm tổng bình phương độ lệch giữa giá trị thực nghiệm và lý thuyết. Tìm hiểu xem tính năng này có tốt hơn không (theo quan điểm của phương pháp bình phương tối thiểu)đưa các điểm thực nghiệm đến gần hơn.

Xin lưu ý rằng ý nghĩa của “x” là tự nhiên và điều này có ý nghĩa đặc trưng mà tôi sẽ nói đến sau; nhưng tất nhiên chúng cũng có thể là phân số. Ngoài ra, tùy thuộc vào nội dung của một nhiệm vụ cụ thể, cả giá trị “X” và “trò chơi” đều có thể âm hoàn toàn hoặc một phần. Chà, chúng tôi đã được giao một nhiệm vụ “vô danh”, và chúng tôi bắt đầu nó giải pháp:

Ta tìm các hệ số của hàm tối ưu là nghiệm của hệ:

Với mục đích ghi lại gọn gàng hơn, có thể bỏ qua biến "bộ đếm" vì đã rõ ràng rằng phép tính tổng được thực hiện từ 1 đến .

Sẽ thuận tiện hơn khi tính số tiền cần thiết ở dạng bảng:


Các phép tính có thể được thực hiện trên máy tính vi mô, nhưng sẽ tốt hơn nhiều nếu sử dụng Excel - vừa nhanh hơn vừa không có lỗi; xem một đoạn video ngắn:

Vì vậy, chúng tôi nhận được những điều sau đây hệ thống:

Ở đây bạn có thể nhân phương trình thứ hai với 3 và trừ số hạng thứ 2 từ số hạng phương trình thứ nhất theo số hạng. Nhưng đây là sự may mắn - trong thực tế, các hệ thống thường không phải là một món quà và trong những trường hợp như vậy, nó sẽ tiết kiệm được Phương pháp Cramer:
, nghĩa là hệ có nghiệm duy nhất.

Hãy kiểm tra. Tôi hiểu rằng bạn không muốn, nhưng tại sao lại bỏ qua những sai lầm mà chúng hoàn toàn không thể bỏ qua? Chúng ta thay nghiệm tìm được vào vế trái của mỗi phương trình của hệ:

Thu được vế phải của các phương trình tương ứng, nghĩa là hệ đã được giải đúng.

Do đó, hàm xấp xỉ mong muốn: – từ tất cả các hàm tuyến tính Chính cô ấy là người ước tính tốt nhất các dữ liệu thực nghiệm.

Không giống trực tiếp sự phụ thuộc của doanh thu của cửa hàng vào diện tích của nó, sự phụ thuộc được tìm thấy là đảo ngược (nguyên tắc “càng nhiều, càng ít”), và sự thật này ngay lập tức được bộc lộ bởi sự tiêu cực độ dốc. Chức năng cho chúng ta biết rằng khi tăng một chỉ báo nhất định lên 1 đơn vị, giá trị của chỉ báo phụ thuộc sẽ giảm trung bình bằng 0,65 đơn vị. Như người ta nói, giá kiều mạch càng cao thì càng bán được ít.

Để vẽ hàm gần đúng, hãy tìm hai giá trị của nó:

và thực hiện bản vẽ:


Đường thẳng dựng được gọi là đường xu hướng (cụ thể là đường xu hướng tuyến tính, tức là trong trường hợp chung, xu hướng không nhất thiết phải là đường thẳng). Mọi người đều quen thuộc với cụm từ “bắt kịp xu hướng” và tôi nghĩ rằng thuật ngữ này không cần bình luận thêm.

Hãy tính tổng bình phương độ lệch giữa các giá trị thực nghiệm và lý thuyết. Về mặt hình học, đây là tổng bình phương độ dài của các đoạn “quả mâm xôi” (hai trong số đó nhỏ đến mức không thể nhìn thấy được).

Hãy tóm tắt các tính toán trong một bảng:


Chúng có thể được thực hiện lại một cách thủ công; chỉ trong trường hợp, tôi sẽ đưa ra một ví dụ cho điểm đầu tiên:

nhưng sẽ hiệu quả hơn nhiều nếu làm theo cách đã biết:

Chúng tôi nhắc lại một lần nữa: Ý nghĩa của kết quả thu được là gì? Từ tất cả các hàm tuyến tính hàm y chỉ báo là nhỏ nhất, nghĩa là trong họ của nó, nó là giá trị gần đúng tốt nhất. Và nhân tiện, ở đây, câu hỏi cuối cùng của bài toán không phải ngẫu nhiên: điều gì sẽ xảy ra nếu hàm mũ đề xuất Sẽ tốt hơn nếu đưa các điểm thử nghiệm lại gần hơn?

Chúng ta hãy tìm tổng bình phương tương ứng - để phân biệt, tôi sẽ biểu thị chúng bằng chữ cái epsilon. Kỹ thuật này hoàn toàn giống nhau:


Và một lần nữa, để đề phòng, các phép tính cho điểm thứ nhất:

Trong Excel chúng ta sử dụng hàm tiêu chuẩn EXP (cú pháp có thể được tìm thấy trong Trợ giúp Excel).

Phần kết luận: , có nghĩa là hàm mũ xấp xỉ các điểm thực nghiệm kém hơn đường thẳng .

Nhưng ở đây cần lưu ý rằng “tệ hơn” là không có nghĩa là chưa, điều đó thật tệ. Bây giờ tôi đã xây dựng được đồ thị của hàm số mũ này - và nó cũng đi gần đến các điểm - nhiều đến mức nếu không nghiên cứu phân tích thì khó có thể nói hàm nào chính xác hơn.

Điều này kết thúc giải pháp và tôi quay lại câu hỏi về các giá trị tự nhiên của đối số. Trong nhiều nghiên cứu khác nhau, thường là kinh tế hoặc xã hội học, chữ “X” tự nhiên được sử dụng để đánh số tháng, năm hoặc các khoảng thời gian bằng nhau khác. Ví dụ, hãy xem xét vấn đề sau đây.