100 RUR tiền thưởng cho đơn hàng đầu tiên
Chọn loại công việc Bài tập cấp bằng Bài tập khóa học Tóm tắt Luận văn thạc sĩ Báo cáo thực hành Bài viết Báo cáo Đánh giá Bài kiểm tra Chuyên khảo Giải quyết vấn đề Kế hoạch kinh doanh Trả lời câu hỏi Công việc sáng tạo Bài luận Vẽ Bài luận Dịch thuật Trình bày Đánh máy Khác Tăng tính độc đáo của văn bản Luận văn thạc sĩ Công việc thí nghiệm trực tuyến giúp đỡ
Tìm hiểu giá
Phương pháp bình phương tối thiểu là một kỹ thuật toán học (thống kê toán học) được sử dụng để căn chỉnh chuỗi thời gian, xác định dạng tương quan giữa các biến ngẫu nhiên, v.v. Nó bao gồm thực tế là hàm mô tả một hiện tượng nhất định được xấp xỉ bằng một hàm đơn giản hơn. Hơn nữa, cái sau được chọn sao cho độ lệch chuẩn (xem Độ phân tán) của mức thực tế của hàm tại các điểm được quan sát so với các điểm được căn chỉnh là nhỏ nhất.
Ví dụ: theo dữ liệu có sẵn ( xi,yi) (Tôi = 1, 2, ..., N) một đường cong như vậy được xây dựng y = Một + bx, tại đó đạt được tổng bình phương tối thiểu
tức là, một hàm phụ thuộc vào hai tham số được giảm thiểu: Một- đoạn trên trục tọa độ và b- độ dốc của đường thẳng
Các phương trình đưa ra các điều kiện cần thiết để giảm thiểu hàm số S(Một,b), được gọi là các phương trình bình thường. Là các hàm gần đúng, không chỉ tuyến tính (căn chỉnh dọc theo một đường thẳng) mà còn sử dụng cả phương trình bậc hai, parabol, hàm mũ, v.v.. Để biết ví dụ về việc căn chỉnh chuỗi thời gian dọc theo một đường thẳng, xem Hình 2. M.2, trong đó tổng bình phương khoảng cách ( y 1 – ȳ 1)2 + (y 2 – ȳ 2)2 .... là đường thẳng nhỏ nhất và đường thẳng thu được phản ánh tốt nhất xu hướng của một chuỗi quan sát động về một chỉ báo nhất định theo thời gian.
Đối với các ước tính OLS không thiên vị, điều cần và đủ là phải đáp ứng điều kiện quan trọng nhất của phân tích hồi quy: kỳ vọng toán học của một sai số ngẫu nhiên, tùy thuộc vào các yếu tố, phải bằng 0. Đặc biệt, điều kiện này được đáp ứng nếu: 1. kỳ vọng toán học của sai số ngẫu nhiên bằng 0 và 2. hệ số và sai số ngẫu nhiên là các biến ngẫu nhiên độc lập. Điều kiện đầu tiên có thể được coi là luôn được đáp ứng đối với các mô hình có hằng số, vì hằng số có kỳ vọng sai số toán học khác 0. Điều kiện thứ hai - điều kiện ngoại sinh của các yếu tố - là cơ bản. Nếu đặc tính này không được đáp ứng, thì chúng ta có thể giả định rằng hầu hết mọi ước tính sẽ cực kỳ không đạt yêu cầu: chúng thậm chí sẽ không nhất quán (nghĩa là ngay cả một lượng dữ liệu rất lớn cũng không cho phép chúng ta có được ước tính chất lượng cao trong trường hợp này ).
Phương pháp ước lượng thống kê phổ biến nhất của các tham số của phương trình hồi quy là phương pháp bình phương tối thiểu. Phương pháp này dựa trên một số giả định về bản chất của dữ liệu và kết quả của mô hình. Những cái chính là sự phân chia rõ ràng các biến ban đầu thành phụ thuộc và độc lập, tính không tương quan của các yếu tố có trong phương trình, tính tuyến tính của mối quan hệ, không có tự tương quan của phần dư, sự bằng nhau của kỳ vọng toán học của chúng với 0 và hằng số sự phân tán.
Một trong những giả thuyết chính của OLS là giả định về sự bằng nhau của phương sai của độ lệch ei, tức là. mức chênh lệch của chúng xung quanh giá trị trung bình (không) của chuỗi phải là giá trị ổn định. Tính chất này được gọi là tính đồng nhất. Trong thực tế, phương sai của độ lệch thường không bằng nhau, nghĩa là có sự không đồng nhất thay đổi. Điều này có thể là do nhiều lý do. Ví dụ: có thể có lỗi trong dữ liệu nguồn. Đôi khi thông tin nguồn không chính xác, chẳng hạn như lỗi về thứ tự các con số, có thể có tác động đáng kể đến kết quả. Thông thường, độ lệch lớn hơn єi được quan sát thấy với các giá trị lớn của biến phụ thuộc (các biến). Nếu dữ liệu có sai số đáng kể thì đương nhiên độ lệch của giá trị mô hình tính toán từ dữ liệu sai cũng sẽ lớn. Để loại bỏ lỗi này, chúng ta cần giảm sự đóng góp của dữ liệu này vào kết quả tính toán, gán ít trọng số hơn cho chúng so với tất cả những dữ liệu khác. Ý tưởng này được thực hiện trong OLS có trọng số.
Xấp xỉ dữ liệu thực nghiệm là phương pháp dựa trên việc thay thế dữ liệu thu được từ thực nghiệm bằng hàm phân tích gần nhất hoặc trùng khớp tại các điểm nút với các giá trị ban đầu (dữ liệu thu được trong quá trình thử nghiệm hoặc thử nghiệm). Hiện tại, có hai cách để xác định hàm phân tích:
Bằng cách xây dựng một đa thức nội suy bậc n vượt qua trực tiếp qua tất cả các điểm một mảng dữ liệu nhất định. Trong trường hợp này, hàm xấp xỉ được biểu diễn dưới dạng: đa thức nội suy ở dạng Lagrange hoặc đa thức nội suy ở dạng Newton.
Bằng cách xây dựng một đa thức gần đúng bậc n vượt qua ở lân cận của các điểm từ một mảng dữ liệu nhất định. Do đó, hàm gần đúng sẽ loại bỏ tất cả nhiễu (hoặc lỗi) ngẫu nhiên có thể phát sinh trong quá trình thử nghiệm: các giá trị đo được trong quá trình thử nghiệm phụ thuộc vào các yếu tố ngẫu nhiên dao động theo quy luật ngẫu nhiên của riêng chúng (lỗi đo lường hoặc lỗi dụng cụ, độ không chính xác hoặc thử nghiệm lỗi). Trong trường hợp này, hàm gần đúng được xác định bằng phương pháp bình phương tối thiểu.
Phương pháp bình phương tối thiểu(trong tài liệu tiếng Anh Bình phương tối thiểu thông thường, OLS) là một phương pháp toán học dựa trên việc xác định hàm gần đúng, được xây dựng ở vị trí gần nhất với các điểm từ một mảng dữ liệu thử nghiệm nhất định. Độ gần nhau của hàm gốc và hàm xấp xỉ F(x) được xác định bằng thước đo số, cụ thể là: tổng bình phương độ lệch của dữ liệu thực nghiệm so với đường cong xấp xỉ F(x) phải nhỏ nhất.
Đường cong gần đúng được xây dựng bằng phương pháp bình phương nhỏ nhất
Phương pháp bình phương tối thiểu được sử dụng:
Giải các hệ phương trình đã xác định quá mức khi số phương trình vượt quá số ẩn;
Để tìm giải pháp trong trường hợp hệ phương trình phi tuyến thông thường (không được xác định quá mức);
Để xấp xỉ các giá trị điểm bằng một số hàm gần đúng.
Hàm xấp xỉ sử dụng phương pháp bình phương nhỏ nhất được xác định từ điều kiện tổng bình phương tối thiểu của độ lệch bình phương của hàm xấp xỉ được tính toán từ một mảng dữ liệu thực nghiệm cho trước. Tiêu chí này của phương pháp bình phương tối thiểu được viết dưới dạng biểu thức sau:
Các giá trị của hàm xấp xỉ được tính toán tại các điểm nút,
Một mảng dữ liệu thử nghiệm nhất định tại các điểm nút.
Tiêu chuẩn bậc hai có một số thuộc tính “tốt”, chẳng hạn như khả vi, cung cấp một giải pháp duy nhất cho bài toán gần đúng bằng các hàm xấp xỉ đa thức.
Tùy theo điều kiện của bài toán mà hàm xấp xỉ là đa thức bậc m
Bậc của hàm xấp xỉ không phụ thuộc vào số điểm nút mà chiều của nó phải luôn nhỏ hơn chiều (số điểm) của mảng dữ liệu thực nghiệm cho trước.
∙ Nếu bậc của hàm gần đúng là m=1 thì chúng ta xấp xỉ hàm dạng bảng bằng một đường thẳng (hồi quy tuyến tính).
∙ Nếu bậc của hàm gần đúng là m=2 thì chúng ta xấp xỉ hàm trong bảng bằng một parabol bậc hai (xấp xỉ bậc hai).
∙ Nếu bậc của hàm xấp xỉ là m=3 thì chúng ta xấp xỉ hàm trong bảng bằng một parabol bậc ba (xấp xỉ bậc ba).
Trong trường hợp tổng quát, khi cần xây dựng một đa thức gần đúng bậc m cho các giá trị trong bảng cho trước, điều kiện tối thiểu của tổng bình phương độ lệch trên tất cả các điểm nút được viết lại dưới dạng sau:
- các hệ số chưa biết của đa thức gần đúng bậc m;
Số lượng giá trị bảng được chỉ định.
Điều kiện cần để tồn tại cực tiểu của hàm số là đạo hàm riêng của nó bằng 0 đối với các biến chưa biết . Kết quả ta thu được hệ phương trình sau:
Hãy biến đổi hệ phương trình tuyến tính thu được: mở dấu ngoặc và di chuyển các số hạng tự do sang vế phải của biểu thức. Kết quả, hệ biểu thức đại số tuyến tính thu được sẽ được viết dưới dạng sau:
Hệ biểu thức đại số tuyến tính này có thể được viết lại dưới dạng ma trận:
Kết quả là đã thu được một hệ phương trình tuyến tính có chiều m+1, bao gồm m+1 ẩn số. Hệ thống này có thể được giải bằng bất kỳ phương pháp nào để giải phương trình đại số tuyến tính (ví dụ: phương pháp Gaussian). Kết quả của giải pháp là các tham số chưa biết của hàm gần đúng sẽ được tìm thấy cung cấp tổng độ lệch bình phương tối thiểu của hàm gần đúng so với dữ liệu gốc, tức là. xấp xỉ bậc hai tốt nhất có thể. Cần nhớ rằng nếu ngay cả một giá trị của dữ liệu nguồn thay đổi thì tất cả các hệ số sẽ thay đổi giá trị của chúng vì chúng hoàn toàn được xác định bởi dữ liệu nguồn.
Xấp xỉ dữ liệu nguồn bằng sự phụ thuộc tuyến tính
(hồi quy tuyến tính)
Ví dụ: hãy xem xét kỹ thuật xác định hàm gần đúng, được chỉ định dưới dạng phụ thuộc tuyến tính. Theo phương pháp bình phương tối thiểu, điều kiện để có tổng bình phương nhỏ nhất được viết dưới dạng sau:
Tọa độ của các nút bảng;
Các hệ số chưa xác định của hàm gần đúng, được chỉ định dưới dạng phụ thuộc tuyến tính.
Điều kiện cần để tồn tại cực tiểu của hàm số là đạo hàm riêng của nó bằng 0 đối với các biến chưa biết. Kết quả ta thu được hệ phương trình sau:
Chúng ta hãy biến đổi hệ phương trình tuyến tính thu được.
Chúng tôi giải hệ thống kết quả của phương trình tuyến tính. Các hệ số của hàm xấp xỉ ở dạng giải tích được xác định như sau (phương pháp Cramer):
Các hệ số này đảm bảo xây dựng hàm xấp xỉ tuyến tính theo tiêu chí cực tiểu hóa tổng bình phương của hàm xấp xỉ từ các giá trị bảng cho trước (dữ liệu thực nghiệm).
Thuật toán thực hiện phương pháp bình phương tối thiểu
1. Dữ liệu ban đầu:
Mảng dữ liệu thực nghiệm với số lần đo N được xác định
Bậc của đa thức xấp xỉ (m) được xác định
2. Thuật toán tính toán:
2.1. Các hệ số để xây dựng hệ phương trình có chiều được xác định
Các hệ số của hệ phương trình (vế trái của phương trình)
- chỉ số số cột của ma trận vuông của hệ phương trình
Các số hạng tự do của hệ phương trình tuyến tính (vế phải của phương trình)
- chỉ số số hàng của ma trận vuông của hệ phương trình
2.2. Xây dựng hệ phương trình tuyến tính có chiều.
2.3. Giải hệ phương trình tuyến tính xác định các hệ số chưa biết của một đa thức xấp xỉ bậc m.
2.4. Xác định tổng bình phương độ lệch của đa thức xấp xỉ so với giá trị ban đầu tại tất cả các điểm nút
Giá trị tìm thấy của tổng bình phương độ lệch là nhỏ nhất có thể.
Xấp xỉ bằng các hàm khác
Cần lưu ý rằng khi xấp xỉ dữ liệu gốc theo phương pháp bình phương tối thiểu, hàm logarit, hàm mũ và hàm lũy thừa đôi khi được sử dụng làm hàm xấp xỉ.
Xấp xỉ logarit
Hãy xem xét trường hợp khi hàm gần đúng được cho bởi hàm logarit có dạng:
Sau khi san lấp mặt bằng, chúng ta thu được hàm có dạng sau: g (x) = x + 1 3 + 1 .
Chúng ta có thể ước chừng dữ liệu này bằng cách sử dụng mối quan hệ tuyến tính y = a x + b bằng cách tính các tham số tương ứng. Để làm được điều này, chúng ta sẽ cần áp dụng phương pháp được gọi là phương pháp bình phương tối thiểu. Bạn cũng sẽ cần phải vẽ để kiểm tra xem đường nào sẽ căn chỉnh tốt nhất dữ liệu thử nghiệm.
Yandex.RTB R-A-339285-1
Chính xác thì OLS (phương pháp bình phương tối thiểu) là gì
Điều chính chúng ta cần làm là tìm các hệ số phụ thuộc tuyến tính sao cho giá trị của hàm hai biến F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 sẽ là nhỏ nhất. Nói cách khác, đối với các giá trị nhất định của a và b, tổng bình phương độ lệch của dữ liệu được trình bày so với đường thẳng thu được sẽ có giá trị tối thiểu. Đây là ý nghĩa của phương pháp bình phương tối thiểu. Tất cả những gì chúng ta cần làm để giải ví dụ này là tìm cực trị của hàm hai biến.
Cách rút ra công thức tính hệ số
Để rút ra công thức tính hệ số, bạn cần tạo và giải hệ phương trình hai biến. Để làm điều này, chúng ta tính đạo hàm riêng của biểu thức F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 đối với a và b và đánh đồng chúng bằng 0.
δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i
Để giải hệ phương trình, bạn có thể sử dụng bất kỳ phương pháp nào, ví dụ: phương pháp thay thế hoặc phương pháp Cramer. Kết quả là chúng ta nên có các công thức có thể sử dụng để tính các hệ số bằng phương pháp bình phương tối thiểu.
n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n
Chúng tôi đã tính toán giá trị của các biến mà tại đó hàm
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 sẽ lấy giá trị nhỏ nhất. Trong đoạn thứ ba, chúng tôi sẽ chứng minh tại sao nó lại như vậy.
Đây là ứng dụng của phương pháp bình phương nhỏ nhất trong thực tế. Công thức của nó, được sử dụng để tìm tham số a, bao gồm ∑ i = 1 n x i, ∑ i = 1 n y i, ∑ i = 1 n x i y i, ∑ i = 1 n x i 2, cũng như tham số
n – nó biểu thị lượng dữ liệu thử nghiệm. Chúng tôi khuyên bạn nên tính riêng từng số tiền. Giá trị của hệ số b được tính ngay sau a.
Hãy quay lại ví dụ ban đầu.
Ví dụ 1
Ở đây chúng ta có n bằng năm. Để thuận tiện hơn trong việc tính toán số lượng cần thiết có trong công thức hệ số, chúng ta hãy điền vào bảng.
| tôi = 1 | tôi=2 | tôi=3 | tôi=4 | tôi=5 | ∑ tôi = 1 5 | |
| x tôi | 0 | 1 | 2 | 4 | 5 | 12 |
| ừ tôi | 2 , 1 | 2 , 4 | 2 , 6 | 2 , 8 | 3 | 12 , 9 |
| x tôi y tôi | 0 | 2 , 4 | 5 , 2 | 11 , 2 | 15 | 33 , 8 |
| x tôi 2 | 0 | 1 | 4 | 16 | 25 | 46 |
Giải pháp
Hàng thứ tư bao gồm dữ liệu thu được bằng cách nhân các giá trị từ hàng thứ hai với các giá trị của hàng thứ ba cho mỗi cá nhân i. Dòng thứ năm chứa dữ liệu từ dòng thứ hai, bình phương. Cột cuối cùng hiển thị tổng giá trị của các hàng riêng lẻ.
Hãy sử dụng phương pháp bình phương tối thiểu để tính các hệ số a và b mà chúng ta cần. Để thực hiện việc này, hãy thay thế các giá trị bắt buộc từ cột cuối cùng và tính số tiền:
n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n ⇒ a = 5 33, 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184
Hóa ra đường thẳng xấp xỉ cần thiết sẽ có dạng y = 0, 165 x + 2, 184. Bây giờ chúng ta cần xác định dòng nào sẽ xấp xỉ dữ liệu tốt hơn - g (x) = x + 1 3 + 1 hoặc 0, 165 x + 2, 184. Hãy ước lượng bằng phương pháp bình phương nhỏ nhất.
Để tính sai số, chúng ta cần tìm tổng bình phương độ lệch của dữ liệu so với các đường thẳng σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 và σ 2 = ∑ i = 1 n (y i - g (x i)) 2 thì giá trị nhỏ nhất sẽ tương ứng với dòng phù hợp hơn.
σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0, 165 x i + 2, 184)) 2 ≈ 0, 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0,096
Trả lời: kể từ σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0,165 x + 2,184.
Phương pháp bình phương tối thiểu được thể hiện rõ ràng trong hình minh họa đồ họa. Đường màu đỏ đánh dấu đường thẳng g(x) = x + 1 3 + 1, đường màu xanh đánh dấu y = 0, 165 x + 2, 184. Dữ liệu gốc được biểu thị bằng các chấm màu hồng.
Hãy để chúng tôi giải thích tại sao cần có những xấp xỉ chính xác thuộc loại này.
Chúng có thể được sử dụng trong các tác vụ yêu cầu làm mịn dữ liệu cũng như trong những tác vụ mà dữ liệu phải được nội suy hoặc ngoại suy. Ví dụ, trong bài toán đã thảo luận ở trên, người ta có thể tìm giá trị của đại lượng y quan sát được tại x = 3 hoặc tại x = 6. Chúng tôi đã dành một bài viết riêng cho những ví dụ như vậy.
Chứng minh phương pháp OLS
Để hàm số lấy giá trị nhỏ nhất khi tính a và b thì tại một điểm cho trước cần có ma trận dạng bậc hai vi phân của hàm số dạng F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 là xác định dương. Hãy cho bạn thấy nó trông như thế nào.
Ví dụ 2
Ta có vi phân bậc hai có dạng sau:
d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d adb + δ 2 F (a ; b) δ b 2 d 2 b
Giải pháp
δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a; b) δ a δ b = δ δ F (a; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n
Nói cách khác, chúng ta có thể viết nó như thế này: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b.
Ta thu được ma trận dạng bậc hai M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .
Trong trường hợp này, giá trị của từng phần tử sẽ không thay đổi tùy theo a và b. Ma trận này có xác định dương không? Để trả lời câu hỏi này, chúng ta hãy kiểm tra xem các góc nhỏ của nó có dương hay không.
Chúng ta tính góc nhỏ bậc nhất: 2 ∑ i = 1 n (x i) 2 > 0 . Vì các điểm x i không trùng nhau nên bất đẳng thức là nghiêm ngặt. Chúng tôi sẽ ghi nhớ điều này trong các tính toán tiếp theo.
Chúng tôi tính toán góc nhỏ bậc hai:
d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2
Sau đó, chúng ta tiến hành chứng minh bất đẳng thức n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 bằng phương pháp quy nạp toán học.
- Hãy kiểm tra xem bất đẳng thức này có đúng với n tùy ý hay không. Hãy lấy 2 và tính toán:
2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0
Ta đã thu được đẳng thức đúng (nếu giá trị x 1 và x 2 không trùng nhau).
- Chúng ta hãy giả sử rằng bất đẳng thức này sẽ đúng với n, tức là n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – đúng.
- Bây giờ chúng ta sẽ chứng minh tính đúng đắn của n + 1, tức là rằng (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0, nếu n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .
Chúng tôi tính toán:
(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0
Biểu thức nằm trong dấu ngoặc nhọn sẽ lớn hơn 0 (dựa trên những gì chúng ta đã giả định ở bước 2) và các số hạng còn lại sẽ lớn hơn 0, vì chúng đều là bình phương của các số. Ta đã chứng minh được bất đẳng thức.
Trả lời: a và b tìm được sẽ tương ứng với giá trị nhỏ nhất của hàm F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, nghĩa là chúng là tham số bắt buộc của phương pháp bình phương tối thiểu (LSM).
Nếu bạn thấy văn bản có lỗi, vui lòng đánh dấu nó và nhấn Ctrl+Enter
Phương pháp bình phương tối thiểu thông thường (OLS)- một phương pháp toán học được sử dụng để giải các bài toán khác nhau, dựa trên việc giảm thiểu tổng bình phương độ lệch của các hàm nhất định so với các biến mong muốn. Nó có thể được sử dụng để “giải” các hệ phương trình được xác định quá mức (khi số lượng phương trình vượt quá số ẩn số), để tìm giải pháp trong trường hợp các hệ phương trình phi tuyến thông thường (không được xác định quá mức), để tính gần đúng giá trị điểm của một số chức năng. OLS là một trong những phương pháp phân tích hồi quy cơ bản để ước lượng các tham số chưa biết của mô hình hồi quy từ dữ liệu mẫu.
YouTube bách khoa toàn thư
1 / 5
✪ Phương pháp bình phương tối thiểu. Chủ thể
✪ Mitin I.V. - Xử lý kết quả vật lý. thí nghiệm - Phương pháp bình phương tối thiểu (Bài 4)
✪ Phương pháp bình phương tối thiểu bài 1/2. hàm tuyến tính
✪ Kinh tế lượng. Bài 5. Phương pháp bình phương tối thiểu
✪ Phương pháp bình phương tối thiểu. câu trả lời
phụ đề
Câu chuyện
Cho đến đầu thế kỷ 19. các nhà khoa học chưa có những quy tắc nhất định để giải hệ phương trình trong đó số ẩn số nhỏ hơn số phương trình; Cho đến thời điểm đó, các kỹ thuật riêng đã được sử dụng tùy thuộc vào loại phương trình và trí thông minh của người tính, và do đó, các máy tính khác nhau, dựa trên cùng một dữ liệu quan sát, đã đưa ra các kết luận khác nhau. Gauss (1795) là người đầu tiên sử dụng phương pháp này và Legendre (1805) đã độc lập phát hiện và xuất bản nó dưới cái tên hiện đại (tiếng Pháp. Phương pháp moindres quarrés) . Laplace đã kết nối phương pháp này với lý thuyết xác suất, và nhà toán học người Mỹ Adrain (1808) đã xem xét các ứng dụng lý thuyết xác suất của nó. Phương pháp này đã được phổ biến rộng rãi và được cải tiến nhờ nghiên cứu sâu hơn của Encke, Bessel, Hansen và những người khác.
Bản chất của phương pháp bình phương tối thiểu
Cho phép x (\displaystyle x)- bộ n (\displaystyle n) biến không xác định (tham số), f tôi (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- một tập hợp các hàm từ tập hợp các biến này. Nhiệm vụ là chọn các giá trị như vậy x (\displaystyle x), sao cho giá trị của các hàm này càng gần với giá trị nhất định càng tốt y tôi (\displaystyle y_(i)). Về cơ bản chúng ta đang nói về “lời giải” của một hệ phương trình được xác định quá mức f tôi (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\ldots ,m) theo nghĩa được chỉ ra là mức độ gần nhau tối đa của phần bên trái và bên phải của hệ thống. Bản chất của phương pháp bình phương tối thiểu là chọn tổng độ lệch bình phương của cạnh trái và cạnh phải làm “thước đo độ gần”. | f i (x) − y i |
(\displaystyle |f_(i)(x)-y_(i)|).. Như vậy, bản chất của MNC có thể được thể hiện như sau: x (\displaystyle x)∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\rightarrow \min _(x)) Nếu hệ phương trình có nghiệm thì giá trị tối thiểu của tổng bình phương sẽ bằng 0 và các nghiệm chính xác của hệ phương trình có thể được tìm ra bằng phương pháp giải tích hoặc, ví dụ, bằng cách sử dụng các phương pháp tối ưu hóa số khác nhau. Nếu hệ thống được xác định quá mức, nghĩa là nói một cách lỏng lẻo, số phương trình độc lập lớn hơn số lượng biến mong muốn, thì hệ thống không có nghiệm chính xác và phương pháp bình phương tối thiểu cho phép chúng ta tìm một vectơ “tối ưu” nào đó theo nghĩa độ gần cực đại của vectơ y (\displaystyle y) Và f (x) (\displaystyle f(x)) hoặc độ gần cực đại của vectơ độ lệch
e (\displaystyle e)
Đặc biệt, có thể sử dụng phương pháp bình phương tối thiểu để “giải” hệ phương trình tuyến tính
A x = b (\displaystyle Ax=b),Ở đâu A (\displaystyle A) ma trận kích thước hình chữ nhật m × n , m > n (\displaystyle m\times n,m>n)(tức là số hàng của ma trận A lớn hơn số biến cần tìm).
Trong trường hợp tổng quát, hệ phương trình như vậy không có nghiệm. Do đó, hệ này chỉ có thể được “giải” theo nghĩa là chọn một vectơ như vậy x (\displaystyle x)để giảm thiểu "khoảng cách" giữa các vectơ A x (\displaystyle Ax) theo nghĩa độ gần cực đại của vectơ b (\displaystyle b). Để làm được điều này, bạn có thể áp dụng tiêu chí cực tiểu hóa tổng bình phương các hiệu giữa vế trái và vế phải của hệ phương trình, tức là (A x − b) T (A x − b) → phút (\displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min ). Dễ dàng chứng minh rằng việc giải bài toán tối thiểu hóa này dẫn đến giải hệ phương trình sau
A T A x = A T b ⇒ x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Rightarrow x=(A^(T)A)^(-1)A^ (T)b).OLS trong phân tích hồi quy (xấp xỉ dữ liệu)
Hãy để có n (\displaystyle n) giá trị của một số biến Nếu hệ phương trình có nghiệm thì giá trị tối thiểu của tổng bình phương sẽ bằng 0 và các nghiệm chính xác của hệ phương trình có thể được tìm ra bằng phương pháp giải tích hoặc, ví dụ, bằng cách sử dụng các phương pháp tối ưu hóa số khác nhau. Nếu hệ thống được xác định quá mức, nghĩa là nói một cách lỏng lẻo, số phương trình độc lập lớn hơn số lượng biến mong muốn, thì hệ thống không có nghiệm chính xác và phương pháp bình phương tối thiểu cho phép chúng ta tìm một vectơ “tối ưu” nào đó(đây có thể là kết quả của các quan sát, thí nghiệm, v.v.) và các biến liên quan x (\displaystyle x). Thách thức là đảm bảo rằng mối quan hệ giữa Nếu hệ phương trình có nghiệm thì giá trị tối thiểu của tổng bình phương sẽ bằng 0 và các nghiệm chính xác của hệ phương trình có thể được tìm ra bằng phương pháp giải tích hoặc, ví dụ, bằng cách sử dụng các phương pháp tối ưu hóa số khác nhau. Nếu hệ thống được xác định quá mức, nghĩa là nói một cách lỏng lẻo, số phương trình độc lập lớn hơn số lượng biến mong muốn, thì hệ thống không có nghiệm chính xác và phương pháp bình phương tối thiểu cho phép chúng ta tìm một vectơ “tối ưu” nào đó theo nghĩa độ gần cực đại của vectơ x (\displaystyle x) gần đúng bởi một số hàm đã biết trong một số tham số chưa biết b (\displaystyle b), tức là thực sự tìm được giá trị tốt nhất của các tham số b (\displaystyle b), xấp xỉ tối đa các giá trị f (x , b) (\displaystyle f(x,b))đến giá trị thực tế Nếu hệ phương trình có nghiệm thì giá trị tối thiểu của tổng bình phương sẽ bằng 0 và các nghiệm chính xác của hệ phương trình có thể được tìm ra bằng phương pháp giải tích hoặc, ví dụ, bằng cách sử dụng các phương pháp tối ưu hóa số khác nhau. Nếu hệ thống được xác định quá mức, nghĩa là nói một cách lỏng lẻo, số phương trình độc lập lớn hơn số lượng biến mong muốn, thì hệ thống không có nghiệm chính xác và phương pháp bình phương tối thiểu cho phép chúng ta tìm một vectơ “tối ưu” nào đó. Trên thực tế, điều này dẫn đến trường hợp “giải” một hệ phương trình được xác định quá mức đối với b (\displaystyle b):
F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).
Trong phân tích hồi quy và đặc biệt là trong kinh tế lượng, các mô hình xác suất về sự phụ thuộc giữa các biến được sử dụng.
Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),
Ở đâu ε t (\displaystyle \varepsilon _(t))- cái gọi là lỗi ngẫu nhiên các mô hình.
Theo đó, độ lệch của các giá trị quan sát được Nếu hệ phương trình có nghiệm thì giá trị tối thiểu của tổng bình phương sẽ bằng 0 và các nghiệm chính xác của hệ phương trình có thể được tìm ra bằng phương pháp giải tích hoặc, ví dụ, bằng cách sử dụng các phương pháp tối ưu hóa số khác nhau. Nếu hệ thống được xác định quá mức, nghĩa là nói một cách lỏng lẻo, số phương trình độc lập lớn hơn số lượng biến mong muốn, thì hệ thống không có nghiệm chính xác và phương pháp bình phương tối thiểu cho phép chúng ta tìm một vectơ “tối ưu” nào đó từ mô hình f (x , b) (\displaystyle f(x,b))đã được giả định trong chính mô hình đó. Bản chất của phương pháp bình phương tối thiểu (thông thường, cổ điển) là tìm các tham số như vậy b (\displaystyle b), tại đó tổng bình phương độ lệch (sai số; đối với mô hình hồi quy chúng thường được gọi là phần dư hồi quy) e t (\displaystyle e_(t)) sẽ tối thiểu:
b ^ O L S = arg phút b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),Ở đâu R S S (\displaystyle RSS)- Tiếng Anh Tổng bình phương còn lại được định nghĩa là:
R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\sum _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).Trong trường hợp tổng quát, vấn đề này có thể được giải quyết bằng các phương pháp tối ưu hóa số (tối thiểu hóa). Trong trường hợp này họ nói về bình phương tối thiểu phi tuyến(NLS hoặc NLLS - Bình phương tối thiểu phi tuyến tính của Anh). Trong nhiều trường hợp có thể thu được lời giải phân tích. Để giải bài toán tối thiểu hóa cần tìm điểm dừng của hàm R S S (b) (\displaystyle RSS(b)), vi phân nó theo các tham số chưa biết b (\displaystyle b), đánh đồng các đạo hàm bằng 0 và giải hệ phương trình thu được:
∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\partial f(x_(t),b))(\partial b))=0).OLS trong trường hợp hồi quy tuyến tính
Giả sử sự phụ thuộc hồi quy là tuyến tính:
y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).Cho phép y là vectơ cột của các quan sát của biến được giải thích và X (\displaystyle X)- Cái này (n × k) (\displaystyle ((n\times k)))-ma trận của các quan sát nhân tố (các hàng của ma trận là vectơ của các giá trị nhân tố trong một quan sát nhất định, các cột là vectơ giá trị của một nhân tố nhất định trong tất cả các quan sát). Biểu diễn ma trận của mô hình tuyến tính có dạng:
y = X b + ε (\displaystyle y=Xb+\varepsilon ).Khi đó vectơ ước lượng của biến giải thích và vectơ phần dư hồi quy sẽ bằng nhau
y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).Theo đó, tổng bình phương của phần dư hồi quy sẽ bằng
R S S = e T e = (y − X b) T (y − X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).Vi phân hàm này theo vectơ tham số b (\displaystyle b) và đánh đồng các đạo hàm về 0, ta thu được hệ phương trình (dạng ma trận):
(X T X) b = X T y (\displaystyle (X^(T)X)b=X^(T)y).Ở dạng ma trận đã giải mã, hệ phương trình này trông như sau:
(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 3 x t 1 ∑ x t 3 x t 2 ∑ x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b k) = (∑ x t 1 y t ∑ x t 2 y t ∑ x t 3 y t ⋮ ∑ x t k y t) , (\displaystyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_(tk)\\\sum x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ tổng x_(t2)x_(tk)\\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\vdots \\b_(k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vdots \\\sum x_(tk)y_(t)\\\end(pmatrix)),) trong đó tất cả các khoản tiền được lấy trên tất cả các giá trị hợp lệ t (\displaystyle t).
Nếu một hằng số được đưa vào mô hình (như thường lệ), thì x t 1 = 1 (\displaystyle x_(t1)=1) trước mặt mọi người t (\displaystyle t), do đó ở góc trên bên trái của ma trận của hệ phương trình có số quan sát n (\displaystyle n) và trong các phần tử còn lại của hàng đầu tiên và cột đầu tiên - chỉ đơn giản là tổng của các giá trị biến: ∑ x t j (\displaystyle \sum x_(tj)) và phần tử đầu tiên ở phía bên phải của hệ thống là ∑ y t (\displaystyle \sum y_(t)).
Giải pháp của hệ phương trình này đưa ra công thức chung cho ước lượng bình phương tối thiểu cho mô hình tuyến tính:
b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\right)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).Đối với mục đích phân tích, cách biểu diễn cuối cùng của công thức này hóa ra lại hữu ích (trong hệ phương trình khi chia cho n, các phương tiện số học xuất hiện thay vì tổng). Nếu trong mô hình hồi quy, dữ liệu trung tâm, thì trong cách biểu diễn này, ma trận thứ nhất có nghĩa là ma trận hiệp phương sai mẫu của các thừa số, còn ma trận thứ hai là vectơ hiệp phương sai của các thừa số với biến phụ thuộc. Nếu ngoài ra dữ liệu cũng bình thường hóa sang MSE (nghĩa là cuối cùng tiêu chuẩn hóa), thì ma trận thứ nhất mang ý nghĩa ma trận tương quan mẫu của các yếu tố, vectơ thứ hai - vectơ tương quan mẫu của các yếu tố với biến phụ thuộc.
Một thuộc tính quan trọng của ước lượng OLS cho mô hình với hằng số- đường hồi quy được xây dựng đi qua trọng tâm của dữ liệu mẫu, nghĩa là thỏa mãn đẳng thức:
y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\hat (b))_(j)(\bar (x))_(j)).Đặc biệt, trong trường hợp cực đoan, khi biến hồi quy duy nhất là hằng số, chúng ta thấy rằng ước tính OLS của tham số duy nhất (chính hằng số) bằng giá trị trung bình của biến được giải thích. Nghĩa là, giá trị trung bình số học, được biết đến với các đặc tính tốt từ các định luật số lớn, cũng là một ước tính bình phương tối thiểu - nó đáp ứng tiêu chí về tổng độ lệch bình phương tối thiểu so với nó.
Những trường hợp đặc biệt đơn giản nhất
Trong trường hợp hồi quy tuyến tính cặp y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), khi ước tính sự phụ thuộc tuyến tính của biến này vào biến khác, các công thức tính toán được đơn giản hóa (bạn có thể thực hiện mà không cần đại số ma trận). Hệ phương trình có dạng:
(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline (xy))\\\end(pmatrix))).Từ đây dễ dàng tìm được ước lượng hệ số:
( b ^ = Cov (x , y) Var (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , a ^ = y ¯ − b x ¯ . (\displaystyle (\begin(case) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(case)))Mặc dù thực tế là trong trường hợp tổng quát, các mô hình có hằng số được ưu tiên hơn, nhưng trong một số trường hợp, từ những cân nhắc về mặt lý thuyết, người ta biết rằng hằng số một (\displaystyle a) phải bằng 0. Ví dụ, trong vật lý mối quan hệ giữa điện áp và dòng điện là U = I ⋅ R (\displaystyle U=I\cdot R); Khi đo điện áp và dòng điện cần ước tính điện trở. Trong trường hợp này, chúng ta đang nói về mô hình y = b x (\displaystyle y=bx). Trong trường hợp này, thay vì hệ phương trình, chúng ta có một phương trình duy nhất
(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).
Vì vậy, công thức ước lượng hệ số đơn có dạng
B ^ = ∑ t = 1 n x ty y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).
Trường hợp của mô hình đa thức
Nếu dữ liệu phù hợp với hàm hồi quy đa thức của một biến f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), khi đó, nhận thức được độ x tôi (\displaystyle x^(i)) là những yếu tố độc lập cho mỗi tôi (\displaystyle i) có thể ước lượng các tham số của mô hình dựa trên công thức ước lượng chung các tham số của mô hình tuyến tính. Để làm được điều này, chỉ cần tính đến công thức chung rằng với cách giải thích như vậy là đủ x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j)) theo nghĩa độ gần cực đại của vectơ x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Do đó, các phương trình ma trận trong trường hợp này sẽ có dạng:
(n ∑ n x t … ∑ n x t k ∑ n x t ∑ n x i 2 … ∑ m x i k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 … ∑ n x t 2 k) [ b 0 b 1 ⋮ b k ] = [ ∑ n y t ∑ n t t ⋮ ∑ n x t k y t ] .
(\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ tổng \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrix)).)
Thuộc tính thống kê của công cụ ước tính OLS
- Trước hết, chúng tôi lưu ý rằng đối với các mô hình tuyến tính, ước tính OLS là ước tính tuyến tính, như sau từ công thức trên. Đối với các ước tính OLS không thiên vị, điều cần và đủ là phải đáp ứng điều kiện quan trọng nhất của phân tích hồi quy: kỳ vọng toán học của một sai số ngẫu nhiên, tùy thuộc vào các yếu tố, phải bằng 0. Đặc biệt, điều kiện này được thỏa mãn nếu
- kỳ vọng toán học của các lỗi ngẫu nhiên bằng 0 và
Điều kiện thứ hai - điều kiện ngoại sinh của các yếu tố - là cơ bản. Nếu đặc tính này không được đáp ứng, thì chúng ta có thể giả định rằng hầu hết mọi ước tính sẽ cực kỳ không đạt yêu cầu: chúng thậm chí sẽ không nhất quán (nghĩa là ngay cả một lượng dữ liệu rất lớn cũng không cho phép chúng ta có được ước tính chất lượng cao trong trường hợp này ). Trong trường hợp cổ điển, một giả định mạnh hơn được đưa ra về tính tất định của các yếu tố, trái ngược với sai số ngẫu nhiên, điều này tự động có nghĩa là điều kiện ngoại sinh được đáp ứng. Trong trường hợp tổng quát, để ước lượng nhất quán, chỉ cần thỏa mãn điều kiện ngoại sinh cùng với sự hội tụ của ma trận là đủ V x (\displaystyle V_(x)) thành một số ma trận không số ít khi cỡ mẫu tăng đến vô cùng.
Để, ngoài tính nhất quán và không thiên vị, các ước tính bình phương nhỏ nhất (thông thường) cũng có hiệu quả (tốt nhất trong loại ước lượng không thiên vị tuyến tính), phải đáp ứng các thuộc tính bổ sung của sai số ngẫu nhiên:
Những giả định này có thể được xây dựng cho ma trận hiệp phương sai của vectơ lỗi ngẫu nhiên V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).
Một mô hình tuyến tính thỏa mãn các điều kiện này được gọi là cổ điển. Các ước lượng OLS cho hồi quy tuyến tính cổ điển là các ước lượng không chệch, nhất quán và hiệu quả nhất trong nhóm tất cả các ước lượng không chệch tuyến tính (trong tài liệu tiếng Anh, chữ viết tắt đôi khi được sử dụng MÀU XANH DA TRỜI (Công cụ ước tính không thiên vị tuyến tính tốt nhất) - ước lượng không chệch tuyến tính tốt nhất; Trong văn học Nga, định lý Gauss-Markov thường được trích dẫn nhiều hơn). Dễ dàng chỉ ra, ma trận hiệp phương sai của vectơ ước lượng hệ số sẽ bằng:
V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).
Hiệu quả có nghĩa là ma trận hiệp phương sai này là “tối thiểu” (bất kỳ sự kết hợp tuyến tính nào của các hệ số và đặc biệt là bản thân các hệ số có phương sai tối thiểu), nghĩa là, trong lớp các công cụ ước tính không thiên vị tuyến tính, các công cụ ước tính OLS là tốt nhất. Các phần tử đường chéo của ma trận này - phương sai của các ước lượng hệ số - là các tham số quan trọng về chất lượng của các ước lượng thu được. Tuy nhiên, không thể tính ma trận hiệp phương sai vì phương sai lỗi ngẫu nhiên không xác định được. Có thể chứng minh rằng ước tính không thiên vị và nhất quán (đối với mô hình tuyến tính cổ điển) về phương sai của sai số ngẫu nhiên là đại lượng:
S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).
Thay giá trị này vào công thức của ma trận hiệp phương sai, chúng ta thu được ước tính của ma trận hiệp phương sai. Các ước tính kết quả cũng không thiên vị và nhất quán. Điều quan trọng nữa là ước tính phương sai sai số (và do đó là phương sai của các hệ số) và ước tính của các tham số mô hình là các biến ngẫu nhiên độc lập, điều này giúp có thể thu được số liệu thống kê kiểm định để kiểm tra các giả thuyết về hệ số mô hình.
Cần lưu ý rằng nếu các giả định cổ điển không được đáp ứng thì các ước lượng tham số OLS sẽ không hiệu quả nhất và trong đó W (\displaystyle W) là một ma trận trọng số xác định dương đối xứng nào đó. Bình phương tối thiểu thông thường là trường hợp đặc biệt của phương pháp này, trong đó ma trận trọng số tỷ lệ với ma trận danh tính. Như đã biết, đối với ma trận (hoặc toán tử) đối xứng có một khai triển W = P T P (\displaystyle W=P^(T)P). Do đó, hàm được chỉ định có thể được biểu diễn như sau e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), nghĩa là, hàm số này có thể được biểu diễn dưới dạng tổng bình phương của một số “phần dư” được chuyển đổi. Như vậy, chúng ta có thể phân biệt một lớp phương pháp bình phương tối thiểu - phương pháp LS (Bình phương tối thiểu).
Người ta đã chứng minh (định lý Aitken) rằng đối với mô hình hồi quy tuyến tính tổng quát (trong đó không có hạn chế nào được áp đặt đối với ma trận hiệp phương sai của các sai số ngẫu nhiên), hiệu quả nhất (trong loại ước tính không thiên vị tuyến tính) là cái gọi là ước tính. Bình phương tối thiểu tổng quát (GLS - Bình phương tối thiểu tổng quát)- Phương pháp LS với ma trận trọng số bằng ma trận hiệp phương sai nghịch đảo của sai số ngẫu nhiên: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).
Có thể chỉ ra rằng công thức ước lượng GLS của các tham số của mô hình tuyến tính có dạng
B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).
Ma trận hiệp phương sai của các ước tính này theo đó sẽ bằng
V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)).
Trên thực tế, bản chất của OLS nằm ở sự biến đổi (P) (tuyến tính) nhất định của dữ liệu gốc và ứng dụng OLS thông thường vào dữ liệu được chuyển đổi. Mục đích của việc chuyển đổi này là đối với dữ liệu được chuyển đổi, các lỗi ngẫu nhiên đã thỏa mãn các giả định cổ điển.
OLS có trọng số
Trong trường hợp ma trận trọng số đường chéo (và do đó là ma trận hiệp phương sai của các lỗi ngẫu nhiên), chúng ta có cái gọi là Bình phương tối thiểu có trọng số (WLS). Trong trường hợp này, tổng bình phương có trọng số của phần dư mô hình được giảm thiểu, nghĩa là mỗi quan sát nhận được một “trọng số” tỷ lệ nghịch với phương sai của sai số ngẫu nhiên trong quan sát này: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ sigma_(t)^(2)))). Trên thực tế, dữ liệu được biến đổi bằng cách tính trọng số cho các quan sát (chia cho một lượng tỷ lệ với độ lệch chuẩn ước tính của các sai số ngẫu nhiên) và OLS thông thường được áp dụng cho dữ liệu có trọng số.
ISBN 978-5-7749-0473-0 .
Phương pháp bình phương tối thiểu (LSM) Bình phương tối thiểu thông thường, OLS) -- một phương pháp toán học được sử dụng để giải các bài toán khác nhau, dựa trên việc giảm thiểu tổng bình phương độ lệch của các hàm nhất định so với các biến mong muốn. Nó có thể được sử dụng để “giải” các hệ phương trình được xác định quá mức (khi số lượng phương trình vượt quá số ẩn số), để tìm giải pháp trong trường hợp các hệ phương trình phi tuyến thông thường (không được xác định quá mức), để tính gần đúng các giá trị điểm với chức năng nào đó. OLS là một trong những phương pháp phân tích hồi quy cơ bản để ước lượng các tham số chưa biết của mô hình hồi quy từ dữ liệu mẫu.
Bản chất của phương pháp bình phương tối thiểu
Đặt là một tập hợp các biến (tham số) chưa biết và là một tập hợp các hàm từ tập hợp các biến này. Nhiệm vụ là chọn các giá trị x sao cho giá trị của các hàm này càng gần với các giá trị nhất định càng tốt. Về cơ bản, chúng ta đang nói về “lời giải” của một hệ phương trình được xác định quá mức theo nghĩa được chỉ ra là khoảng cách gần nhau nhất của phần bên trái và bên phải của hệ thống. Bản chất của phương pháp bình phương tối thiểu là chọn tổng các độ lệch bình phương của cạnh trái và cạnh phải làm “thước đo độ gần” - . Như vậy, bản chất của MNC có thể được thể hiện như sau:
Nếu hệ phương trình có nghiệm thì giá trị tối thiểu của tổng bình phương sẽ bằng 0 và các nghiệm chính xác của hệ phương trình có thể được tìm ra bằng phương pháp giải tích hoặc, ví dụ, bằng cách sử dụng các phương pháp tối ưu hóa số khác nhau. Nếu hệ thống được xác định quá mức, nghĩa là, nói một cách lỏng lẻo, số phương trình độc lập lớn hơn số lượng biến mong muốn, thì hệ thống không có nghiệm chính xác và phương pháp bình phương tối thiểu cho phép người ta tìm thấy một số vectơ “tối ưu” trong ý nghĩa về độ gần tối đa của vectơ và/hoặc độ gần tối đa của vectơ độ lệch với 0 (độ gần được hiểu theo nghĩa khoảng cách Euclide).
Ví dụ - hệ phương trình tuyến tính
Đặc biệt, có thể sử dụng phương pháp bình phương tối thiểu để “giải” hệ phương trình tuyến tính
trong đó ma trận không phải là hình vuông mà có kích thước hình chữ nhật (chính xác hơn là thứ hạng của ma trận A lớn hơn số biến được tìm kiếm).
Trong trường hợp tổng quát, hệ phương trình như vậy không có nghiệm. Do đó, hệ này chỉ có thể được “giải” theo nghĩa chọn một vectơ sao cho cực tiểu hóa “khoảng cách” giữa các vectơ và. Để làm được điều này, bạn có thể áp dụng tiêu chí cực tiểu hóa tổng bình phương của các hiệu giữa vế trái và vế phải của hệ phương trình, tức là. Dễ dàng chứng minh rằng việc giải bài toán tối thiểu hóa này sẽ dẫn đến giải hệ phương trình sau
Sử dụng toán tử đảo ngược giả, lời giải có thể được viết lại như sau:
ma trận giả nghịch đảo ở đâu.
Vấn đề này cũng có thể được “giải quyết” bằng cách sử dụng cái gọi là phương pháp bình phương tối thiểu có trọng số (xem bên dưới), khi các phương trình khác nhau của hệ nhận được các trọng số khác nhau vì lý do lý thuyết.
A. A. Markov và A. N. Kolmogorov đã đưa ra sự biện minh chặt chẽ và thiết lập các ranh giới về khả năng áp dụng thực tế của phương pháp.
OLS trong phân tích hồi quy (xấp xỉ dữ liệu)[sửa | chỉnh sửa văn bản wiki] Cho có các giá trị của một số biến (đây có thể là kết quả của các quan sát, thí nghiệm, v.v.) và các biến tương ứng. Nhiệm vụ là ước chừng mối quan hệ giữa và bởi một số hàm đã biết trong một số tham số chưa biết, nghĩa là thực sự tìm ra các giá trị tham số tốt nhất mang các giá trị đó càng gần với giá trị thực càng tốt. Trên thực tế, điều này dẫn đến trường hợp “giải” một hệ phương trình được xác định quá mức đối với:
Trong phân tích hồi quy và đặc biệt là trong kinh tế lượng, các mô hình xác suất về sự phụ thuộc giữa các biến được sử dụng.
đâu là cái gọi là lỗi ngẫu nhiên của mô hình.
Theo đó, độ lệch của các giá trị quan sát được so với giá trị của mô hình đã được giả định sẵn trong chính mô hình đó. Bản chất của phương pháp bình phương tối thiểu (thông thường, cổ điển) là tìm các tham số sao cho tổng độ lệch bình phương (sai số, đối với mô hình hồi quy, chúng thường được gọi là phần dư hồi quy) sẽ nhỏ nhất:
ở đâu - tiếng Anh Tổng bình phương còn lại được định nghĩa là:
Trong trường hợp tổng quát, vấn đề này có thể được giải quyết bằng các phương pháp tối ưu hóa số (tối thiểu hóa). Trong trường hợp này, họ nói về bình phương tối thiểu phi tuyến tính (NLS hoặc NLLS - Bình phương tối thiểu phi tuyến tính). Trong nhiều trường hợp có thể thu được lời giải phân tích. Để giải bài toán tối thiểu hóa, cần tìm điểm dừng của hàm bằng cách vi phân nó với các tham số chưa biết, cho đạo hàm bằng 0 và giải hệ phương trình thu được:
OLS trong trường hợp hồi quy tuyến tính[sửa | chỉnh sửa văn bản wiki]
Giả sử sự phụ thuộc hồi quy là tuyến tính:
Đặt y là vectơ cột của các quan sát của biến giải thích và đặt y là ma trận quan sát nhân tố (các hàng của ma trận là vectơ của các giá trị yếu tố trong một quan sát nhất định và các cột là vectơ của các giá trị của một yếu tố nhất định trong tất cả các quan sát). Biểu diễn ma trận của mô hình tuyến tính là:
Khi đó vectơ ước lượng của biến giải thích và vectơ phần dư hồi quy sẽ bằng nhau
Theo đó, tổng bình phương của phần dư hồi quy sẽ bằng
Vi phân hàm số này theo vectơ tham số và cho đạo hàm bằng 0, ta thu được hệ phương trình (dạng ma trận):
Ở dạng ma trận đã giải mã, hệ phương trình này trông như sau:
trong đó tất cả các khoản tiền được lấy trên tất cả các giá trị hợp lệ.
Nếu một hằng số được đưa vào mô hình (như thường lệ), thì đối với tất cả, do đó ở góc trên bên trái của ma trận hệ phương trình có số lượng quan sát và trong các phần tử còn lại của hàng đầu tiên và cột đầu tiên chỉ đơn giản là tổng các giá trị của các biến: và phần tử đầu tiên ở phía bên phải của hệ thống là .
Giải pháp của hệ phương trình này đưa ra công thức chung cho ước lượng bình phương tối thiểu cho mô hình tuyến tính:
Đối với mục đích phân tích, cách biểu diễn cuối cùng của công thức này hóa ra lại hữu ích (trong hệ phương trình khi chia cho n, các phương tiện số học xuất hiện thay vì tổng). Nếu trong mô hình hồi quy, dữ liệu được căn giữa thì trong biểu diễn này, ma trận đầu tiên có ý nghĩa là ma trận hiệp phương sai mẫu của các yếu tố và ma trận thứ hai là vectơ hiệp phương sai của các yếu tố với biến phụ thuộc. Ngoài ra, nếu dữ liệu cũng được chuẩn hóa theo độ lệch chuẩn (nghĩa là được chuẩn hóa cuối cùng), thì ma trận đầu tiên có nghĩa là ma trận tương quan mẫu của các yếu tố, vectơ thứ hai - vectơ tương quan mẫu của các yếu tố với phụ thuộc biến.
Một đặc tính quan trọng của ước lượng OLS cho các mô hình có hằng số là đường hồi quy được xây dựng đi qua trọng tâm của dữ liệu mẫu, nghĩa là đẳng thức đúng:
Đặc biệt, trong trường hợp cực đoan, khi biến hồi quy duy nhất là hằng số, chúng ta thấy rằng ước tính OLS của tham số duy nhất (chính hằng số) bằng giá trị trung bình của biến được giải thích. Nghĩa là, giá trị trung bình số học, được biết đến với các đặc tính tốt từ các định luật số lớn, cũng là một ước tính bình phương tối thiểu - nó đáp ứng tiêu chí về tổng độ lệch bình phương tối thiểu so với nó.
Các trường hợp đặc biệt đơn giản nhất[sửa | chỉnh sửa văn bản wiki]
Trong trường hợp hồi quy tuyến tính ghép đôi, khi ước tính sự phụ thuộc tuyến tính của một biến này vào một biến khác, các công thức tính toán được đơn giản hóa (bạn có thể thực hiện mà không cần đại số ma trận). Hệ phương trình có dạng:
Từ đây dễ dàng tìm được ước lượng hệ số:
Mặc dù trong các mô hình nói chung có hằng số được ưa chuộng hơn, nhưng trong một số trường hợp, từ những cân nhắc về mặt lý thuyết, người ta biết rằng hằng số phải bằng 0. Ví dụ, trong vật lý mối quan hệ giữa điện áp và dòng điện là; Khi đo điện áp và dòng điện cần ước tính điện trở. Trong trường hợp này, chúng ta đang nói về một mô hình. Trong trường hợp này, thay vì hệ phương trình, chúng ta có một phương trình duy nhất
Vì vậy, công thức ước lượng hệ số đơn có dạng
Thuộc tính thống kê của ước tính OLS[sửa | chỉnh sửa văn bản wiki]
Trước hết, chúng tôi lưu ý rằng đối với các mô hình tuyến tính, ước tính OLS là ước tính tuyến tính, như sau từ công thức trên. Đối với các ước tính OLS không thiên vị, điều cần và đủ là phải đáp ứng điều kiện quan trọng nhất của phân tích hồi quy: kỳ vọng toán học của một sai số ngẫu nhiên, tùy thuộc vào các yếu tố, phải bằng 0. Đặc biệt, điều kiện này được thỏa mãn nếu kỳ vọng toán học của sai số ngẫu nhiên bằng 0 và các thừa số và sai số ngẫu nhiên là các biến ngẫu nhiên độc lập.
Điều kiện đầu tiên có thể được coi là luôn thỏa mãn đối với các mô hình có hằng số, vì hằng số có kỳ vọng sai số toán học khác 0 (do đó, các mô hình có hằng số thường được ưu tiên hơn). hiệp phương sai hồi quy bình phương nhỏ nhất
Điều kiện thứ hai - điều kiện ngoại sinh của các yếu tố - là cơ bản. Nếu đặc tính này không được đáp ứng, thì chúng ta có thể giả định rằng hầu hết mọi ước tính sẽ cực kỳ không đạt yêu cầu: chúng thậm chí sẽ không nhất quán (nghĩa là ngay cả một lượng dữ liệu rất lớn cũng không cho phép chúng ta có được ước tính chất lượng cao trong trường hợp này ). Trong trường hợp cổ điển, một giả định mạnh hơn được đưa ra về tính tất định của các yếu tố, trái ngược với sai số ngẫu nhiên, điều này tự động có nghĩa là điều kiện ngoại sinh được đáp ứng. Trong trường hợp tổng quát, để tính nhất quán của các ước lượng, chỉ cần thỏa mãn điều kiện ngoại sinh cùng với sự hội tụ của ma trận thành một ma trận không suy biến nào đó khi cỡ mẫu tăng đến vô cùng.
Để, ngoài tính nhất quán và không thiên vị, các ước tính của phương pháp bình phương tối thiểu (thông thường) cũng có hiệu quả (tốt nhất trong loại ước tính không thiên vị tuyến tính), phải đáp ứng các đặc tính bổ sung của sai số ngẫu nhiên:
Phương sai không đổi (giống hệt nhau) của các lỗi ngẫu nhiên trong tất cả các quan sát (không có tính không đồng nhất):
Thiếu sự tương quan (tự tương quan) của các sai số ngẫu nhiên trong các quan sát khác nhau với nhau
Những giả định này có thể được xây dựng cho ma trận hiệp phương sai của vectơ lỗi ngẫu nhiên
Một mô hình tuyến tính thỏa mãn các điều kiện này được gọi là cổ điển. Các ước tính OLS cho hồi quy tuyến tính cổ điển là các ước tính không thiên vị, nhất quán và hiệu quả nhất trong nhóm tất cả các ước tính không thiên vị tuyến tính (trong tài liệu tiếng Anh, chữ viết tắt BLUE (Công cụ ước tính không thiên vị tuyến tính tốt nhất) đôi khi được sử dụng - ước tính không thiên vị tuyến tính tốt nhất; trong nước văn học, định lý Gauss thường được đưa ra nhiều hơn - Markov). Dễ dàng chỉ ra, ma trận hiệp phương sai của vectơ ước lượng hệ số sẽ bằng:
Hiệu quả có nghĩa là ma trận hiệp phương sai này là “tối thiểu” (bất kỳ sự kết hợp tuyến tính nào của các hệ số và đặc biệt là bản thân các hệ số có phương sai tối thiểu), nghĩa là, trong lớp các công cụ ước tính không thiên vị tuyến tính, các công cụ ước tính OLS là tốt nhất. Các phần tử đường chéo của ma trận này—các phương sai của hệ số ước lượng—là các thông số quan trọng về chất lượng của các ước tính thu được. Tuy nhiên, không thể tính ma trận hiệp phương sai vì phương sai lỗi ngẫu nhiên không xác định được. Có thể chứng minh rằng ước tính không thiên vị và nhất quán (đối với mô hình tuyến tính cổ điển) về phương sai của sai số ngẫu nhiên là đại lượng:
Thay giá trị này vào công thức của ma trận hiệp phương sai, chúng ta thu được ước tính của ma trận hiệp phương sai. Các ước tính kết quả cũng không thiên vị và nhất quán. Điều quan trọng nữa là ước tính phương sai sai số (và do đó là phương sai của các hệ số) và ước tính của các tham số mô hình là các biến ngẫu nhiên độc lập, điều này giúp có thể thu được số liệu thống kê kiểm định để kiểm tra các giả thuyết về hệ số mô hình.
Cần lưu ý rằng nếu các giả định cổ điển không được đáp ứng thì ước tính OLS của các tham số không phải là ước tính hiệu quả nhất (trong khi vẫn không thiên vị và nhất quán). Tuy nhiên, ước tính của ma trận hiệp phương sai thậm chí còn tệ hơn - nó trở nên sai lệch và không thể chấp nhận được. Điều này có nghĩa là các kết luận thống kê về chất lượng của mô hình được xây dựng trong trường hợp này có thể cực kỳ không đáng tin cậy. Một trong những phương án để giải quyết vấn đề cuối cùng là sử dụng các ước lượng đặc biệt của ma trận hiệp phương sai, phù hợp với sự vi phạm các giả định cổ điển (sai số chuẩn ở dạng White và sai số chuẩn ở dạng Newey-West). Một cách tiếp cận khác là sử dụng cái gọi là phương pháp bình phương tối thiểu tổng quát.
OLS tổng quát[sửa | chỉnh sửa văn bản wiki]
Bài chi tiết: Bình phương tối thiểu tổng quát
Phương pháp bình phương tối thiểu cho phép khái quát hóa rộng rãi. Thay vì giảm thiểu tổng bình phương của các phần dư, người ta có thể giảm thiểu một số dạng bậc hai xác định dương của vectơ phần dư, trong đó là một ma trận trọng số xác định dương đối xứng nào đó. Bình phương tối thiểu thông thường là trường hợp đặc biệt của phương pháp này, trong đó ma trận trọng số tỷ lệ với ma trận danh tính. Như đã biết từ lý thuyết ma trận đối xứng (hoặc toán tử), có một sự phân rã cho các ma trận đó. Do đó, hàm được chỉ định có thể được biểu diễn như sau
nghĩa là, hàm số này có thể được biểu diễn dưới dạng tổng bình phương của một số “phần dư” được chuyển đổi. Như vậy, chúng ta có thể phân biệt một lớp phương pháp bình phương tối thiểu - phương pháp LS (Bình phương tối thiểu).
Người ta đã chứng minh (định lý Aitken) rằng đối với mô hình hồi quy tuyến tính tổng quát (trong đó không có hạn chế nào được áp đặt đối với ma trận hiệp phương sai của các sai số ngẫu nhiên), hiệu quả nhất (trong loại ước tính không thiên vị tuyến tính) là cái gọi là ước tính. bình phương tối thiểu tổng quát (GLS - Generalized Least Squares) - Phương pháp LS với ma trận trọng số bằng ma trận hiệp phương sai nghịch đảo của các sai số ngẫu nhiên: .
Có thể chỉ ra rằng công thức ước lượng GLS của các tham số của mô hình tuyến tính có dạng
Ma trận hiệp phương sai của các ước tính này theo đó sẽ bằng
Trên thực tế, bản chất của OLS nằm ở sự biến đổi (P) (tuyến tính) nhất định của dữ liệu gốc và ứng dụng OLS thông thường vào dữ liệu được chuyển đổi. Mục đích của việc chuyển đổi này là đối với dữ liệu được chuyển đổi, các lỗi ngẫu nhiên đã thỏa mãn các giả định cổ điển.
OLS có trọng số[sửa | chỉnh sửa văn bản wiki]
Trong trường hợp ma trận trọng số đường chéo (và do đó là ma trận hiệp phương sai của các lỗi ngẫu nhiên), chúng ta có cái gọi là bình phương tối thiểu có trọng số (WLS - Bình phương tối thiểu có trọng số). Trong trường hợp này, tổng bình phương có trọng số của phần dư mô hình được giảm thiểu, nghĩa là mỗi quan sát nhận được một “trọng số” tỷ lệ nghịch với phương sai của sai số ngẫu nhiên trong quan sát này:
Trên thực tế, dữ liệu được biến đổi bằng cách tính trọng số cho các quan sát (chia cho một lượng tỷ lệ với độ lệch chuẩn ước tính của các sai số ngẫu nhiên) và OLS thông thường được áp dụng cho dữ liệu có trọng số.