Hồi quy tuyến tính sử dụng phương pháp bình phương nhỏ nhất. OLS trong trường hợp hồi quy tuyến tính

Phương pháp bình phương tối thiểu là một thủ tục toán học để xây dựng một phương trình tuyến tính phù hợp nhất với một tập hợp các cặp có thứ tự bằng cách tìm các giá trị của a và b, các hệ số trong phương trình đường thẳng. Mục tiêu của bình phương tối thiểu là giảm thiểu tổng sai số bình phương giữa các giá trị của y và ŷ. Nếu đối với mỗi điểm chúng ta xác định được sai số ŷ thì phương pháp bình phương tối thiểu sẽ giảm thiểu:

trong đó n = số cặp có thứ tự xung quanh dòng. càng sát với dữ liệu càng tốt.

Khái niệm này được minh họa trong hình

Dựa trên hình vẽ, đường phù hợp nhất với dữ liệu, đường hồi quy, giảm thiểu tổng sai số bình phương của bốn điểm trên biểu đồ. Tôi sẽ chỉ cho bạn cách xác định điều này bằng cách sử dụng bình phương tối thiểu với ví dụ sau.

Hãy tưởng tượng một cặp vợ chồng trẻ mới chuyển đến sống cùng nhau và dùng chung bàn trang điểm trong phòng tắm. Chàng trai trẻ bắt đầu nhận thấy rằng một nửa chiếc bàn của anh ta đang bị thu hẹp lại một cách không thể tránh khỏi, nhường chỗ cho keo bọt tóc và phức hợp đậu nành. Trong vài tháng qua, anh chàng đã theo dõi chặt chẽ tốc độ tăng lên của số lượng đồ vật ở phía bàn của cô. Bảng dưới đây cho thấy số lượng đồ mà cô gái đã tích lũy trên bàn trang điểm trong phòng tắm của mình trong vài tháng qua.

Vì mục tiêu của chúng tôi là tìm hiểu xem số lượng mục có tăng theo thời gian hay không nên “Tháng” sẽ là biến độc lập và “Số mục” sẽ là biến phụ thuộc.

Sử dụng phương pháp bình phương tối thiểu, chúng tôi xác định phương trình phù hợp nhất với dữ liệu bằng cách tính các giá trị của a, giao điểm y và b, độ dốc của đường thẳng:

a = y trung bình - bx trung bình

trong đó x avg là giá trị trung bình của x, biến độc lập, y avg là giá trị trung bình của y, biến độc lập.

Bảng dưới đây tóm tắt các phép tính cần thiết cho các phương trình này.

Đường cong hiệu ứng cho ví dụ về bồn tắm của chúng ta sẽ được tính theo phương trình sau:

Vì phương trình của chúng ta có độ dốc dương là 0,976 nên anh chàng có bằng chứng cho thấy số lượng vật phẩm trên bàn tăng theo thời gian với tốc độ trung bình là 1 vật phẩm mỗi tháng. Biểu đồ hiển thị đường cong hiệu ứng với các cặp có thứ tự.

Kỳ vọng về số lượng mặt hàng trong sáu tháng tới (tháng 16) sẽ được tính như sau:

ŷ = 5,13 + 0,976x = 5,13 + 0,976(16) ~ 20,7 = 21 mục

Vì vậy, đã đến lúc anh hùng của chúng ta phải hành động.

Hàm TREND trong Excel

Như bạn có thể đã đoán, Excel có chức năng tính giá trị theo phương pháp bình phương tối thiểu. Chức năng này được gọi là TREND. Cú pháp của nó như sau:

XU HƯỚNG (giá trị Y đã biết; giá trị X đã biết; giá trị X mới; hằng số)

giá trị Y đã biết – một mảng các biến phụ thuộc, trong trường hợp của chúng tôi là số lượng đối tượng trên bảng

các giá trị đã biết X – một mảng các biến độc lập, trong trường hợp của chúng ta đây là tháng

giá trị X mới – giá trị X mới (tháng) mà hàm XU HƯỚNG trả về giá trị mong đợi của các biến phụ thuộc (số lượng mục)

const - tùy chọn. Giá trị Boolean xác định xem hằng số b có bắt buộc phải bằng 0 hay không.

Ví dụ: hình này hiển thị hàm TREND được sử dụng để xác định số lượng mặt hàng dự kiến ​​​​trên bàn trang điểm phòng tắm trong tháng thứ 16.

Phương pháp bình phương tối thiểu (OLS) cho phép bạn ước tính các đại lượng khác nhau bằng cách sử dụng kết quả của nhiều phép đo có chứa sai số ngẫu nhiên.

Đặc điểm của MNE

Ý tưởng chính của phương pháp này là tổng các sai số bình phương được coi là tiêu chí đánh giá độ chính xác của việc giải bài toán mà họ cố gắng giảm thiểu. Khi sử dụng phương pháp này, có thể sử dụng cả phương pháp số và phương pháp phân tích.

Đặc biệt, khi triển khai bằng số, phương pháp bình phương tối thiểu liên quan đến việc thực hiện càng nhiều phép đo càng tốt đối với một biến ngẫu nhiên chưa biết. Hơn nữa, càng tính toán nhiều thì lời giải sẽ càng chính xác. Dựa trên bộ tính toán này (dữ liệu ban đầu), sẽ thu được một bộ giải pháp ước tính khác, từ đó chọn ra giải pháp tốt nhất. Nếu tập nghiệm được tham số hóa thì phương pháp bình phương tối thiểu sẽ được rút gọn để tìm giá trị tối ưu của các tham số.

Là một cách tiếp cận phân tích để triển khai LSM trên một tập hợp dữ liệu ban đầu (các phép đo) và một tập hợp các giải pháp dự kiến, một giải pháp nhất định (chức năng) được xác định, có thể được biểu thị bằng công thức thu được dưới dạng một giả thuyết nhất định cần được xác nhận. Trong trường hợp này, phương pháp bình phương nhỏ nhất dùng để tìm giá trị nhỏ nhất của hàm này trên tập hợp các sai số bình phương của dữ liệu gốc.

Xin lưu ý rằng đó không phải là lỗi mà là bình phương của lỗi. Tại sao? Thực tế là độ lệch của phép đo so với giá trị chính xác thường là dương và âm. Khi xác định giá trị trung bình, phép tính tổng đơn giản có thể dẫn đến kết luận không chính xác về chất lượng của ước tính, vì việc loại bỏ các giá trị dương và âm sẽ làm giảm khả năng lấy mẫu nhiều phép đo. Và do đó, tính chính xác của đánh giá.

Để ngăn chặn điều này xảy ra, các độ lệch bình phương được cộng lại. Hơn nữa, để cân bằng thứ nguyên của giá trị đo được và ước tính cuối cùng, tổng sai số bình phương được trích ra.

Một số ứng dụng của MNC

MNC được sử dụng rộng rãi trong nhiều lĩnh vực khác nhau. Ví dụ, trong lý thuyết xác suất và thống kê toán học, phương pháp được sử dụng để xác định đặc tính của biến ngẫu nhiên như độ lệch chuẩn, xác định độ rộng của phạm vi giá trị của biến ngẫu nhiên.

Nó có nhiều ứng dụng vì nó cho phép biểu diễn gần đúng một hàm đã cho bằng các hàm đơn giản khác. LSM có thể cực kỳ hữu ích trong việc xử lý các quan sát và nó được sử dụng tích cực để ước tính một số đại lượng dựa trên kết quả đo của các đại lượng khác có chứa sai số ngẫu nhiên. Trong bài viết này, bạn sẽ tìm hiểu cách thực hiện các phép tính bình phương nhỏ nhất trong Excel.

Tuyên bố vấn đề bằng cách sử dụng một ví dụ cụ thể

Giả sử có hai chỉ báo X và Y. Hơn nữa, Y phụ thuộc vào X. Vì OLS khiến chúng ta quan tâm từ quan điểm phân tích hồi quy (trong Excel, các phương thức của nó được triển khai bằng cách sử dụng các hàm dựng sẵn), nên chúng ta nên chuyển ngay sang xem xét một vấn đề cụ thể.

Vì vậy, gọi X là không gian bán lẻ của một cửa hàng tạp hóa, tính bằng mét vuông và Y là doanh thu hàng năm, được xác định bằng hàng triệu rúp.

Cần phải đưa ra dự báo về doanh thu (Y) mà cửa hàng sẽ có nếu có không gian bán lẻ này hoặc không gian bán lẻ kia. Rõ ràng, hàm số Y = f (X) đang tăng vì đại siêu thị bán nhiều hàng hơn quầy hàng.

Một vài lời về tính chính xác của dữ liệu ban đầu được sử dụng để dự đoán

Giả sử chúng ta có một bảng được xây dựng bằng dữ liệu của n cửa hàng.

Theo thống kê toán học, kết quả sẽ ít nhiều đúng nếu kiểm tra dữ liệu của ít nhất 5-6 đối tượng. Ngoài ra, các kết quả “bất thường” không thể được sử dụng. Đặc biệt, một cửa hàng nhỏ ưu tú có thể có doanh thu lớn hơn vài lần so với doanh thu của các cửa hàng bán lẻ lớn thuộc hạng “chợ masmarket”.

Bản chất của phương pháp

Dữ liệu bảng có thể được biểu diễn trên mặt phẳng Descartes dưới dạng các điểm M 1 (x 1, y 1), ... M n (x n, y n). Bây giờ lời giải của bài toán sẽ được rút gọn thành việc chọn hàm gần đúng y = f (x), có đồ thị đi qua càng gần các điểm M 1, M 2, .. M n càng tốt.

Tất nhiên, bạn có thể sử dụng đa thức bậc cao, nhưng tùy chọn này không chỉ khó thực hiện mà còn không chính xác vì nó sẽ không phản ánh xu hướng chính cần được phát hiện. Giải pháp hợp lý nhất là tìm đường thẳng y = ax + b gần đúng nhất với dữ liệu thực nghiệm, hay chính xác hơn là các hệ số a và b.

Đánh giá độ chính xác

Với bất kỳ phép tính gần đúng nào, việc đánh giá độ chính xác của nó có tầm quan trọng đặc biệt. Chúng ta hãy biểu thị bằng e i sự khác biệt (độ lệch) giữa giá trị hàm số và giá trị thử nghiệm đối với điểm x i, tức là e i = y i - f (x i).

Rõ ràng, để đánh giá độ chính xác của phép tính gần đúng, bạn có thể sử dụng tổng độ lệch, tức là khi chọn một đường thẳng để biểu diễn gần đúng sự phụ thuộc của X vào Y, bạn nên ưu tiên đường thẳng có giá trị nhỏ nhất của tổng e i tại tất cả các điểm đang xét. Tuy nhiên, không phải mọi thứ đều đơn giản như vậy, vì bên cạnh những sai lệch tích cực cũng sẽ có những sai lệch tiêu cực.

Vấn đề có thể được giải quyết bằng cách sử dụng mô-đun độ lệch hoặc bình phương của chúng. Phương pháp cuối cùng được sử dụng rộng rãi nhất. Nó được sử dụng trong nhiều lĩnh vực, bao gồm phân tích hồi quy (trong Excel, nó được triển khai bằng hai hàm dựng sẵn) và đã chứng minh tính hiệu quả của nó từ lâu.

Phương pháp bình phương tối thiểu

Như bạn đã biết, Excel có chức năng AutoSum tích hợp cho phép bạn tính giá trị của tất cả các giá trị nằm trong phạm vi đã chọn. Vì vậy, không có gì ngăn cản chúng ta tính giá trị của biểu thức (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

Trong ký hiệu toán học, nó trông giống như:

Vì quyết định ban đầu được đưa ra là tính gần đúng bằng cách sử dụng một đường thẳng, nên chúng ta có:

Do đó, nhiệm vụ tìm đường thẳng mô tả đúng nhất sự phụ thuộc cụ thể của các đại lượng X và Y là tính giá trị cực tiểu của hàm hai biến:

Để làm điều này, bạn cần đánh đồng đạo hàm riêng đối với các biến mới a và b bằng 0, đồng thời giải một hệ nguyên thủy gồm hai phương trình với 2 ẩn số có dạng:

Sau một số phép biến đổi đơn giản, bao gồm chia cho 2 và thao tác tính tổng, chúng ta nhận được:

Ví dụ, giải nó bằng phương pháp Cramer, chúng ta thu được một điểm dừng với các hệ số nhất định a * và b *. Đây là mức tối thiểu, tức là để dự đoán doanh thu của một cửa hàng trong một khu vực nhất định, đường thẳng y = a * x + b * là phù hợp, đây là mô hình hồi quy cho ví dụ được đề cập. Tất nhiên, nó sẽ không cho phép bạn tìm ra kết quả chính xác, nhưng nó sẽ giúp bạn biết được liệu việc mua một khu vực cụ thể bằng tín dụng của cửa hàng có mang lại kết quả hay không.

Cách thực hiện bình phương nhỏ nhất trong Excel

Excel có chức năng tính giá trị bằng bình phương tối thiểu. Nó có dạng sau: “TREND” (giá trị Y đã biết; giá trị X đã biết; giá trị X mới; hằng số). Hãy áp dụng công thức tính OLS trong Excel vào bảng của chúng ta.

Để thực hiện việc này, hãy nhập dấu “=” vào ô hiển thị kết quả tính toán bằng phương pháp bình phương tối thiểu trong Excel và chọn chức năng “TREND”. Trong cửa sổ mở ra, điền vào các trường thích hợp, đánh dấu:

• phạm vi giá trị đã biết của Y (trong trường hợp này là dữ liệu về kim ngạch thương mại);
• phạm vi x 1,…x n, tức là quy mô của không gian bán lẻ;
• cả giá trị đã biết và chưa biết của x, mà bạn cần tìm ra quy mô của doanh thu (để biết thông tin về vị trí của chúng trên bảng tính, xem bên dưới).

Ngoài ra, công thức còn chứa biến logic “Const”. Nếu bạn nhập 1 vào trường tương ứng, điều này có nghĩa là bạn nên thực hiện các phép tính, giả sử rằng b = 0.

Nếu bạn cần tìm hiểu dự báo cho nhiều hơn một giá trị x, thì sau khi nhập công thức, bạn không nên nhấn “Enter”, mà bạn cần gõ tổ hợp “Shift” + “Control” + “Enter” trên bàn phím.

Một số tính năng

Phân tích hồi quy có thể được truy cập ngay cả đối với người giả. Công thức Excel để dự đoán giá trị của một mảng các biến chưa biết—TREND—có thể được sử dụng ngay cả với những người chưa bao giờ nghe nói đến bình phương tối thiểu. Chỉ cần biết một số tính năng công việc của nó là đủ. Đặc biệt:

• Nếu bạn sắp xếp phạm vi các giá trị đã biết của biến y trong một hàng hoặc cột, thì mỗi hàng (cột) có các giá trị đã biết của x sẽ được chương trình coi là một biến riêng biệt.
• Nếu một phạm vi có x đã biết không được chỉ định trong cửa sổ TREND thì khi sử dụng một hàm trong Excel, chương trình sẽ coi nó là một mảng bao gồm các số nguyên, số lượng của nó tương ứng với phạm vi có các giá trị đã cho của biến y.
• Để xuất ra một mảng các giá trị “dự đoán”, biểu thức tính xu hướng phải được nhập dưới dạng công thức mảng.
• Nếu các giá trị mới của x không được chỉ định thì hàm TREND sẽ coi chúng bằng các giá trị đã biết. Nếu chúng không được chỉ định thì mảng 1 sẽ được lấy làm đối số; 2; 3; 4;…, tương ứng với phạm vi có các tham số y đã xác định.
• Dải ô chứa các giá trị x mới phải có cùng hoặc nhiều hàng hoặc cột với dải ô chứa các giá trị y đã cho. Nói cách khác, nó phải tỷ lệ thuận với các biến độc lập.
• Một mảng có giá trị x đã biết có thể chứa nhiều biến. Tuy nhiên, nếu chúng ta chỉ nói về một, thì các phạm vi có giá trị x và y nhất định phải tỷ lệ thuận. Trong trường hợp có nhiều biến, điều cần thiết là phạm vi có các giá trị y đã cho phải vừa với một cột hoặc một hàng.

chức năng DỰ ĐOÁN

Thực hiện bằng cách sử dụng một số chức năng. Một trong số đó được gọi là “DỰ ĐOÁN”. Nó tương tự như “TREND”, tức là nó đưa ra kết quả tính toán bằng phương pháp bình phương tối thiểu. Tuy nhiên, chỉ với một X mà giá trị của Y chưa được biết.

Bây giờ bạn đã biết các công thức trong Excel dành cho người giả cho phép bạn dự đoán giá trị tương lai của một chỉ báo cụ thể theo xu hướng tuyến tính.

3. Xấp xỉ các hàm bằng phương pháp

bình phương nhỏ nhất

Phương pháp bình phương tối thiểu được sử dụng khi xử lý kết quả thực nghiệm cho sự gần đúng (xấp xỉ) dữ liệu thực nghiệm công thức phân tích. Thông thường, loại công thức cụ thể được chọn vì lý do vật lý. Những công thức như vậy có thể là:

và những người khác.

Bản chất của phương pháp bình phương tối thiểu như sau. Hãy trình bày kết quả đo vào bảng:

Bàn 4
				xn
				năm

(3.1)

ở đâu - chức năng đã biết, a 0 , a 1 , …, a m - các tham số không đổi chưa biết có giá trị phải được tìm thấy. Trong phương pháp bình phương tối thiểu, việc xấp xỉ hàm (3.1) với sự phụ thuộc thực nghiệm được coi là tốt nhất nếu điều kiện được thỏa mãn

(3.2)

đó là số tiền Một độ lệch bình phương của hàm phân tích mong muốn khỏi sự phụ thuộc thực nghiệm phải ở mức tối thiểu .

Lưu ý rằng chức năng Q gọi điện dư.

Kể từ khi có sự chênh lệch

thì nó có mức tối thiểu. Điều kiện cần để có cực tiểu của một hàm nhiều biến là sự bằng 0 của tất cả các đạo hàm riêng của hàm này đối với các tham số. Do đó, việc tìm các giá trị tốt nhất của các tham số của hàm gần đúng (3.1), nghĩa là các giá trị của chúng tại đó Q = Q (a 0 , a 1 , …, a m ) là nhỏ nhất, quy về giải hệ phương trình:

(3.3)

Phương pháp bình phương tối thiểu có thể được giải thích hình học như sau: trong vô số họ đường thẳng thuộc một loại đã cho, tìm thấy một đường thẳng mà tổng các hiệu bình phương của tọa độ các điểm thí nghiệm và tọa độ tương ứng của các điểm được tìm thấy theo phương trình của đường này sẽ nhỏ nhất.

Tìm tham số của hàm tuyến tính

Giả sử dữ liệu thực nghiệm được biểu diễn bằng hàm tuyến tính:

Cần chọn các giá trị sau a và b , trong đó hàm

(3.4)

sẽ ở mức tối thiểu. Các điều kiện cần để cực tiểu của hàm số (3.4) được rút gọn về hệ phương trình:

Sau khi biến đổi, ta thu được hệ hai phương trình tuyến tính với hai ẩn số:

(3.5)

giải được cái đó ta tìm được giá trị cần tìm của các tham số a và b.

Tìm Tham số của Hàm bậc hai

Nếu hàm gần đúng là sự phụ thuộc bậc hai

thì các tham số của nó là a, b, c tìm được từ điều kiện tối thiểu của hàm số:

(3.6)

Điều kiện để hàm số (3.6) cực tiểu được rút gọn về hệ phương trình:

Sau khi biến đổi, ta thu được hệ ba phương trình tuyến tính với ba ẩn số:

(3.7)

Tại giải pháp trong đó chúng tôi tìm thấy các giá trị cần thiết của các tham số a, b và c.

Ví dụ . Cho kết quả thí nghiệm thu được bảng giá trị sau: x và y:

Bàn 5
ừ tôi	0,705	0,495	0,426	0,357	0,368	0,406	0,549	0,768

Cần phải tính gần đúng dữ liệu thực nghiệm với các hàm tuyến tính và bậc hai.

Giải pháp. Việc tìm tham số của các hàm xấp xỉ được quy về việc giải các hệ phương trình tuyến tính (3.5) và (3.7). Để giải quyết vấn đề, chúng ta sẽ sử dụng bộ xử lý bảng tính Excel.

1. Đầu tiên nối sheet 1 và sheet 2. Nhập giá trị thực nghiệm x tôi và ừ tôi thành cột A và B, bắt đầu từ dòng thứ hai (chúng ta sẽ đặt tiêu đề cột ở dòng đầu tiên). Sau đó, chúng tôi tính tổng cho các cột này và đặt chúng vào hàng thứ mười.

Trong cột C–G Hãy để chúng tôi đặt phép tính và tổng hợp tương ứng

2. Hãy tách các trang tính ra. Chúng ta sẽ thực hiện các phép tính tiếp theo theo cách tương tự đối với sự phụ thuộc tuyến tính vào Trang tính 1 và đối với sự phụ thuộc bậc hai vào Trang tính 2.

3. Theo bảng kết quả, chúng ta sẽ tạo thành một ma trận các hệ số và một vectơ cột các số hạng tự do. Hãy giải hệ phương trình tuyến tính bằng thuật toán sau:

Để tính ma trận nghịch đảo và nhân ma trận, chúng ta sử dụng Bậc thầy chức năng và chức năng MOBR Và MUMNIT.

4. Tại khối ô H2: H 9 dựa vào hệ số thu được chúng tôi tính toán giá trị gần đúngđa thứcừ tôi tính toán., ở khối I 2: I 9 – độ lệch Dở tôi = ừ tôi điểm kinh nghiệm. - ừ tôi tính toán.,ở cột J – phần dư:

Các bảng kết quả và những bảng được xây dựng bằng cách sử dụng Trình hướng dẫn biểu đồđồ thị được thể hiện trên Hình 6, 7, 8.

Cơm. 6. Bảng tính các hệ số của hàm tuyến tính,

xấp xỉ dữ liệu thực nghiệm.

Cơm. 7. Bảng tính các hệ số của hàm bậc hai,

xấp xỉdữ liệu thực nghiệm.

Cơm. 8. Biểu diễn đồ họa của kết quả gần đúng

dữ liệu thực nghiệm bằng hàm tuyến tính và bậc hai.

Trả lời. Dữ liệu thực nghiệm được tính gần đúng bởi sự phụ thuộc tuyến tính y = 0,07881 x + 0,442262 có dư Q = 0,165167 và sự phụ thuộc bậc hai y = 3,115476 x 2 – 5,2175 x + 2,529631 có dư Q = 0,002103 .

Bài tập. Xấp xỉ một hàm được cho bởi một bảng, các hàm tuyến tính và bậc hai.

Bảng 6
№0	x	0,1	0,2	0,3	0,4	0,5	0,6	0,7	0,8
	y	3,030	3,142	3,358	3,463	3,772	3,251	3,170	3,665
№ 1
		3,314	3,278	3,262	3,292	3,332	3,397	3,487	3,563
№ 2
		1,045	1,162	1,264	1,172	1,070	0,898	0,656	0,344
№ 3
		6,715	6,735	6,750	6,741	6,645	6,639	6,647	6,612
№ 4
		2,325	2,515	2,638	2,700	2,696	2,626	2,491	2,291
№ 5
		1.752	1,762	1,777	1,797	1,821	1,850	1,884	1,944
№ 6
		1,924	1,710	1,525	1,370	1,264	1,190	1,148	1,127
№ 7
		1,025	1,144	1,336	1,419	1,479	1,530	1,568	1,248
№ 8
		5,785	5,685	5,605	5,545	5,505	5,480	5,495	5,510
№ 9
		4,052	4,092	4,152	4,234	4,338	4,468	4,599	Phương pháp bình phương tối thiểu Phương pháp bình phương tối thiểu ( OLS, OLS, Bình phương tối thiểu thông thường) - một trong những phương pháp phân tích hồi quy cơ bản để ước lượng các tham số chưa biết của mô hình hồi quy bằng cách sử dụng dữ liệu mẫu. Phương pháp này dựa trên việc cực tiểu hóa tổng bình phương của phần dư hồi quy. Cần lưu ý rằng bản thân phương pháp bình phương tối thiểu có thể được gọi là phương pháp giải một bài toán trong bất kỳ lĩnh vực nào nếu lời giải đó thỏa mãn một số tiêu chí để cực tiểu hóa tổng bình phương của một số hàm của các biến cần thiết. Do đó, phương pháp bình phương tối thiểu cũng có thể được sử dụng để biểu diễn gần đúng (xấp xỉ) của một hàm đã cho bằng các hàm khác (đơn giản hơn), khi tìm một tập hợp các đại lượng thỏa mãn các phương trình hoặc ràng buộc, số lượng của hàm đó vượt quá số lượng của các đại lượng này. , vân vân. Bản chất của MNC Cho một số mô hình (tham số) của mối quan hệ xác suất (hồi quy) giữa biến (được giải thích) y và nhiều yếu tố (biến giải thích) x vectơ của các tham số mô hình chưa biết ở đâu - lỗi mô hình ngẫu nhiên. Hãy để có những quan sát mẫu về giá trị của các biến này. Gọi là số quan sát (). Sau đó là giá trị của các biến trong quan sát thứ. Khi đó, với các giá trị đã cho của tham số b, có thể tính các giá trị (mô hình) lý thuyết của biến giải thích y: Kích thước của phần dư phụ thuộc vào giá trị của các tham số b. Bản chất của phương pháp bình phương tối thiểu (thông thường, cổ điển) là tìm các tham số b mà tổng bình phương của phần dư (eng. Tổng bình phương còn lại) sẽ là tối thiểu: Trong trường hợp tổng quát, vấn đề này có thể được giải quyết bằng các phương pháp tối ưu hóa số (tối thiểu hóa). Trong trường hợp này họ nói về bình phương tối thiểu phi tuyến(NLS hoặc NLLS - tiếng Anh) Bình phương tối thiểu phi tuyến tính). Trong nhiều trường hợp có thể thu được lời giải phân tích. Để giải bài toán tối thiểu hóa, cần tìm điểm dừng của hàm số bằng cách vi phân nó với các tham số b chưa biết, cho đạo hàm bằng 0 và giải hệ phương trình thu được: Nếu các lỗi ngẫu nhiên của mô hình có phân phối chuẩn, có cùng phương sai và không tương quan, thì ước tính tham số OLS giống với ước tính khả năng tối đa (MLM). OLS trong trường hợp mô hình tuyến tính Giả sử sự phụ thuộc hồi quy là tuyến tính: Cho phép y là vectơ cột các quan sát của biến giải thích, và là ma trận quan sát nhân tố (các hàng của ma trận là vectơ các giá trị nhân tố trong một quan sát cho trước, các cột là vectơ giá trị của một nhân tố cho trước) trong tất cả các quan sát). Biểu diễn ma trận của mô hình tuyến tính có dạng: Khi đó vectơ ước lượng của biến giải thích và vectơ phần dư hồi quy sẽ bằng nhau Theo đó, tổng bình phương của phần dư hồi quy sẽ bằng Vi phân hàm số này theo vectơ tham số và cho đạo hàm bằng 0, ta thu được hệ phương trình (dạng ma trận): . Giải pháp của hệ phương trình này đưa ra công thức chung cho ước lượng bình phương tối thiểu cho mô hình tuyến tính: Đối với mục đích phân tích, cách biểu diễn sau của công thức này rất hữu ích. Nếu trong mô hình hồi quy, dữ liệu trung tâm, thì trong cách biểu diễn này, ma trận thứ nhất có nghĩa là ma trận hiệp phương sai mẫu của các thừa số, còn ma trận thứ hai là vectơ hiệp phương sai của các thừa số với biến phụ thuộc. Nếu ngoài ra dữ liệu cũng bình thường hóa sang MSE (nghĩa là cuối cùng tiêu chuẩn hóa), thì ma trận thứ nhất mang ý nghĩa ma trận tương quan mẫu của các yếu tố, vectơ thứ hai - vectơ tương quan mẫu của các yếu tố với biến phụ thuộc. Một thuộc tính quan trọng của ước lượng OLS cho mô hình với hằng số- đường hồi quy được xây dựng đi qua trọng tâm của dữ liệu mẫu, nghĩa là thỏa mãn đẳng thức: Đặc biệt, trong trường hợp cực đoan, khi biến hồi quy duy nhất là hằng số, chúng ta thấy rằng ước tính OLS của tham số duy nhất (chính hằng số) bằng giá trị trung bình của biến được giải thích. Nghĩa là, giá trị trung bình số học, được biết đến với các đặc tính tốt từ các định luật số lớn, cũng là một ước tính bình phương tối thiểu - nó đáp ứng tiêu chí về tổng độ lệch bình phương tối thiểu so với nó. Ví dụ: hồi quy đơn giản nhất (theo cặp) Trong trường hợp hồi quy tuyến tính ghép nối, các công thức tính toán được đơn giản hóa (bạn có thể thực hiện mà không cần đại số ma trận): Tính chất của công cụ ước tính OLS Trước hết, chúng tôi lưu ý rằng đối với các mô hình tuyến tính, ước tính OLS là ước tính tuyến tính, như sau từ công thức trên. Đối với các ước tính OLS không thiên vị, điều cần và đủ là phải đáp ứng điều kiện quan trọng nhất của phân tích hồi quy: kỳ vọng toán học của một sai số ngẫu nhiên, tùy thuộc vào các yếu tố, phải bằng 0. Đặc biệt, điều kiện này được thỏa mãn nếu kỳ vọng toán học của các lỗi ngẫu nhiên bằng 0 và các yếu tố và sai số ngẫu nhiên là các biến ngẫu nhiên độc lập. Điều kiện thứ hai - điều kiện ngoại sinh của các yếu tố - là cơ bản. Nếu đặc tính này không được đáp ứng, thì chúng ta có thể giả định rằng hầu hết mọi ước tính sẽ cực kỳ không đạt yêu cầu: chúng thậm chí sẽ không nhất quán (nghĩa là ngay cả một lượng dữ liệu rất lớn cũng không cho phép chúng ta có được ước tính chất lượng cao trong trường hợp này ). Trong trường hợp cổ điển, một giả định mạnh hơn được đưa ra về tính tất định của các yếu tố, trái ngược với sai số ngẫu nhiên, điều này tự động có nghĩa là điều kiện ngoại sinh được đáp ứng. Trong trường hợp tổng quát, để tính nhất quán của các ước lượng, chỉ cần thỏa mãn điều kiện ngoại sinh cùng với sự hội tụ của ma trận thành một ma trận không suy biến nào đó khi cỡ mẫu tăng đến vô cùng. Để, ngoài tính nhất quán và không thiên vị, các ước tính bình phương nhỏ nhất (thông thường) cũng có hiệu quả (tốt nhất trong loại ước lượng không thiên vị tuyến tính), phải đáp ứng các thuộc tính bổ sung của sai số ngẫu nhiên: Những giả định này có thể được xây dựng cho ma trận hiệp phương sai của vectơ lỗi ngẫu nhiên Một mô hình tuyến tính thỏa mãn các điều kiện này được gọi là cổ điển. Các ước lượng OLS cho hồi quy tuyến tính cổ điển là các ước lượng không chệch, nhất quán và hiệu quả nhất trong nhóm tất cả các ước lượng không chệch tuyến tính (trong tài liệu tiếng Anh, chữ viết tắt đôi khi được sử dụng MÀU XANH DA TRỜI (Công cụ ước tính tuyến tính không cơ bản tốt nhất) - ước lượng không chệch tuyến tính tốt nhất; trong văn học Nga, định lý Gauss-Markov thường được trích dẫn nhiều hơn). Dễ dàng chỉ ra, ma trận hiệp phương sai của vectơ ước lượng hệ số sẽ bằng: OLS tổng quát Phương pháp bình phương tối thiểu cho phép khái quát hóa rộng rãi. Thay vì giảm thiểu tổng bình phương của các phần dư, người ta có thể giảm thiểu một số dạng bậc hai xác định dương của vectơ phần dư, trong đó là một ma trận trọng số xác định dương đối xứng nào đó. Bình phương tối thiểu thông thường là trường hợp đặc biệt của phương pháp này, trong đó ma trận trọng số tỷ lệ với ma trận danh tính. Như đã biết từ lý thuyết ma trận đối xứng (hoặc toán tử), đối với những ma trận như vậy có một sự phân rã. Do đó, hàm số đã chỉ định có thể được biểu diễn như sau, nghĩa là hàm này có thể được biểu diễn dưới dạng tổng bình phương của một số “phần dư” được chuyển đổi. Như vậy, chúng ta có thể phân biệt một lớp phương pháp bình phương tối thiểu - phương pháp LS (Bình phương tối thiểu). Người ta đã chứng minh (định lý Aitken) rằng đối với mô hình hồi quy tuyến tính tổng quát (trong đó không có hạn chế nào được áp đặt đối với ma trận hiệp phương sai của các sai số ngẫu nhiên), hiệu quả nhất (trong loại ước tính không thiên vị tuyến tính) là cái gọi là ước tính. Bình phương tối thiểu tổng quát (GLS - Bình phương tối thiểu tổng quát)- Phương pháp LS với ma trận trọng số bằng ma trận hiệp phương sai nghịch đảo của sai số ngẫu nhiên: . Có thể chỉ ra rằng công thức ước lượng GLS của các tham số của mô hình tuyến tính có dạng Ma trận hiệp phương sai của các ước tính này theo đó sẽ bằng Trên thực tế, bản chất của OLS nằm ở sự biến đổi (P) (tuyến tính) nhất định của dữ liệu gốc và ứng dụng OLS thông thường vào dữ liệu được chuyển đổi. Mục đích của việc chuyển đổi này là đối với dữ liệu được chuyển đổi, các lỗi ngẫu nhiên đã thỏa mãn các giả định cổ điển. OLS có trọng số Trong trường hợp ma trận trọng số đường chéo (và do đó là ma trận hiệp phương sai của các lỗi ngẫu nhiên), chúng ta có cái gọi là Bình phương tối thiểu có trọng số (WLS). Trong trường hợp này, tổng bình phương có trọng số của phần dư mô hình được giảm thiểu, nghĩa là mỗi quan sát nhận được một “trọng số” tỷ lệ nghịch với phương sai của sai số ngẫu nhiên trong quan sát này: . Trên thực tế, dữ liệu được biến đổi bằng cách tính trọng số cho các quan sát (chia cho một lượng tỷ lệ với độ lệch chuẩn ước tính của các sai số ngẫu nhiên) và OLS thông thường được áp dụng cho dữ liệu có trọng số. Một số trường hợp đặc biệt khi sử dụng MNC trong thực tế Xấp xỉ sự phụ thuộc tuyến tính Chúng ta hãy xem xét trường hợp khi, nhờ nghiên cứu sự phụ thuộc của một đại lượng vô hướng nhất định vào một đại lượng vô hướng nhất định (Ví dụ, đây có thể là sự phụ thuộc của điện áp vào cường độ dòng điện: , trong đó có giá trị không đổi, điện trở của dây dẫn), các phép đo của các đại lượng này đã được thực hiện, kết quả là các giá trị và giá trị tương ứng của chúng. Dữ liệu đo phải được ghi vào bảng. Bàn. Kết quả đo. Số đo 1 2 3 4 5 6 Câu hỏi đặt ra là: giá trị nào của hệ số có thể được chọn để mô tả tốt nhất sự phụ thuộc? Theo phương pháp bình phương tối thiểu, giá trị này phải sao cho tổng độ lệch bình phương của các giá trị so với các giá trị là tối thiểu Tổng độ lệch bình phương có một cực trị - tối thiểu, cho phép chúng ta sử dụng công thức này. Chúng ta hãy tìm từ công thức này giá trị của hệ số. Để làm điều này, chúng ta biến đổi phía bên trái của nó như sau: Công thức cuối cùng cho phép chúng ta tìm giá trị của hệ số, đây là giá trị cần thiết trong bài toán. Câu chuyện Cho đến đầu thế kỷ 19. các nhà khoa học chưa có những quy tắc nhất định để giải hệ phương trình trong đó số ẩn số nhỏ hơn số phương trình; Cho đến thời điểm đó, các kỹ thuật riêng đã được sử dụng tùy thuộc vào loại phương trình và trí thông minh của người tính, và do đó, các máy tính khác nhau, dựa trên cùng một dữ liệu quan sát, đã đưa ra các kết luận khác nhau. Gauss (1795) là người đầu tiên sử dụng phương pháp này và Legendre (1805) đã độc lập phát hiện và xuất bản nó dưới cái tên hiện đại (tiếng Pháp. Phương pháp moindres quarrés ) . Laplace liên hệ phương pháp này với lý thuyết xác suất, và nhà toán học người Mỹ Adrain (1808) đã xem xét các ứng dụng lý thuyết xác suất của nó. Phương pháp này đã được phổ biến rộng rãi và được cải tiến nhờ nghiên cứu sâu hơn của Encke, Bessel, Hansen và những người khác. Các ứng dụng thay thế của OLS Ý tưởng về phương pháp bình phương tối thiểu cũng có thể được sử dụng trong các trường hợp khác không liên quan trực tiếp đến phân tích hồi quy. Thực tế là tổng bình phương là một trong những thước đo độ gần phổ biến nhất của vectơ (hệ mét Euclide trong không gian hữu hạn chiều). Một ứng dụng là “giải” hệ phương trình tuyến tính trong đó số phương trình lớn hơn số biến trong đó ma trận không phải là hình vuông mà là hình chữ nhật có kích thước . Hệ phương trình như vậy, trong trường hợp tổng quát, không có nghiệm (nếu hạng thực tế lớn hơn số biến). Vì vậy, hệ này chỉ có thể được “giải” theo nghĩa chọn một vectơ như vậy để giảm thiểu “khoảng cách” giữa các vectơ và . Để làm được điều này, bạn có thể áp dụng tiêu chí cực tiểu hóa tổng bình phương của các hiệu giữa vế trái và vế phải của hệ phương trình, tức là. Dễ dàng chứng minh rằng việc giải bài toán tối thiểu hóa này sẽ dẫn đến giải hệ phương trình sau