تحديد المعاملات باستخدام طريقة المربعات الصغرى. أمثلة على حل مشاكل محددة

بعد التسوية نحصل على دالة بالشكل التالي: g (x) = x + 1 3 + 1 .

يمكننا تقريب هذه البيانات باستخدام العلاقة الخطية y = a x + b عن طريق حساب المعلمات المقابلة. للقيام بذلك، سنحتاج إلى تطبيق طريقة المربعات الصغرى. ستحتاج أيضًا إلى رسم رسم للتحقق من الخط الذي سيتوافق بشكل أفضل مع البيانات التجريبية.

Yandex.RTB RA-A-339285-1

ما هو OLS (طريقة المربعات الصغرى)

الشيء الرئيسي الذي يتعين علينا القيام به هو إيجاد معاملات الاعتماد الخطي التي تكون عندها قيمة دالة متغيرين F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 هي القيمة الأصغر. بمعنى آخر، بالنسبة لقيم معينة لـ a وb، سيكون لمجموع الانحرافات المربعة للبيانات المقدمة من الخط المستقيم الناتج قيمة دنيا. وهذا هو معنى طريقة المربعات الصغرى. كل ما علينا فعله لحل المثال هو إيجاد الحد الأقصى لدالة متغيرين.

كيفية استخلاص الصيغ لحساب المعاملات

من أجل استخلاص صيغ لحساب المعاملات، تحتاج إلى إنشاء وحل نظام من المعادلات بمتغيرين. للقيام بذلك، نحسب المشتقات الجزئية للتعبير F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 بالنسبة لـ a وb ونساويهم بـ 0.

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

لحل نظام المعادلات، يمكنك استخدام أي طرق، على سبيل المثال، الاستبدال أو طريقة كرامر. ونتيجة لذلك، يجب أن تكون لدينا صيغ يمكن استخدامها لحساب المعاملات باستخدام طريقة المربعات الصغرى.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - أ ∑ i = 1 n x i n

لقد قمنا بحساب قيم المتغيرات التي تكون فيها الدالة
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 سوف يأخذ القيمة الدنيا. وفي الفقرة الثالثة سوف نثبت لماذا الأمر هكذا بالضبط.

وهذا هو تطبيق طريقة المربعات الصغرى عملياً. تتضمن صيغتها، التي تُستخدم للعثور على المعلمة a، ∑ i = 1 n x i، ∑ i = 1 n y i، ∑ i = 1 n x i y i، ∑ i = 1 n x i 2، بالإضافة إلى المعلمة
ن - يدل على كمية البيانات التجريبية. ننصحك بحساب كل مبلغ على حدة. يتم حساب قيمة المعامل b مباشرة بعد a.

دعنا نعود إلى المثال الأصلي.

مثال 1

لدينا هنا n يساوي خمسة. لتسهيل حساب المبالغ المطلوبة المضمنة في صيغ المعاملات، فلنملأ الجدول.

	أنا = 1	أنا = 2	ط = 3	ط = 4	أنا = 5	∑ ط = 1 5
× ط	0	1	2	4	5	12
ذ ط	2 , 1	2 , 4	2 , 6	2 , 8	3	12 , 9
س ط ص ط	0	2 , 4	5 , 2	11 , 2	15	33 , 8
س ط 2	0	1	4	16	25	46

حل

يتضمن الصف الرابع البيانات التي تم الحصول عليها عن طريق ضرب القيم من الصف الثاني بقيم الثالث لكل فرد أي. يحتوي السطر الخامس على البيانات من المربع الثاني. يعرض العمود الأخير مجموع قيم الصفوف الفردية.

دعونا نستخدم طريقة المربعات الصغرى لحساب المعاملين a وb اللذين نحتاجهما. للقيام بذلك، استبدل القيم المطلوبة من العمود الأخير واحسب المبالغ:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - أ ∑ i = 1 n x i n ⇒ a = 5 33, 8 - 12 12, 9 5 46 - 12 2 ب = 12, 9 - أ 12 5 ⇒ أ ≈ 0, 165 ب ≈ 2, 184

اتضح أن الخط المستقيم التقريبي المطلوب سيبدو كما يلي: y = 0, 165 x + 2, 184. نحتاج الآن إلى تحديد الخط الذي سيقرب البيانات بشكل أفضل - g (x) = x + 1 3 + 1 أو 0,165 x + 2,184. دعونا نقدر باستخدام طريقة المربعات الصغرى.

لحساب الخطأ، نحتاج إلى إيجاد مجموع الانحرافات التربيعية للبيانات من الخطوط المستقيمة σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 و σ 2 = ∑ i = 1 n (y i - g (x i)) 2، ستتوافق القيمة الدنيا مع خط أكثر ملاءمة.

σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0, 165 x i + 2, 184)) 2 ≈ 0, 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0.096

إجابة:منذ σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
ص = 0.165 س + 2.184.

تظهر طريقة المربعات الصغرى بوضوح في الرسم التوضيحي. الخط الأحمر يمثل الخط المستقيم g (x) = x + 1 3 + 1، والخط الأزرق يمثل y = 0, 165 x + 2, 184. تتم الإشارة إلى البيانات الأصلية بالنقاط الوردية.

دعونا نوضح سبب الحاجة إلى تقديرات تقريبية من هذا النوع بالضبط.

ويمكن استخدامها في المهام التي تتطلب تجانس البيانات، وكذلك في المهام التي يجب فيها استيفاء البيانات أو استقراءها. على سبيل المثال، في المشكلة التي تمت مناقشتها أعلاه، يمكن للمرء إيجاد قيمة الكمية المرصودة y عند x = 3 أو عند x = 6. لقد خصصنا مقالة منفصلة لمثل هذه الأمثلة.

إثبات طريقة OLS

لكي تأخذ الدالة قيمة دنيا عند حساب a وb، من الضروري عند نقطة معينة أن تكون مصفوفة الشكل التربيعي لتفاضل الدالة بالشكل F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 موجب محدد. دعونا نظهر لك كيف ينبغي أن تبدو.

مثال 2

لدينا تفاضل من الدرجة الثانية على الشكل التالي:

د 2 F (أ ; ب) = δ 2 F (أ ; ب) δ أ 2 د 2 أ + 2 δ 2 F (أ ; ب) δ أ δ ب د أ د ب + δ 2 F (أ ; ب) δ ب 2 د 2 ب

حل

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a; b) δ a δ b = δ δ F (a; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + ب)) δ ب = 2 ∑ أنا = 1 ن (1) = 2 ن

بمعنى آخر، يمكننا كتابتها هكذا: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b.

لقد حصلنا على مصفوفة من الدرجة الثانية M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

في هذه الحالة، لن تتغير قيم العناصر الفردية اعتمادًا على a و b . هل هذه المصفوفة إيجابية محددة؟ للإجابة على هذا السؤال، دعونا نتحقق مما إذا كانت صغراته الزاوية موجبة.

نحسب الزاوية الصغرى من الدرجة الأولى: 2 ∑ i = 1 n (x i) 2 > 0 . نظرًا لأن النقاط x i غير متطابقة، فإن عدم المساواة صارم. وسنضع ذلك في الاعتبار في حسابات أخرى.

نحسب الدرجة الثانية الزاوية الصغرى:

د ه t (م) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

بعد ذلك، ننتقل إلى إثبات المتباينة n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 باستخدام الاستقراء الرياضي.

دعونا نتحقق مما إذا كانت عدم المساواة هذه صالحة لـ n التعسفي. لنأخذ 2 ونحسب:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = س 1 + س 2 2 > 0

لقد حصلنا على المساواة الصحيحة (إذا كانت القيمتين × 1 و × 2 غير متطابقتين).

دعونا نفترض أن هذا عدم المساواة سيكون صحيحا ل ن، أي. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 - صحيح.
الآن سوف نثبت صحة n + 1، أي. أن (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0، إذا n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .

نحسب:

(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 س 2 + س 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1 - س 2) 2 + . . . + (س ن - 1 - س ن) 2 > 0

سيكون التعبير المحاط بالأقواس المتعرجة أكبر من 0 (استنادًا إلى ما افترضناه في الخطوة 2)، وستكون الحدود المتبقية أكبر من 0، نظرًا لأنها كلها مربعات أرقام. لقد أثبتنا عدم المساواة.

إجابة:سوف تتوافق a وb التي تم العثور عليها مع أصغر قيمة للدالة F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2، مما يعني أنها المعلمات المطلوبة لطريقة المربعات الصغرى (إل إس إم).

إذا لاحظت وجود خطأ في النص، فيرجى تحديده والضغط على Ctrl+Enter

طريقة المربع الأصغرتستخدم لتقدير معلمات معادلة الانحدار.

إحدى طرق دراسة العلاقات العشوائية بين الخصائص هي تحليل الانحدار.
تحليل الانحدار هو اشتقاق معادلة الانحدار، والتي يتم من خلالها العثور على متوسط قيمة المتغير العشوائي (سمة النتيجة) إذا كانت قيمة متغير آخر (أو غيره) (سمات العامل) معروفة. ويتضمن الخطوات التالية:

اختيار شكل الاتصال (نوع معادلة الانحدار التحليلي)؛
تقدير معلمات المعادلة؛
تقييم جودة معادلة الانحدار التحليلية.

في أغلب الأحيان، يتم استخدام النموذج الخطي لوصف العلاقة الإحصائية بين الميزات. يتم تفسير التركيز على العلاقات الخطية من خلال التفسير الاقتصادي الواضح لمعلماتها، والتباين المحدود للمتغيرات، وحقيقة أنه في معظم الحالات يتم تحويل أشكال العلاقات غير الخطية (عن طريق اللوغاريتم أو استبدال المتغيرات) إلى شكل خطي لإجراء العمليات الحسابية .
في حالة وجود علاقة زوجية خطية، فإن معادلة الانحدار سوف تأخذ الشكل: y i =a+b·x i +u i . يتم تقدير المعلمتين a وb لهذه المعادلة من بيانات المراقبة الإحصائية x وy. نتيجة هذا التقييم هي المعادلة: حيث تكون تقديرات المعلمات a و b هي قيمة السمة الناتجة (المتغير) التي تم الحصول عليها من معادلة الانحدار (القيمة المحسوبة).

غالبا ما تستخدم لتقدير المعلمات طريقة المربعات الصغرى (LSM).
توفر طريقة المربعات الصغرى أفضل التقديرات (المتسقة والفعالة وغير المتحيزة) لمعلمات معادلة الانحدار. ولكن فقط في حالة استيفاء بعض الافتراضات المتعلقة بالمصطلح العشوائي (u) والمتغير المستقل (x) (راجع افتراضات OLS).

مشكلة تقدير معلمات المعادلة الزوجية الخطية باستخدام طريقة المربعات الصغرىكما يلي: للحصول على مثل هذه التقديرات للمعلمات، حيث يكون مجموع الانحرافات التربيعية للقيم الفعلية للخاصية الناتجة - y i من القيم المحسوبة - في حده الأدنى.
رسميا اختبار OLSيمكن كتابتها مثل هذا: .

تصنيف طرق المربعات الصغرى

طريقة المربع الأصغر.
طريقة الاحتمالية القصوى (بالنسبة لنموذج الانحدار الخطي الكلاسيكي العادي، يتم افتراض الحالة الطبيعية لبقايا الانحدار).
يتم استخدام طريقة المربعات الصغرى المعممة OLS في حالة الارتباط التلقائي للأخطاء وفي حالة التغايرية.
طريقة المربعات الصغرى المرجحة (حالة خاصة من OLS مع بقايا متغايرة).

دعونا توضيح هذه النقطة طريقة المربعات الصغرى الكلاسيكية بيانيا. للقيام بذلك، سنقوم بإنشاء مخطط مبعثر بناءً على بيانات الرصد (x i، y i، i=1;n) في نظام إحداثي مستطيل (مثل هذا المخطط المبعثر يسمى حقل الارتباط). دعنا نحاول تحديد الخط المستقيم الأقرب إلى نقاط مجال الارتباط. وفقا لطريقة المربعات الصغرى، يتم تحديد الخط بحيث يكون مجموع مربعات المسافات العمودية بين نقاط مجال الارتباط وهذا الخط في حده الأدنى.

الترميز الرياضي لهذه المشكلة: .
قيم y i وx i =1...n معروفة لنا، وهي بيانات رصدية. في الدالة S تمثل الثوابت. المتغيرات في هذه الدالة هي التقديرات المطلوبة للمعلمات - , . للعثور على الحد الأدنى لدالة لمتغيرين، من الضروري حساب المشتقات الجزئية لهذه الدالة لكل من المعلمات ومساواتها بالصفر، أي. .
ونتيجة لذلك، نحصل على نظام من معادلتين خطيتين عاديتين:
لحل هذا النظام نجد تقديرات المعلمات المطلوبة:

يمكن التحقق من صحة حساب معلمات معادلة الانحدار من خلال مقارنة المبالغ (قد يكون هناك بعض التناقض بسبب تقريب الحسابات).
لحساب تقديرات المعلمات، يمكنك بناء الجدول 1.
إشارة معامل الانحدار b تشير إلى اتجاه العلاقة (إذا كان b >0، فإن العلاقة مباشرة، إذا كان b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
رسميًا، قيمة المعلمة a هي القيمة المتوسطة لـ y حيث تساوي x صفرًا. إذا لم يكن لعامل السمة قيمة صفرية ولا يمكن أن يكون لها، فإن التفسير أعلاه للمعلمة a ليس له معنى.

تقييم مدى قرب العلاقة بين الخصائص تم تنفيذها باستخدام معامل الارتباط الزوجي الخطي - r x,y. ويمكن حسابها باستخدام الصيغة: . بالإضافة إلى ذلك يمكن تحديد معامل الارتباط الزوجي الخطي من خلال معامل الانحدار b: .
نطاق القيم المقبولة لمعامل الارتباط الزوجي الخطي هو من -1 إلى +1. تشير إشارة معامل الارتباط إلى اتجاه العلاقة. إذا كان r x, y >0، فإن الاتصال يكون مباشرًا؛ إذا ص س، ص<0, то связь обратная.
إذا كان هذا المعامل قريبًا من وحدة الحجم، فيمكن تفسير العلاقة بين الخصائص على أنها علاقة خطية قريبة إلى حد ما. إذا كانت وحدتها تساوي واحدًا ê r x , y ê =1، فإن العلاقة بين الخصائص تكون خطية وظيفية. إذا كانت الميزات x وy مستقلة خطيًا، فإن r x,y قريبة من 0.
لحساب r x,y، يمكنك أيضًا استخدام الجدول 1.

الجدول 1

ملاحظات ن	× ط	ذ ط	س ط ∙ ذ ط
1	× 1	ذ 1	× 1 ذ 1
2	× 2	ذ 2	س 2 ص 2
...
ن	س ن	ذ ن	س ن ذ ن
مجموع العمود	∑س	∑y	∑xy
متوسط القيمة

لتقييم جودة معادلة الانحدار الناتجة، احسب معامل التحديد النظري - R 2 yx:

,
حيث d 2 هو تباين y الموضح بمعادلة الانحدار؛
e 2 - التباين المتبقي (غير المفسر بمعادلة الانحدار) لـ y؛
s 2 y - التباين الإجمالي (الإجمالي) لـ y.
يميز معامل التحديد نسبة التباين (التشتت) للسمة الناتجة y الموضحة بالانحدار (وبالتالي العامل x) في التباين الكلي (التشتت) y. يأخذ معامل التحديد R 2 yx القيم من 0 إلى 1. وبناء على ذلك، فإن القيمة 1-R 2 yx تميز نسبة التباين y الناجم عن تأثير عوامل أخرى لم تؤخذ بعين الاعتبار في أخطاء النموذج والمواصفات.
مع الانحدار الخطي المقترن، R 2 yx = r 2 yx.

ويستخدم على نطاق واسع في الاقتصاد القياسي في شكل تفسير اقتصادي واضح لمعلماته.

يأتي الانحدار الخطي لإيجاد معادلة النموذج

أو

معادلة النموذج يسمح على أساس قيم المعلمات المحددة Xلها قيم نظرية للخاصية الناتجة، مع استبدال القيم الفعلية للعامل فيها X.

يتم تقليل بناء الانحدار الخطي إلى تقدير معلماته - أو الخامس.يمكن العثور على تقديرات معلمات الانحدار الخطي باستخدام طرق مختلفة.

يعتمد النهج الكلاسيكي لتقدير معلمات الانحدار الخطي على طريقة المربعات الصغرى(الشركات المتعددة الجنسيات).

تتيح لنا طريقة المربعات الصغرى الحصول على تقديرات المعلمات هذه أو الخامس،حيث يكون مجموع الانحرافات التربيعية للقيم الفعلية للخاصية الناتجة (ذ)من المحسوبة (النظرية) الحد الأدنى:

للعثور على الحد الأدنى من دالة، تحتاج إلى حساب المشتقات الجزئية لكل من المعلمات أو بوجعلهم يساوي الصفر.

دعونا نشير من خلال S، ثم:

بتحويل الصيغة، نحصل على النظام التالي من المعادلات العادية لتقدير المعلمات أو الخامس:

حل نظام المعادلات العادية (3.5) إما بطريقة الحذف المتتابع للمتغيرات أو بطريقة المحددات نجد التقديرات المطلوبة للمعلمات أو الخامس.

معامل الخامسيسمى معامل الانحدار . وتظهر قيمته متوسط التغير في النتيجة مع تغير العامل بمقدار وحدة واحدة.

يتم دائمًا استكمال معادلة الانحدار بمؤشر على مدى قرب الاتصال. عند استخدام الانحدار الخطي، مثل هذا المؤشر هو معامل الارتباط الخطي. هناك تعديلات مختلفة على صيغة معامل الارتباط الخطي. وفيما يلي بعض منها:

وكما هو معروف فإن معامل الارتباط الخطي يقع ضمن الحدود: -1 ≤ ≤ 1.

لتقييم جودة اختيار دالة خطية، يتم حساب المربع

يسمى معامل الارتباط الخطي معامل التحديد.يميز معامل التحديد نسبة التباين في الخاصية الناتجة ذ،موضحة بالانحدار في التباين الكلي للسمة الناتجة:

وبناء على ذلك، فإن القيمة 1 تميز حصة التباين ذ،ناتجة عن تأثير عوامل أخرى لم تؤخذ في الاعتبار في النموذج.

أسئلة للتحكم في النفس

1. جوهر طريقة المربعات الصغرى؟

2. كم عدد المتغيرات التي يوفرها الانحدار الزوجي؟

3. ما هو المعامل الذي يحدد مدى قرب الارتباط بين التغيرات؟

4. في أي حدود يتم تحديد معامل التحديد؟

5. تقدير المعلمة ب في تحليل الارتباط والانحدار؟

1. كريستوفر دوجيرتي. مقدمة في الاقتصاد القياسي. - م: إنفرا - م، 2001 - 402 ص.

2. س.أ. بوروديتش. الاقتصاد القياسي. شركة مينسك "المعرفة الجديدة" 2001.

3. آر.يو. رحمتوفا دورة قصيرة في الاقتصاد القياسي. درس تعليمي. ألماتي. 2004. -78 ص.

4. أنا. إليسيفا الاقتصاد القياسي. - م: "المالية والإحصاء"، 2002

5. مجلة شهرية إعلامية وتحليلية.

النماذج الاقتصادية غير الخطية. نماذج الانحدار غير الخطية. تحويل المتغيرات.

النماذج الاقتصادية غير الخطية..

تحويل المتغيرات.

معامل المرونة.

إذا كانت هناك علاقات غير خطية بين الظواهر الاقتصادية، فسيتم التعبير عنها باستخدام الوظائف غير الخطية المقابلة: على سبيل المثال، القطع الزائد متساوي الأضلاع , القطع المكافئة من الدرجة الثانية وإلخ.

هناك فئتان من الانحدارات غير الخطية:

1. الانحدارات غير خطية بالنسبة للمتغيرات التوضيحية المتضمنة في التحليل، ولكنها خطية بالنسبة للمتغيرات المقدرة، على سبيل المثال:

كثيرات الحدود بدرجات مختلفة - , ;

القطع الزائد متساوي الأضلاع - ;

دالة شبه لوغاريتمية - .

2. الانحدارات غير الخطية في المعلمات التي يتم تقديرها، على سبيل المثال:

قوة - ؛

إيضاحي - ؛

متسارع - .

المجموع الإجمالي للانحرافات التربيعية للقيم الفردية للخاصية الناتجة فيمن متوسط القيمة ناجم عن تأثير أسباب عديدة. دعونا نقسم مجموعة الأسباب بشكل مشروط إلى مجموعتين: العامل قيد الدراسة xو عوامل اخرى.

إذا كان العامل لا يؤثر على النتيجة، فإن خط الانحدار على الرسم البياني يكون موازيا للمحور أوهو

ثم يكون التباين الكامل للخاصية الناتجة ناتجًا عن تأثير عوامل أخرى وسيتزامن المجموع الإجمالي للانحرافات المربعة مع المتبقي. إذا لم تؤثر العوامل الأخرى على النتيجة، إذن ذ مربوطةمع Xوظيفيا ومجموع المربعات المتبقية هو صفر. في هذه الحالة، يكون مجموع الانحرافات المربعة التي يفسرها الانحدار هو نفس مجموع المربعات الإجمالية.

نظرًا لأن نقاط مجال الارتباط لا تقع جميعها على خط الانحدار، فإن تشتتها يحدث دائمًا نتيجة لتأثير العامل X، أي الانحدار فيبواسطة X،والناجمة عن أسباب أخرى (اختلاف غير مفسر). تعتمد مدى ملاءمة خط الانحدار للتنبؤ على أي جزء من التباين الإجمالي للسمة فيحسابات الاختلاف الموضح

من الواضح أنه إذا كان مجموع الانحرافات التربيعية بسبب الانحدار أكبر من مجموع المربعات المتبقية، فإن معادلة الانحدار تكون ذات دلالة إحصائية والعامل Xله تأثير كبير على النتيجة ش.

, أي مع عدد حرية الاختلاف المستقل للخاصية. يرتبط عدد درجات الحرية بعدد وحدات السكان n وعدد الثوابت المحددة منها. فيما يتعلق بالمشكلة قيد الدراسة، يجب أن يوضح عدد درجات الحرية عدد الانحرافات المستقلة عنها ص

يتم تقييم أهمية معادلة الانحدار ككل باستخدام F- معيار فيشر. في هذه الحالة، يتم طرح فرضية صفرية مفادها أن معامل الانحدار يساوي الصفر، أي. ب = 0، وبالتالي العامل Xلا يؤثر على النتيجة ش.

يسبق الحساب الفوري لاختبار F تحليل التباين. يحتل المكان المركزي فيه تحليل المجموع الكلي للانحرافات التربيعية للمتغير فيمن متوسط القيمة فيإلى قسمين - "موضح" و"غير مفسر":

- مجموع الانحرافات التربيعية؛

- مجموع الانحرافات التربيعية التي يفسرها الانحدار؛

- المبلغ المتبقي من الانحرافات التربيعية.

يرتبط أي مجموع من الانحرافات المربعة بعدد درجات الحرية , أي مع عدد حرية الاختلاف المستقل للخاصية. ويرتبط عدد درجات الحرية بعدد الوحدات السكانية نومع عدد الثوابت المحددة منه. فيما يتعلق بالمشكلة قيد الدراسة، يجب أن يوضح عدد درجات الحرية عدد الانحرافات المستقلة عنها صممكن المطلوبة لتشكيل مجموع معين من المربعات.

التشتت لكل درجة من الحريةد.

نسب F (اختبار F):

إذا كانت الفرضية الصفرية صحيحة، فإن العامل والتباينات المتبقية لا تختلف عن بعضها البعض. بالنسبة لـ H 0، يكون الدحض ضروريًا بحيث يتجاوز تشتت العامل التشتت المتبقي عدة مرات. قام الإحصائي الإنجليزي سنيديكور بتطوير جداول القيم الحرجة F-العلاقات عند مستويات مختلفة من أهمية الفرضية الصفرية وأعداد مختلفة من درجات الحرية. قيمة الجدول F-المعيار هو القيمة القصوى لنسبة التباينات التي يمكن أن تحدث في حالة التباعد العشوائي لمستوى احتمال معين لوجود الفرضية الصفرية. القيمة المحسوبة F- تعتبر العلاقات موثوقة إذا كان o أكبر من الجدول.

وفي هذه الحالة يتم رفض الفرضية الصفرية حول عدم وجود علاقة بين العلامات، ويتم التوصل إلى استنتاج حول أهمية هذه العلاقة: حقيقة F> جدول Fح0 مرفوض.

إذا كانت القيمة أقل من المجدولة حقيقة F ‹، جدول F، فإن احتمال الفرضية الصفرية أعلى من مستوى محدد ولا يمكن رفضها دون المخاطرة الجسيمة بالتوصل إلى نتيجة خاطئة حول وجود علاقة. وفي هذه الحالة، تعتبر معادلة الانحدار ذات دلالة إحصائية. لكنه لا ينحرف.

الخطأ المعياري لمعامل الانحدار

ولتقدير أهمية معامل الانحدار يتم مقارنة قيمته مع خطأه المعياري، أي يتم تحديد القيمة الفعلية ر-اختبار الطالب: والتي تتم مقارنتها بعد ذلك بقيمة الجدول عند مستوى دلالة معين وعدد درجات الحرية ( ن- 2).

خطأ في المعلمة القياسية أ:

يتم التحقق من أهمية معامل الارتباط الخطي بناءً على حجم الخطأ معامل الارتباط ر ص:

إجمالي تباين السمات X:

الانحدار الخطي المتعدد

بناء نموذج

الانحدار المتعدديمثل تراجعا لصفة فعالة بعاملين أو أكثر أي نموذج للشكل

يمكن أن يعطي الانحدار نتائج جيدة في النمذجة إذا كان من الممكن إهمال تأثير العوامل الأخرى التي تؤثر على موضوع الدراسة. لا يمكن التحكم في سلوك المتغيرات الاقتصادية الفردية، أي أنه لا يمكن ضمان تساوي جميع الشروط الأخرى لتقييم تأثير عامل واحد قيد الدراسة. في هذه الحالة، يجب أن تحاول التعرف على تأثير العوامل الأخرى عن طريق إدخالها في النموذج، أي بناء معادلة الانحدار المتعدد: ص = أ+ب 1 × 1 +ب 2 +…+ب ع × ع + .

الهدف الرئيسي من الانحدار المتعدد هو بناء نموذج يحتوي على عدد كبير من العوامل، مع تحديد تأثير كل منها على حدة، وكذلك تأثيرها مجتمعة على المؤشر النموذجي. تتضمن مواصفات النموذج مجموعتين من القضايا: اختيار العوامل واختيار نوع معادلة الانحدار

طريقة المربع الأصغر

طريقة المربع الأصغر ( OLS، OLS، المربعات الصغرى العادية) - إحدى الطرق الأساسية لتحليل الانحدار لتقدير المعلمات غير المعروفة لنماذج الانحدار باستخدام بيانات العينة. تعتمد الطريقة على تقليل مجموع مربعات بقايا الانحدار.

تجدر الإشارة إلى أن طريقة المربعات الصغرى نفسها يمكن أن تسمى طريقة لحل مشكلة في أي مجال إذا كان الحل يكمن في أو يلبي بعض المعايير لتقليل مجموع مربعات بعض وظائف المتغيرات المطلوبة. لذلك، يمكن أيضًا استخدام طريقة المربعات الصغرى للتمثيل التقريبي (تقريب) لدالة معينة بواسطة دوال أخرى (أبسط)، عند العثور على مجموعة من الكميات التي تحقق المعادلات أو القيود، والتي يزيد عددها عن عدد هذه الكميات ، إلخ.

جوهر الشركات المتعددة الجنسيات

دع بعض النماذج (البارامترية) للعلاقة الاحتمالية (الانحدارية) بين المتغير (الموضح) ذوالعديد من العوامل (المتغيرات التفسيرية) س

أين هو متجه معلمات النموذج غير المعروفة

- خطأ في النموذج العشوائي.

ولتكن هناك أيضًا نماذج من الملاحظات لقيم هذه المتغيرات. ليكن رقم الملاحظة (). ثم هي قيم المتغيرات في الملاحظة. بعد ذلك، بالنسبة لقيم المعلمات b، من الممكن حساب القيم النظرية (النموذجية) للمتغير الموضح y:

حجم البقايا يعتمد على قيم المعلمات ب.

يتمثل جوهر طريقة المربعات الصغرى (العادية والكلاسيكية) في العثور على المعلمات ب التي يكون مجموع مربعات القيم المتبقية فيها (eng. مجموع المربعات المتبقية) سيكون الحد الأدنى:

في الحالة العامة، يمكن حل هذه المشكلة عن طريق طرق التحسين العددي (التقليل). في هذه الحالة يتحدثون عنها المربعات الصغرى غير الخطية(NLS أو NLLS - الإنجليزية) المربعات الصغرى غير الخطية). في كثير من الحالات من الممكن الحصول على حل تحليلي. لحل مشكلة التقليل، من الضروري إيجاد نقاط ثابتة للدالة عن طريق تمييزها فيما يتعلق بالمعلمات غير المعروفة ب، ومساواة المشتقات بالصفر وحل نظام المعادلات الناتج:

إذا كانت الأخطاء العشوائية للنموذج موزعة بشكل طبيعي، ولها نفس التباين، وغير مرتبطة، فإن تقديرات معلمات OLS هي نفس تقديرات الاحتمالية القصوى (MLM).

OLS في حالة النموذج الخطي

دع اعتماد الانحدار يكون خطيًا:

يترك ذهو متجه عمود لملاحظات المتغير الموضح، وهو عبارة عن مصفوفة لملاحظات العامل (صفوف المصفوفة هي متجهات قيم العامل في ملاحظة معينة، الأعمدة هي متجه قيم عامل معين في جميع الملاحظات). تمثيل المصفوفة للنموذج الخطي هو:

عندها سيكون متجه تقديرات المتغير الموضح ومتجه بقايا الانحدار متساويين

وبناء على ذلك، فإن مجموع مربعات بقايا الانحدار سيكون مساوياً لـ

بتفريق هذه الدالة فيما يتعلق بمتجه المعلمات ومساواة المشتقات بالصفر، نحصل على نظام المعادلات (في شكل مصفوفة):

يعطي حل نظام المعادلات هذا الصيغة العامة لتقديرات المربعات الصغرى للنموذج الخطي:

ولأغراض تحليلية، فإن التمثيل الأخير لهذه الصيغة مفيد. إذا كانت البيانات في نموذج الانحدار تركزت، فإن المصفوفة الأولى في هذا التمثيل لها معنى مصفوفة التغاير المشترك للعوامل، والثانية هي متجه لتغايرات العوامل مع المتغير التابع. إذا بالإضافة إلى ذلك فإن البيانات أيضا تطبيعإلى MSE (وهذا هو، في نهاية المطاف موحدة) ، فإن المصفوفة الأولى لها معنى مصفوفة ارتباط العينة للعوامل، والمتجه الثاني - ناقل ارتباطات العينة للعوامل مع المتغير التابع.

خاصية مهمة لتقديرات OLS للنماذج مع ثابت- يمر خط الانحدار المبني عبر مركز ثقل بيانات العينة أي أن المساواة قد تحققت:

على وجه الخصوص، في الحالة القصوى، عندما يكون التراجع الوحيد ثابتًا، نجد أن تقدير OLS للمعلمة الوحيدة (الثابت نفسه) يساوي متوسط قيمة المتغير الموضح. أي أن الوسط الحسابي، المعروف بخصائصه الجيدة من قوانين الأعداد الكبيرة، هو أيضًا تقدير بالمربعات الصغرى - فهو يفي بمعيار الحد الأدنى لمجموع الانحرافات المربعة عنه.

مثال: أبسط الانحدار (الزوجي).

في حالة الانحدار الخطي المقترن، يتم تبسيط صيغ الحساب (يمكنك الاستغناء عن جبر المصفوفات):

خصائص مقدرات OLS

أولا وقبل كل شيء، نلاحظ أنه بالنسبة للنماذج الخطية، فإن تقديرات OLS هي تقديرات خطية، على النحو التالي من الصيغة أعلاه. بالنسبة لتقديرات OLS غير المتحيزة، من الضروري والكافي تحقيق الشرط الأكثر أهمية لتحليل الانحدار: التوقع الرياضي للخطأ العشوائي، المشروط بالعوامل، يجب أن يساوي الصفر. وهذا الشرط، على وجه الخصوص، يتم استيفاءه إذا

التوقع الرياضي للأخطاء العشوائية هو صفر، و
العوامل والأخطاء العشوائية هي متغيرات عشوائية مستقلة.

الشرط الثاني – شرط نشوء العوامل الخارجية – هو شرط أساسي. إذا لم يتم استيفاء هذه الخاصية، فيمكننا أن نفترض أن أي تقديرات تقريبًا ستكون غير مرضية للغاية: فهي لن تكون متسقة حتى (أي أنه حتى كمية كبيرة جدًا من البيانات لا تسمح لنا بالحصول على تقديرات عالية الجودة في هذه الحالة ). في الحالة الكلاسيكية، يتم وضع افتراض أقوى حول حتمية العوامل، بدلاً من الخطأ العشوائي، والذي يعني تلقائيًا أن شرط التولد الخارجي قد تم استيفائه. في الحالة العامة، من أجل اتساق التقديرات، يكفي استيفاء شرط التجانس الخارجي مع تقارب المصفوفة مع مصفوفة غير مفردة مع زيادة حجم العينة إلى ما لا نهاية.

لكي تكون تقديرات LSM (العادية) فعالة أيضًا (الأفضل في فئة التقديرات الخطية غير المتحيزة)، بالإضافة إلى الاتساق وعدم التحيز، يجب استيفاء خصائص إضافية للخطأ العشوائي:

يمكن صياغة هذه الافتراضات لمصفوفة التغاير لمتجه الخطأ العشوائي

يسمى النموذج الخطي الذي يحقق هذه الشروط كلاسيكي. تقديرات OLS للانحدار الخطي الكلاسيكي هي تقديرات غير متحيزة ومتسقة وأكثر فعالية في فئة جميع التقديرات الخطية غير المتحيزة (في الأدبيات الإنجليزية، يُستخدم الاختصار أحيانًا أزرق (أفضل مقدر خطي غير مقيد) - أفضل تقدير خطي غير متحيز؛ في الأدب الروسي يتم الاستشهاد بنظرية غاوس ماركوف في كثير من الأحيان). كما هو واضح، فإن مصفوفة التغاير لمتجه تقديرات المعامل ستكون مساوية لما يلي:

عملية شريان الحياة المعممة

تسمح طريقة المربعات الصغرى بالتعميم على نطاق واسع. بدلاً من تقليل مجموع مربعات البقايا، يمكن للمرء تقليل بعض الأشكال التربيعية المحددة الإيجابية لمتجه البقايا، حيث توجد مصفوفة وزن محددة إيجابية متماثلة. تعتبر المربعات الصغرى التقليدية حالة خاصة لهذا النهج، حيث تتناسب مصفوفة الوزن مع مصفوفة الهوية. كما هو معروف من نظرية المصفوفات المتماثلة (أو العوامل)، لمثل هذه المصفوفات هناك تحلل. وبالتالي، يمكن تمثيل الدالة المحددة على النحو التالي، أي أنه يمكن تمثيل هذه الدالة كمجموع مربعات بعض "البقايا" المحولة. وهكذا، يمكننا التمييز بين فئة من أساليب المربعات الصغرى - أساليب LS (المربعات الصغرى).

لقد ثبت (نظرية آيتكين) أنه بالنسبة لنموذج الانحدار الخطي المعمم (الذي لا يتم فيه فرض أي قيود على مصفوفة التغاير للأخطاء العشوائية)، فإن الأكثر فعالية (في فئة التقديرات الخطية غير المتحيزة) هي ما يسمى بالتقديرات. المربعات الصغرى المعممة (GLS - المربعات الصغرى المعممة)- طريقة LS بمصفوفة وزنية تساوي مصفوفة التغاير العكسي للأخطاء العشوائية : .

يمكن إثبات أن صيغة تقديرات GLS لمعلمات النموذج الخطي لها الشكل

وبالتالي فإن مصفوفة التغاير لهذه التقديرات ستكون مساوية لـ

في الواقع، يكمن جوهر OLS في تحويل (خطي) معين (P) للبيانات الأصلية وتطبيق OLS العادي على البيانات المحولة. والغرض من هذا التحويل هو أنه بالنسبة للبيانات المحولة، فإن الأخطاء العشوائية تلبي بالفعل الافتراضات الكلاسيكية.

OLS المرجح

في حالة مصفوفة الوزن القطرية (وبالتالي مصفوفة التغاير للأخطاء العشوائية)، لدينا ما يسمى بالمربعات الصغرى الموزونة (WLS). في هذه الحالة، يتم تقليل المجموع المرجح لمربعات بقايا النموذج، أي أن كل ملاحظة تتلقى "وزنًا" يتناسب عكسيًا مع تباين الخطأ العشوائي في هذه الملاحظة: . في الواقع، يتم تحويل البيانات عن طريق ترجيح الملاحظات (القسمة على مقدار يتناسب مع الانحراف المعياري المقدر للأخطاء العشوائية)، ويتم تطبيق عملية OLS العادية على البيانات المرجحة.

بعض الحالات الخاصة لاستخدام MNC في الممارسة العملية

تقريب الاعتماد الخطي

دعونا ننظر في الحالة عندما، نتيجة لدراسة اعتماد كمية عددية معينة على كمية عددية معينة (قد يكون هذا، على سبيل المثال، اعتماد الجهد على القوة الحالية: حيث تكون القيمة الثابتة، مقاومة الموصل)، وتم إجراء قياسات لهذه الكميات، ونتيجة لذلك تم تحديد القيم والقيم المقابلة لها. ويجب تسجيل بيانات القياس في جدول.

طاولة. نتائج القياس.

رقم القياس
1
2
3
4
5
6

والسؤال هو: ما هي قيمة المعامل التي يمكن اختيارها لوصف التبعية بشكل أفضل؟ وفقا لطريقة المربعات الصغرى، يجب أن تكون هذه القيمة بحيث يكون مجموع الانحرافات التربيعية للقيم من القيم

كان الحد الأدنى

مجموع الانحرافات التربيعية له حد أقصى واحد - وهو الحد الأدنى، مما يسمح لنا باستخدام هذه الصيغة. دعونا نجد من هذه الصيغة قيمة المعامل. للقيام بذلك، نقوم بتحويل جانبه الأيسر على النحو التالي:

الصيغة الأخيرة تسمح لنا بإيجاد قيمة المعامل، وهو ما هو مطلوب في المسألة.

قصة

حتى بداية القرن التاسع عشر. ولم يكن لدى العلماء قواعد معينة لحل نظام المعادلات الذي يكون فيه عدد المجهولين أقل من عدد المعادلات؛ حتى ذلك الوقت، تم استخدام تقنيات خاصة تعتمد على نوع المعادلات وعلى ذكاء الآلات الحاسبة، وبالتالي توصلت الآلات الحاسبة المختلفة، بناءً على نفس بيانات المراقبة، إلى استنتاجات مختلفة. كان غاوس (1795) أول من استخدم الطريقة، واكتشفها ليجيندر (1805) بشكل مستقل ونشرها تحت اسمها الحديث (فرنسي. طريقة المحاجر ) . ربط لابلاس الطريقة بنظرية الاحتمالات، ونظر عالم الرياضيات الأمريكي أدريان (1808) في تطبيقاتها النظرية الاحتمالية. وقد انتشرت هذه الطريقة على نطاق واسع وتم تحسينها من خلال المزيد من الأبحاث التي أجراها إنكي، وبيسل، وهانسن وآخرون.

الاستخدامات البديلة لـ OLS

يمكن أيضًا استخدام فكرة طريقة المربعات الصغرى في حالات أخرى لا تتعلق مباشرة بتحليل الانحدار. الحقيقة هي أن مجموع المربعات هو أحد مقاييس القرب الأكثر شيوعًا للمتجهات (القياس الإقليدي في المساحات محدودة الأبعاد).

أحد التطبيقات هو "حل" أنظمة المعادلات الخطية التي يكون فيها عدد المعادلات أكبر من عدد المتغيرات

حيث المصفوفة ليست مربعة، بل مستطيلة الحجم.

مثل هذا النظام من المعادلات، في الحالة العامة، ليس له حل (إذا كانت المرتبة في الواقع أكبر من عدد المتغيرات). لذلك، لا يمكن "حل" هذا النظام إلا بمعنى اختيار مثل هذا المتجه لتقليل "المسافة" بين المتجهات و. للقيام بذلك، يمكنك تطبيق معيار تقليل مجموع مربعات الاختلافات بين الجانبين الأيسر والأيمن لمعادلات النظام، أي. ومن السهل توضيح أن حل مشكلة التصغير هذه يؤدي إلى حل نظام المعادلات التالي