100 RURమొదటి ఆర్డర్ కోసం బోనస్
పని రకాన్ని ఎంచుకోండి డిప్లొమా పని కోర్సు పని వియుక్త మాస్టర్స్ థీసిస్ ప్రాక్టీస్ రిపోర్ట్ ఆర్టికల్ రిపోర్ట్ రివ్యూ టెస్ట్ వర్క్ మోనోగ్రాఫ్ సమస్య పరిష్కారం వ్యాపార ప్రణాళిక ప్రశ్నలకు సమాధానాలు క్రియేటివ్ వర్క్ ఎస్సే డ్రాయింగ్ ఎస్సేలు అనువాద ప్రదర్శనలు టైపింగ్ ఇతరత్రా టెక్స్ట్ యొక్క ప్రత్యేకతను పెంపొందించడం మాస్టర్స్ థీసిస్ లాబొరేటరీ వర్క్
ధర తెలుసుకోండి
తక్కువ చతురస్రాల పద్ధతి అనేది సమయ శ్రేణిని సమలేఖనం చేయడానికి, యాదృచ్ఛిక వేరియబుల్స్ మధ్య సహసంబంధం యొక్క రూపాన్ని గుర్తించడానికి ఉపయోగించే గణిత (గణిత-గణాంక) సాంకేతికత. అంతేకాకుండా, సమలేఖనం చేయబడిన వాటి నుండి గమనించిన పాయింట్ల వద్ద ఫంక్షన్ యొక్క వాస్తవ స్థాయిల యొక్క ప్రామాణిక విచలనం (డిస్పర్షన్ చూడండి) చిన్నదిగా ఉండే విధంగా రెండోది ఎంపిక చేయబడుతుంది.
ఉదాహరణకు, అందుబాటులో ఉన్న డేటా ప్రకారం ( xi,యి) (i = 1, 2, ..., n) అటువంటి వక్రత నిర్మించబడింది వై = a + bx, స్క్వేర్డ్ విచలనాల కనీస మొత్తం సాధించబడుతుంది
అనగా, రెండు పారామితులపై ఆధారపడి ఒక ఫంక్షన్ కనిష్టీకరించబడింది: a- ఆర్డినేట్ అక్షం మీద సెగ్మెంట్ మరియు బి- సరళ రేఖ వాలు.
ఫంక్షన్‌ను కనిష్టీకరించడానికి అవసరమైన షరతులను అందించే సమీకరణాలు ఎస్(a,బి), అంటారు సాధారణ సమీకరణాలు.ఉజ్జాయింపు ఫంక్షన్‌లుగా, లీనియర్ (సరళ రేఖ వెంట అమరిక) మాత్రమే కాకుండా, చతుర్భుజం, పారాబొలిక్, ఎక్స్‌పోనెన్షియల్, మొదలైనవి కూడా ఉపయోగించబడతాయి. సమయ శ్రేణిని సరళ రేఖ వెంట సమలేఖనం చేసే ఉదాహరణ కోసం, అంజీర్ చూడండి. M.2, ఇక్కడ స్క్వేర్డ్ దూరాల మొత్తం ( వై 1 – మరియు 1)2 + (వై 2 – మరియు 2)2 .... చిన్నది, మరియు ఫలితంగా వచ్చే సరళ రేఖ కాలక్రమేణా నిర్దిష్ట సూచిక యొక్క డైనమిక్ సిరీస్ పరిశీలనల ధోరణిని ఉత్తమంగా ప్రతిబింబిస్తుంది.
నిష్పాక్షికమైన OLS అంచనాల కోసం, రిగ్రెషన్ విశ్లేషణ యొక్క అతి ముఖ్యమైన షరతును నెరవేర్చడం అవసరం మరియు సరిపోతుంది: యాదృచ్ఛిక లోపం యొక్క గణిత అంచనా, కారకాలపై షరతులతో కూడినది, తప్పనిసరిగా సున్నాకి సమానంగా ఉండాలి. ఈ పరిస్థితి, ప్రత్యేకించి, సంతృప్తి చెందుతుంది: 1.యాదృచ్ఛిక దోషాల యొక్క గణిత అంచనా సున్నా, మరియు 2.కారకాలు మరియు యాదృచ్ఛిక లోపాలు స్వతంత్ర యాదృచ్ఛిక వేరియబుల్స్. మొదటి షరతు స్థిరమైన నమూనాల కోసం ఎల్లప్పుడూ నెరవేరినట్లు పరిగణించబడుతుంది, ఎందుకంటే స్థిరాంకం లోపాల యొక్క సున్నా కాని గణిత నిరీక్షణను తీసుకుంటుంది. రెండవ షరతు - కారకాల యొక్క బాహ్యతత్వ స్థితి - ప్రాథమికమైనది. ఈ ఆస్తిని అందుకోకపోతే, దాదాపు ఏవైనా అంచనాలు చాలా అసంతృప్తికరంగా ఉంటాయని మేము అనుకోవచ్చు: అవి కూడా స్థిరంగా ఉండవు (అనగా, చాలా పెద్ద మొత్తంలో డేటా కూడా ఈ సందర్భంలో అధిక-నాణ్యత అంచనాలను పొందేందుకు అనుమతించదు. )
రిగ్రెషన్ సమీకరణాల పారామితుల యొక్క గణాంక అంచనా యొక్క అత్యంత సాధారణ పద్ధతి తక్కువ చతురస్రాల పద్ధతి. ఈ పద్ధతి డేటా యొక్క స్వభావం మరియు మోడల్ ఫలితాలకు సంబంధించి అనేక అంచనాలపై ఆధారపడి ఉంటుంది. ప్రధానమైనవి అసలైన వేరియబుల్స్ డిపెండెంట్ మరియు ఇండిపెండెంట్‌గా స్పష్టమైన విభజన, సమీకరణాలలో చేర్చబడిన కారకాల యొక్క పరస్పర సంబంధం లేనివి, సంబంధం యొక్క సరళత, అవశేషాల యొక్క స్వీయ-సహసంబంధం లేకపోవడం, వాటి గణిత అంచనాల సమానత్వం సున్నా మరియు స్థిరంగా ఉంటాయి. చెదరగొట్టడం.
OLS యొక్క ప్రధాన పరికల్పనలలో ఒకటి విచలనాల వ్యత్యాసాల సమానత్వం యొక్క ఊహ ei, i.e. సిరీస్ యొక్క సగటు (సున్నా) విలువ చుట్టూ వాటి వ్యాప్తి స్థిరమైన విలువగా ఉండాలి. ఈ లక్షణాన్ని హోమోస్కేడాస్టిసిటీ అంటారు. ఆచరణలో, విచలనాల వ్యత్యాసాలు చాలా తరచుగా అసమానంగా ఉంటాయి, అనగా, భిన్నత్వం గమనించవచ్చు. ఇది వివిధ కారణాల వల్ల కావచ్చు. ఉదాహరణకు, సోర్స్ డేటాలో లోపాలు ఉండవచ్చు. మూలాధార సమాచారంలో అప్పుడప్పుడు సరికాని తప్పులు, సంఖ్యల క్రమంలో లోపాలు వంటివి ఫలితాలపై గణనీయమైన ప్రభావాన్ని చూపుతాయి. తరచుగా, డిపెండెంట్ వేరియబుల్ (వేరియబుల్స్) యొక్క పెద్ద విలువలతో విచలనాలు єi యొక్క పెద్ద వ్యాప్తిని గమనించవచ్చు. డేటా గణనీయమైన లోపాన్ని కలిగి ఉంటే, సహజంగానే, తప్పు డేటా నుండి లెక్కించిన మోడల్ విలువ యొక్క విచలనం కూడా పెద్దదిగా ఉంటుంది. ఈ లోపాన్ని వదిలించుకోవడానికి, మేము గణన ఫలితాలకు ఈ డేటా యొక్క సహకారాన్ని తగ్గించాలి, ఇతరులందరి కంటే వారికి తక్కువ బరువును కేటాయించాలి. ఈ ఆలోచన బరువున్న OLSలో అమలు చేయబడింది.
ప్రయోగాత్మక డేటా యొక్క ఉజ్జాయింపు అనేది ప్రయోగాత్మకంగా పొందిన డేటాను ఒక విశ్లేషణాత్మక ఫంక్షన్‌తో భర్తీ చేయడంపై ఆధారపడిన పద్ధతి, ఇది నోడల్ పాయింట్ల వద్ద అసలు విలువలతో (ప్రయోగం లేదా ప్రయోగం సమయంలో పొందిన డేటా) చాలా దగ్గరగా ఉంటుంది. ప్రస్తుతం, విశ్లేషణాత్మక విధిని నిర్వచించడానికి రెండు మార్గాలు ఉన్నాయి:
పాస్ అయ్యే n-డిగ్రీ ఇంటర్‌పోలేషన్ బహుపదిని నిర్మించడం ద్వారా నేరుగా అన్ని పాయింట్ల ద్వారాఇచ్చిన డేటా శ్రేణి. ఈ సందర్భంలో, ఉజ్జాయింపు ఫంక్షన్ రూపంలో ప్రదర్శించబడుతుంది: లాగ్రాంజ్ రూపంలో ఇంటర్‌పోలేషన్ బహుపది లేదా న్యూటన్ రూపంలో ఇంటర్‌పోలేషన్ బహుపది.
n-డిగ్రీ ఉజ్జాయింపుగా ఉండే బహుపదిని నిర్మించడం ద్వారా పాయింట్ల తక్షణ సమీపంలోఇచ్చిన డేటా శ్రేణి నుండి. అందువలన, ఉజ్జాయింపు ఫంక్షన్ ప్రయోగం సమయంలో ఉత్పన్నమయ్యే అన్ని యాదృచ్ఛిక శబ్దం (లేదా లోపాలు) ను సున్నితంగా చేస్తుంది: ప్రయోగం సమయంలో కొలిచిన విలువలు వారి స్వంత యాదృచ్ఛిక చట్టాల ప్రకారం (కొలత లేదా సాధన లోపాలు, సరికాని లేదా ప్రయోగాత్మకమైన) హెచ్చుతగ్గుల యాదృచ్ఛిక కారకాలపై ఆధారపడి ఉంటాయి. లోపాలు). ఈ సందర్భంలో, ఉజ్జాయింపు ఫంక్షన్ కనీసం చతురస్రాల పద్ధతిని ఉపయోగించి నిర్ణయించబడుతుంది.
తక్కువ చదరపు పద్ధతి(ఇంగ్లీష్ సాహిత్యంలో ఆర్డినరీ లీస్ట్ స్క్వేర్స్, OLS) అనేది ప్రయోగాత్మక డేటా యొక్క ఇచ్చిన శ్రేణి నుండి పాయింట్లకు అత్యంత సమీపంలో నిర్మించబడిన ఉజ్జాయింపు ఫంక్షన్‌ను నిర్ణయించడంపై ఆధారపడిన గణిత పద్ధతి. అసలైన మరియు ఉజ్జాయింపు ఫంక్షన్ల F(x) యొక్క సామీప్యత సంఖ్యాపరమైన కొలమానం ద్వారా నిర్ణయించబడుతుంది, అవి: ఉజ్జాయింపు వక్రరేఖ F(x) నుండి ప్రయోగాత్మక డేటా యొక్క స్క్వేర్డ్ విచలనాల మొత్తం చిన్నదిగా ఉండాలి.
అతి తక్కువ చతురస్రాల పద్ధతిని ఉపయోగించి నిర్మించబడిన సుమారు వక్రరేఖ
తక్కువ చతురస్రాల పద్ధతి ఉపయోగించబడుతుంది:
సమీకరణాల సంఖ్య తెలియని వాటి సంఖ్యను మించి ఉన్నప్పుడు సమీకరణాల యొక్క అతిగా నిర్ణయించబడిన వ్యవస్థలను పరిష్కరించడానికి;
సాధారణ (అతిగా నిర్ణయించబడని) సమీకరణాల నాన్ లీనియర్ సిస్టమ్‌ల విషయంలో పరిష్కారాన్ని కనుగొనడం;
కొన్ని ఉజ్జాయింపు ఫంక్షన్‌తో పాయింట్ విలువలను అంచనా వేయడానికి.
ఇవ్వబడిన ప్రయోగాత్మక డేటా శ్రేణి నుండి లెక్కించబడిన ఉజ్జాయింపు ఫంక్షన్ యొక్క కనిష్ట స్క్వేర్డ్ విచలనాల యొక్క కనిష్ట మొత్తం యొక్క స్థితి నుండి కనిష్ట స్క్వేర్‌ల పద్ధతిని ఉపయోగించి ఉజ్జాయింపు ఫంక్షన్ నిర్ణయించబడుతుంది. తక్కువ చతురస్రాల పద్ధతి యొక్క ఈ ప్రమాణం క్రింది వ్యక్తీకరణగా వ్రాయబడింది:
నోడల్ పాయింట్ల వద్ద లెక్కించిన ఉజ్జాయింపు ఫంక్షన్ యొక్క విలువలు,
నోడల్ పాయింట్ల వద్ద ఇచ్చిన ప్రయోగాత్మక డేటా శ్రేణి.
క్వాడ్రాటిక్ ప్రమాణం అనేక "మంచి" లక్షణాలను కలిగి ఉంది, భేదం వంటిది, బహుపది ఉజ్జాయింపు ఫంక్షన్‌లతో ఉజ్జాయింపు సమస్యకు ప్రత్యేకమైన పరిష్కారాన్ని అందిస్తుంది.
సమస్య యొక్క పరిస్థితులపై ఆధారపడి, ఉజ్జాయింపు ఫంక్షన్ డిగ్రీ m యొక్క బహుపది
ఉజ్జాయింపు ఫంక్షన్ యొక్క డిగ్రీ నోడల్ పాయింట్ల సంఖ్యపై ఆధారపడి ఉండదు, కానీ దాని పరిమాణం ఎల్లప్పుడూ ఇచ్చిన ప్రయోగాత్మక డేటా శ్రేణి యొక్క పరిమాణం (పాయింట్ల సంఖ్య) కంటే తక్కువగా ఉండాలి.
∙ ఉజ్జాయింపు ఫంక్షన్ యొక్క డిగ్రీ m=1 అయితే, మేము పట్టిక ఫంక్షన్‌ను సరళ రేఖతో (లీనియర్ రిగ్రెషన్) అంచనా వేస్తాము.
∙ ఉజ్జాయింపు ఫంక్షన్ యొక్క డిగ్రీ m=2 అయితే, మేము పట్టిక ఫంక్షన్‌ను క్వాడ్రాటిక్ పారాబొలా (క్వాడ్రాటిక్ ఉజ్జాయింపు)తో అంచనా వేస్తాము.
∙ ఉజ్జాయింపు ఫంక్షన్ యొక్క డిగ్రీ m=3 అయితే, మేము టేబుల్ ఫంక్షన్‌ను క్యూబిక్ పారాబొలా (క్యూబిక్ ఉజ్జాయింపు)తో అంచనా వేస్తాము.
సాధారణ సందర్భంలో, ఇచ్చిన పట్టిక విలువల కోసం డిగ్రీ m యొక్క ఉజ్జాయింపు బహుపదిని నిర్మించాల్సిన అవసరం వచ్చినప్పుడు, అన్ని నోడల్ పాయింట్లపై స్క్వేర్డ్ విచలనాల కనిష్ట మొత్తానికి షరతు క్రింది రూపంలో తిరిగి వ్రాయబడుతుంది:
- డిగ్రీ m యొక్క ఉజ్జాయింపు బహుపది యొక్క తెలియని గుణకాలు;
పేర్కొన్న పట్టిక విలువల సంఖ్య.
కనిష్ట ఫంక్షన్ యొక్క ఉనికికి అవసరమైన షరతు తెలియని వేరియబుల్స్‌కు సంబంధించి దాని పాక్షిక ఉత్పన్నాల సున్నాకి సమానం . ఫలితంగా, మేము ఈ క్రింది సమీకరణాల వ్యవస్థను పొందుతాము:
ఫలిత సమీకరణాల సరళ వ్యవస్థను మారుద్దాం: బ్రాకెట్‌లను తెరిచి, వ్యక్తీకరణ యొక్క కుడి వైపుకు ఉచిత నిబంధనలను తరలించండి. ఫలితంగా, సరళ బీజగణిత వ్యక్తీకరణల వ్యవస్థ క్రింది రూపంలో వ్రాయబడుతుంది:
ఈ సరళ బీజగణిత వ్యక్తీకరణల వ్యవస్థను మాతృక రూపంలో తిరిగి వ్రాయవచ్చు:
ఫలితంగా, పరిమాణం m+1 యొక్క సరళ సమీకరణాల వ్యవస్థ పొందబడింది, ఇది m+1 తెలియని వాటిని కలిగి ఉంటుంది. సరళ బీజగణిత సమీకరణాలను (ఉదాహరణకు, గాస్సియన్ పద్ధతి) పరిష్కరించడానికి ఏదైనా పద్ధతిని ఉపయోగించి ఈ వ్యవస్థను పరిష్కరించవచ్చు. పరిష్కారం ఫలితంగా, ఉజ్జాయింపు ఫంక్షన్ యొక్క తెలియని పారామితులు కనుగొనబడతాయి, ఇవి అసలు డేటా నుండి ఉజ్జాయింపు ఫంక్షన్ యొక్క స్క్వేర్డ్ విచలనాల కనీస మొత్తాన్ని అందిస్తాయి, అనగా. ఉత్తమమైన చతుర్భుజ ఉజ్జాయింపు. మూలాధార డేటా యొక్క ఒక విలువ కూడా మారితే, అన్ని గుణకాలు వాటి విలువలను మారుస్తాయని గుర్తుంచుకోవాలి, ఎందుకంటే అవి మూలాధార డేటా ద్వారా పూర్తిగా నిర్ణయించబడతాయి.
లీనియర్ డిపెండెన్స్ ద్వారా సోర్స్ డేటా యొక్క ఉజ్జాయింపు
(లీనియర్ రిగ్రెషన్)
ఉదాహరణగా, ఉజ్జాయింపు ఫంక్షన్‌ను నిర్ణయించే సాంకేతికతను పరిశీలిద్దాం, ఇది సరళ ఆధారపడటం రూపంలో పేర్కొనబడింది. కనిష్ట చతురస్రాల పద్ధతికి అనుగుణంగా, స్క్వేర్డ్ విచలనాల కనీస మొత్తం షరతు క్రింది రూపంలో వ్రాయబడుతుంది:
టేబుల్ నోడ్స్ యొక్క కోఆర్డినేట్లు;
ఉజ్జాయింపు ఫంక్షన్ యొక్క తెలియని కోఎఫీషియంట్స్, ఇది లీనియర్ డిపెండెన్స్‌గా పేర్కొనబడింది.
కనిష్ట ఫంక్షన్ యొక్క ఉనికికి అవసరమైన షరతు తెలియని వేరియబుల్స్‌కు సంబంధించి దాని పాక్షిక ఉత్పన్నాల సున్నాకి సమానత్వం. ఫలితంగా, మేము ఈ క్రింది సమీకరణాల వ్యవస్థను పొందుతాము:
ఫలిత సమీకరణాల సరళ వ్యవస్థను మారుద్దాం.
మేము సరళ సమీకరణాల ఫలిత వ్యవస్థను పరిష్కరిస్తాము. విశ్లేషణాత్మక రూపంలో ఉజ్జాయింపు ఫంక్షన్ యొక్క గుణకాలు క్రింది విధంగా నిర్ణయించబడతాయి (క్రామెర్ పద్ధతి):
ఈ గుణకాలు ఇచ్చిన పట్టిక విలువల (ప్రయోగాత్మక డేటా) నుండి ఉజ్జాయింపు ఫంక్షన్ యొక్క చతురస్రాల మొత్తాన్ని కనిష్టీకరించే ప్రమాణానికి అనుగుణంగా సరళ ఉజ్జాయింపు ఫంక్షన్ యొక్క నిర్మాణాన్ని నిర్ధారిస్తాయి.
తక్కువ చతురస్రాల పద్ధతిని అమలు చేయడానికి అల్గోరిథం
1. ప్రారంభ డేటా:
N కొలతల సంఖ్యతో ప్రయోగాత్మక డేటా యొక్క శ్రేణి పేర్కొనబడింది
ఉజ్జాయింపు బహుపది (m) యొక్క డిగ్రీ పేర్కొనబడింది
2. గణన అల్గోరిథం:
2.1 కొలతలతో సమీకరణాల వ్యవస్థను నిర్మించడానికి గుణకాలు నిర్ణయించబడతాయి
సమీకరణాల వ్యవస్థ యొక్క గుణకాలు (సమీకరణం యొక్క ఎడమ వైపు)
- సమీకరణాల వ్యవస్థ యొక్క చదరపు మాతృక యొక్క నిలువు వరుస సంఖ్య యొక్క సూచిక
సరళ సమీకరణాల వ్యవస్థ యొక్క ఉచిత నిబంధనలు (సమీకరణం యొక్క కుడి వైపు)
- సమీకరణాల వ్యవస్థ యొక్క స్క్వేర్ మ్యాట్రిక్స్ యొక్క వరుస సంఖ్య యొక్క సూచిక
2.2 పరిమాణంతో సరళ సమీకరణాల వ్యవస్థ ఏర్పడటం.
2.3 డిగ్రీ m యొక్క ఉజ్జాయింపు బహుపది యొక్క తెలియని గుణకాలను గుర్తించడానికి సరళ సమీకరణాల వ్యవస్థను పరిష్కరించడం.
2.4. అన్ని నోడల్ పాయింట్ల వద్ద అసలు విలువల నుండి సుమారుగా బహుపది యొక్క స్క్వేర్డ్ విచలనాల మొత్తాన్ని నిర్ణయించడం
స్క్వేర్డ్ విచలనాల మొత్తం కనుగొనబడిన విలువ కనీస సాధ్యం.
ఇతర ఫంక్షన్లను ఉపయోగించి ఉజ్జాయింపు
కనీసం చతురస్రాల పద్ధతికి అనుగుణంగా అసలు డేటాను అంచనా వేసేటప్పుడు, లాగరిథమిక్ ఫంక్షన్, ఎక్స్‌పోనెన్షియల్ ఫంక్షన్ మరియు పవర్ ఫంక్షన్ కొన్నిసార్లు ఉజ్జాయింపు ఫంక్షన్‌గా ఉపయోగించబడుతుందని గమనించాలి.
లాగరిథమిక్ ఉజ్జాయింపు
ఫారమ్ యొక్క లాగరిథమిక్ ఫంక్షన్ ద్వారా ఉజ్జాయింపు ఫంక్షన్ ఇవ్వబడినప్పుడు కేసును పరిశీలిద్దాం:
లెవలింగ్ తర్వాత, మేము కింది ఫారమ్ యొక్క ఫంక్షన్‌ను పొందుతాము: g (x) = x + 1 3 + 1 .
సంబంధిత పారామితులను లెక్కించడం ద్వారా y = a x + b సరళ సంబంధాన్ని ఉపయోగించి మేము ఈ డేటాను అంచనా వేయవచ్చు. దీన్ని చేయడానికి, మేము కనీసం చతురస్రాల పద్ధతి అని పిలవబడే పద్ధతిని వర్తింపజేయాలి. ప్రయోగాత్మక డేటాను ఏ లైన్ ఉత్తమంగా సమలేఖనం చేస్తుందో తనిఖీ చేయడానికి మీరు డ్రాయింగ్‌ను కూడా రూపొందించాలి.
Yandex.RTB R-A-339285-1
సరిగ్గా OLS అంటే ఏమిటి (తక్కువ చతురస్రాల పద్ధతి)
F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 అనే రెండు వేరియబుల్స్ ఫంక్షన్ విలువ ఉండే లీనియర్ డిపెండెన్స్ యొక్క అటువంటి గుణకాలను కనుగొనడం మనం చేయవలసిన ప్రధాన విషయం. అతి చిన్నది. మరో మాటలో చెప్పాలంటే, a మరియు b యొక్క నిర్దిష్ట విలువలకు, ఫలిత సరళ రేఖ నుండి సమర్పించబడిన డేటా యొక్క స్క్వేర్డ్ విచలనాల మొత్తం కనిష్ట విలువను కలిగి ఉంటుంది. ఇది తక్కువ చతురస్రాల పద్ధతి యొక్క అర్థం. ఉదాహరణను పరిష్కరించడానికి మనం చేయాల్సిందల్లా రెండు వేరియబుల్స్ యొక్క ఫంక్షన్ యొక్క తీవ్రతను కనుగొనడం.
గుణకాలను లెక్కించడానికి సూత్రాలను ఎలా పొందాలి
గుణకాలను లెక్కించడానికి సూత్రాలను రూపొందించడానికి, మీరు రెండు వేరియబుల్స్‌తో సమీకరణాల వ్యవస్థను సృష్టించాలి మరియు పరిష్కరించాలి. దీన్ని చేయడానికి, a మరియు bకి సంబంధించి F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 వ్యక్తీకరణ యొక్క పాక్షిక ఉత్పన్నాలను మేము లెక్కిస్తాము మరియు వాటిని 0కి సమం చేస్తాము.
δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n i ∑ i = 1 n i ∑ ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i
సమీకరణాల వ్యవస్థను పరిష్కరించడానికి, మీరు ఏదైనా పద్ధతులను ఉపయోగించవచ్చు, ఉదాహరణకు, ప్రత్యామ్నాయం లేదా క్రామెర్ పద్ధతి. ఫలితంగా, తక్కువ స్క్వేర్‌ల పద్ధతిని ఉపయోగించి గుణకాలను లెక్కించడానికి ఉపయోగించే సూత్రాలను మనం కలిగి ఉండాలి.
n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a 1 ∑ i =
మేము ఫంక్షన్ వేరియబుల్స్ యొక్క విలువలను లెక్కించాము
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 కనిష్ట విలువను తీసుకుంటుంది. సరిగ్గా ఇలా ఎందుకు ఉందో మూడో పేరాలో నిరూపిస్తాం.
ఇది ఆచరణలో తక్కువ చతురస్రాల పద్ధతి యొక్క అప్లికేషన్. పరామితిని కనుగొనడానికి ఉపయోగించే దాని ఫార్ములా, ∑ i = 1 n x i, ∑ i = 1 n y i, ∑ i = 1 n x i y i, ∑ i = 1 n x i 2, అలాగే పరామితిని కలిగి ఉంటుంది
n - ఇది ప్రయోగాత్మక డేటా మొత్తాన్ని సూచిస్తుంది. ప్రతి మొత్తాన్ని విడిగా లెక్కించమని మేము మీకు సలహా ఇస్తున్నాము. గుణకం b విలువ a తర్వాత వెంటనే లెక్కించబడుతుంది.
అసలు ఉదాహరణకి తిరిగి వెళ్దాం.
ఉదాహరణ 1
ఇక్కడ మనకు ఐదుకి సమానమైన n ఉంది. గుణకం సూత్రాలలో చేర్చబడిన అవసరమైన మొత్తాలను లెక్కించడం మరింత సౌకర్యవంతంగా చేయడానికి, పట్టికను పూరించండి.
| నేను = 1 | i=2 | i=3 | i=4 | i=5 | ∑ i = 1 5 | |
| x i | 0 | 1 | 2 | 4 | 5 | 12 |
| y i | 2 , 1 | 2 , 4 | 2 , 6 | 2 , 8 | 3 | 12 , 9 |
| x i y i | 0 | 2 , 4 | 5 , 2 | 11 , 2 | 15 | 33 , 8 |
| x i 2 | 0 | 1 | 4 | 16 | 25 | 46 |
పరిష్కారం
నాల్గవ వరుసలో ప్రతి వ్యక్తికి రెండవ అడ్డు వరుస నుండి మూడవ విలువలతో గుణించడం ద్వారా పొందిన డేటా ఉంటుంది i. ఐదవ పంక్తి రెండవ స్క్వేర్డ్ నుండి డేటాను కలిగి ఉంటుంది. చివరి నిలువు వరుస వ్యక్తిగత అడ్డు వరుసల విలువల మొత్తాలను చూపుతుంది.
మనకు అవసరమైన a మరియు b గుణకాలను లెక్కించడానికి అతి తక్కువ చతురస్రాల పద్ధతిని ఉపయోగిస్తాము. దీన్ని చేయడానికి, చివరి నిలువు వరుస నుండి అవసరమైన విలువలను ప్రత్యామ్నాయం చేయండి మరియు మొత్తాలను లెక్కించండి:
n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a = ∑ 3, a = ∑ 3 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184
అవసరమైన ఉజ్జాయింపు సరళ రేఖ y = 0, 165 x + 2, 184 లాగా కనిపిస్తుంది. ఇప్పుడు మనం ఏ పంక్తి డేటాను బాగా అంచనా వేయగలదో గుర్తించాలి - g (x) = x + 1 3 + 1 లేదా 0, 165 x + 2, 184. కనీసం చతురస్రాల పద్ధతిని ఉపయోగించి అంచనా వేద్దాం.
లోపాన్ని లెక్కించడానికి, మేము σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 మరియు σ 2 = ∑ i = 1 n (y i) సరళ రేఖల నుండి డేటా యొక్క స్క్వేర్డ్ విచలనాల మొత్తాన్ని కనుగొనాలి - g (x i)) 2, కనిష్ట విలువ మరింత సరిఅయిన లైన్‌కు అనుగుణంగా ఉంటుంది.
σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0, 165 x i + 2, 184)) 2 ≈ 0, 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0.096
సమాధానం:σ 1 నుండి< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0.165 x + 2.184.
అతి తక్కువ చతురస్రాల పద్ధతి గ్రాఫికల్ ఇలస్ట్రేషన్‌లో స్పష్టంగా చూపబడింది. ఎరుపు రేఖ సరళ రేఖ g (x) = x + 1 3 + 1, నీలం రేఖ y = 0, 165 x + 2, 184 అని సూచిస్తుంది. అసలు డేటా గులాబీ చుక్కల ద్వారా సూచించబడుతుంది.
ఈ రకమైన ఖచ్చితమైన ఉజ్జాయింపులు ఎందుకు అవసరమో వివరిస్తాము.
డేటాను సులభతరం చేయడం అవసరమయ్యే పనులలో, అలాగే డేటా తప్పనిసరిగా ఇంటర్‌పోలేట్ లేదా ఎక్స్‌ట్రాపోలేట్ చేయబడిన వాటిలో వాటిని ఉపయోగించవచ్చు. ఉదాహరణకు, పైన చర్చించిన సమస్యలో, గమనించిన పరిమాణం y విలువను x = 3 వద్ద లేదా x = 6 వద్ద కనుగొనవచ్చు. అటువంటి ఉదాహరణలకు మేము ప్రత్యేక కథనాన్ని అంకితం చేసాము.
OLS పద్ధతి యొక్క రుజువు
a మరియు b గణించబడినప్పుడు ఫంక్షన్ కనీస విలువను తీసుకోవడానికి, ఒక నిర్దిష్ట పాయింట్ వద్ద F (a, b) = ∑ i = ఫారమ్ యొక్క ఫంక్షన్ యొక్క అవకలన యొక్క చతుర్భుజ రూపం యొక్క మాతృక అవసరం. 1 n (y i - (a x i + b)) 2 ఖచ్చితంగా ధనాత్మకం. అది ఎలా కనిపించాలో మీకు చూపిద్దాం.
ఉదాహరణ 2
మేము ఈ క్రింది ఫారమ్‌లో రెండవ ఆర్డర్ డిఫరెన్షియల్‌ని కలిగి ఉన్నాము:
d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2 బి
పరిష్కారం
δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a; b) δ a δ b = δ δ F (a; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n
మరో మాటలో చెప్పాలంటే, మనం దీన్ని ఇలా వ్రాయవచ్చు: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b.
మేము M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n అనే చతురస్రాకార రూపం యొక్క మాతృకను పొందాము.
ఈ సందర్భంలో, a మరియు b లను బట్టి వ్యక్తిగత మూలకాల విలువలు మారవు. ఈ మాతృక సానుకూలంగా ఉందా? ఈ ప్రశ్నకు సమాధానమివ్వడానికి, దాని కోణీయ మైనర్‌లు సానుకూలంగా ఉన్నాయో లేదో తనిఖీ చేద్దాం.
మేము మొదటి ఆర్డర్ యొక్క కోణీయ మైనర్‌ను గణిస్తాము: 2 ∑ i = 1 n (x i) 2 > 0 . x i పాయింట్లు ఏకీభవించనందున, అసమానత కఠినంగా ఉంటుంది. మేము తదుపరి గణనలలో దీనిని దృష్టిలో ఉంచుకుంటాము.
మేము రెండవ ఆర్డర్ కోణీయ మైనర్‌ను గణిస్తాము:
d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i
దీని తరువాత, మేము గణిత ప్రేరణను ఉపయోగించి n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 అసమానతను నిరూపించడానికి కొనసాగుతాము.
- ఈ అసమానత ఏకపక్ష n కోసం చెల్లుబాటు అవుతుందో లేదో తనిఖీ చేద్దాం. 2 తీసుకొని గణిద్దాం:
2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0
మేము సరైన సమానత్వాన్ని పొందాము (విలువలు x 1 మరియు x 2 ఏకీభవించకపోతే).
- ఈ అసమానత n కోసం నిజమవుతుందని ఊహిద్దాం, అనగా. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – నిజం.
- ఇప్పుడు మనం n + 1 కోసం చెల్లుబాటును నిరూపిస్తాము, అనగా. అది (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0, అయితే n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .
మేము లెక్కిస్తాము:
(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1∑ x n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0
కర్లీ బ్రేస్‌లలో జతచేయబడిన వ్యక్తీకరణ 0 కంటే ఎక్కువగా ఉంటుంది (దశ 2లో మనం ఊహించిన దాని ఆధారంగా), మరియు మిగిలిన నిబంధనలు 0 కంటే ఎక్కువగా ఉంటాయి, ఎందుకంటే అవన్నీ సంఖ్యల వర్గాలు. మేము అసమానతలను నిరూపించాము.
సమాధానం:కనుగొనబడిన a మరియు b ఫంక్షన్ F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 యొక్క అతిచిన్న విలువకు అనుగుణంగా ఉంటాయి, అంటే అవి కనీసం చతురస్రాల పద్ధతికి అవసరమైన పారామితులు. (LSM).
మీరు టెక్స్ట్‌లో లోపాన్ని గమనించినట్లయితే, దయచేసి దాన్ని హైలైట్ చేసి, Ctrl+Enter నొక్కండి
ఆర్డినరీ లీస్ట్ స్క్వేర్స్ (OLS) పద్ధతి- కావలసిన వేరియబుల్స్ నుండి నిర్దిష్ట ఫంక్షన్ల యొక్క స్క్వేర్డ్ విచలనాల మొత్తాన్ని కనిష్టీకరించడం ఆధారంగా వివిధ సమస్యలను పరిష్కరించడానికి ఉపయోగించే గణిత పద్ధతి. సమీకరణాల యొక్క అతిగా నిర్ణయించబడిన వ్యవస్థలను "పరిష్కరించడానికి" (సమీకరణాల సంఖ్య తెలియని వారి సంఖ్యను అధిగమించినప్పుడు), సాధారణ (అధికంగా నిర్ణయించబడని) సమీకరణాల విషయంలో పరిష్కారాలను కనుగొనడానికి, కొన్ని పాయింట్ల విలువలను అంచనా వేయడానికి దీనిని ఉపయోగించవచ్చు. ఫంక్షన్. నమూనా డేటా నుండి రిగ్రెషన్ మోడల్స్ యొక్క తెలియని పారామితులను అంచనా వేయడానికి రిగ్రెషన్ విశ్లేషణ యొక్క ప్రాథమిక పద్ధతుల్లో OLS ఒకటి.
ఎన్సైక్లోపెడిక్ YouTube
1 / 5
✪ తక్కువ చతురస్రాల పద్ధతి. విషయం
✪ మిటిన్ I.V. - భౌతిక ఫలితాల ప్రాసెసింగ్. ప్రయోగం - తక్కువ చతురస్రాల పద్ధతి (ఉపన్యాసం 4)
✪ తక్కువ చతురస్రాల పద్ధతి, పాఠం 1/2. లీనియర్ ఫంక్షన్
✪ ఎకనామెట్రిక్స్. ఉపన్యాసం 5. తక్కువ చతురస్రాల పద్ధతి
✪ తక్కువ చతురస్రాల పద్ధతి. సమాధానాలు
ఉపశీర్షికలు
కథ
19వ శతాబ్దం ప్రారంభం వరకు. తెలియని వారి సంఖ్య సమీకరణాల సంఖ్య కంటే తక్కువగా ఉండే సమీకరణాల వ్యవస్థను పరిష్కరించడానికి శాస్త్రవేత్తలకు నిర్దిష్ట నియమాలు లేవు; అప్పటి వరకు, సమీకరణాల రకాన్ని మరియు కాలిక్యులేటర్‌ల తెలివిపై ఆధారపడి ఉండే ప్రైవేట్ పద్ధతులు ఉపయోగించబడ్డాయి మరియు అందువల్ల ఒకే పరిశీలనాత్మక డేటా ఆధారంగా వేర్వేరు కాలిక్యులేటర్‌లు వేర్వేరు నిర్ధారణలకు వచ్చాయి. ఈ పద్ధతిని ఉపయోగించిన మొదటి వ్యక్తి గౌస్ (1795), మరియు లెజెండ్రే (1805) స్వతంత్రంగా దాని ఆధునిక పేరుతో (ఫ్రెంచ్. మెథోడ్ డెస్ మోయిండ్రెస్ క్వారేస్) . లాప్లేస్ ఈ పద్ధతిని సంభావ్యత సిద్ధాంతంతో అనుసంధానించాడు మరియు అమెరికన్ గణిత శాస్త్రజ్ఞుడు అడ్రైన్ (1808) దాని సంభావ్యత-సిద్ధాంత అనువర్తనాలను పరిగణించాడు. ఎన్కే, బెస్సెల్, హాన్సెన్ మరియు ఇతరుల తదుపరి పరిశోధనల ద్వారా ఈ పద్ధతి విస్తృతంగా మరియు మెరుగుపరచబడింది.
కనీసం చతురస్రాల పద్ధతి యొక్క సారాంశం
వీలు x (\డిస్ప్లేస్టైల్ x)- కిట్ n (\ displaystyle n)తెలియని వేరియబుల్స్ (పారామితులు), f i (x) (\డిస్ప్లేస్టైల్ f_(i)(x)), , m > n (\displaystyle m>n)- ఈ వేరియబుల్స్ సెట్ నుండి ఫంక్షన్ల సమితి. అటువంటి విలువలను ఎంచుకోవడం పని x (\డిస్ప్లేస్టైల్ x), కాబట్టి ఈ ఫంక్షన్ల విలువలు నిర్దిష్ట విలువలకు వీలైనంత దగ్గరగా ఉంటాయి y i (\డిస్ప్లేస్టైల్ y_(i)). ముఖ్యంగా మనం ఎక్కువగా నిర్ణయించిన సమీకరణాల వ్యవస్థ యొక్క "పరిష్కారం" గురించి మాట్లాడుతున్నాము f i (x) = y i (\ displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\ displaystyle i=1,\ldots ,m)సిస్టమ్ యొక్క ఎడమ మరియు కుడి భాగాల గరిష్ట సామీప్యత యొక్క సూచించిన అర్థంలో. తక్కువ చతురస్రాల పద్ధతి యొక్క సారాంశం ఏమిటంటే, ఎడమ మరియు కుడి వైపుల స్క్వేర్డ్ విచలనాల మొత్తాన్ని "సామీప్య కొలత"గా ఎంచుకోవడం | f i (x) - y i | (\displaystyle |f_(i)(x)-y_(i)|). కాబట్టి, MNC యొక్క సారాంశాన్ని ఈ క్రింది విధంగా వ్యక్తీకరించవచ్చు:
∑ i e i 2 = ∑ i (y i - f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\కుడిబాణం \min _(x)).సమీకరణాల వ్యవస్థకు పరిష్కారం ఉంటే, అప్పుడు చతురస్రాల మొత్తం సున్నాకి సమానంగా ఉంటుంది మరియు సమీకరణాల వ్యవస్థకు ఖచ్చితమైన పరిష్కారాలను విశ్లేషణాత్మకంగా కనుగొనవచ్చు లేదా ఉదాహరణకు, వివిధ సంఖ్యా ఆప్టిమైజేషన్ పద్ధతులను ఉపయోగించవచ్చు. సిస్టమ్ అతిగా నిర్ణయించబడితే, అంటే, వదులుగా చెప్పాలంటే, కావలసిన వేరియబుల్స్ సంఖ్య కంటే స్వతంత్ర సమీకరణాల సంఖ్య ఎక్కువగా ఉంటుంది, అప్పుడు సిస్టమ్‌కు ఖచ్చితమైన పరిష్కారం ఉండదు మరియు తక్కువ చతురస్రాల పద్ధతి కొంత “ఆప్టిమల్” వెక్టర్‌ను కనుగొనడానికి అనుమతిస్తుంది. x (\డిస్ప్లేస్టైల్ x)వెక్టర్స్ యొక్క గరిష్ట సామీప్యత యొక్క అర్థంలో y (\డిస్ప్లేస్టైల్ y)మరియు f (x) (\డిస్ప్లేస్టైల్ f(x))లేదా విచలనం వెక్టర్ యొక్క గరిష్ట సామీప్యత ఇ (\డిస్ప్లేస్టైల్ ఇ)సున్నాకి (సమీపాన్ని యూక్లిడియన్ దూరం అనే అర్థంలో అర్థం చేసుకోవచ్చు).
ఉదాహరణ - సరళ సమీకరణాల వ్యవస్థ
ప్రత్యేకించి, సరళ సమీకరణాల వ్యవస్థను "పరిష్కరించడానికి" కనీసం చతురస్రాల పద్ధతిని ఉపయోగించవచ్చు
A x = b (\displaystyle Ax=b),ఎక్కడ A (\ displaystyle A)దీర్ఘచతురస్రాకార పరిమాణం మాతృక m × n , m > n (\ displaystyle m\times n,m>n)(అనగా మాతృక A యొక్క వరుసల సంఖ్య కోరిన వేరియబుల్స్ సంఖ్య కంటే ఎక్కువగా ఉంటుంది).
సాధారణ సందర్భంలో, అటువంటి సమీకరణాల వ్యవస్థకు పరిష్కారం లేదు. అందువల్ల, ఈ వ్యవస్థ అటువంటి వెక్టర్‌ను ఎంచుకునే అర్థంలో మాత్రమే "పరిష్కరించబడుతుంది" x (\డిస్ప్లేస్టైల్ x)వెక్టర్స్ మధ్య "దూరం" తగ్గించడానికి A x (\డిస్ప్లేస్టైల్ యాక్స్)మరియు b (\డిస్ప్లేస్టైల్ బి). దీన్ని చేయడానికి, మీరు సిస్టమ్ సమీకరణాల యొక్క ఎడమ మరియు కుడి వైపుల మధ్య వ్యత్యాసాల చతురస్రాల మొత్తాన్ని కనిష్టీకరించే ప్రమాణాన్ని వర్తింపజేయవచ్చు, అనగా (A x - b) T (A x - b) → min (\ displaystyle (Ax-b)^(T)(Ax-b)\rightarrow \min ). ఈ కనిష్టీకరణ సమస్యను పరిష్కరించడం క్రింది సమీకరణాల వ్యవస్థను పరిష్కరించడానికి దారితీస్తుందని చూపడం సులభం
A T A x = A T b ⇒ x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Rightarrow x=(A^(T)A)^(-1)A^ (T)b).రిగ్రెషన్ విశ్లేషణలో OLS (డేటా ఉజ్జాయింపు)
ఉండనివ్వండి n (\ displaystyle n)కొన్ని వేరియబుల్ విలువలు y (\డిస్ప్లేస్టైల్ y)(ఇది పరిశీలనలు, ప్రయోగాలు మొదలైన వాటి ఫలితాలు కావచ్చు) మరియు సంబంధిత వేరియబుల్స్ x (\డిస్ప్లేస్టైల్ x). మధ్య సంబంధాన్ని నిర్ధారించడం సవాలు y (\డిస్ప్లేస్టైల్ y)మరియు x (\డిస్ప్లేస్టైల్ x)కొన్ని తెలియని పారామితులలో తెలిసిన కొన్ని ఫంక్షన్ ద్వారా సుమారుగా b (\డిస్ప్లేస్టైల్ బి), అంటే, వాస్తవానికి పారామితుల యొక్క ఉత్తమ విలువలను కనుగొనండి b (\డిస్ప్లేస్టైల్ బి), గరిష్టంగా విలువలను అంచనా వేయడం f (x , b) (\ displaystyle f(x,b))వాస్తవ విలువలకు y (\డిస్ప్లేస్టైల్ y). వాస్తవానికి, ఇది సమీకరణాల యొక్క అతిగా నిర్ణయించబడిన వ్యవస్థను "పరిష్కరించే" విషయంలోకి వస్తుంది b (\డిస్ప్లేస్టైల్ బి):
F (x t , b) = y t , t = 1 , … , n (\ displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).
రిగ్రెషన్ విశ్లేషణలో మరియు ముఖ్యంగా ఎకనామెట్రిక్స్‌లో, వేరియబుల్స్ మధ్య ఆధారపడే సంభావ్యత నమూనాలు ఉపయోగించబడతాయి.
Y t = f (x t , b) + ε t (\ displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),
ఎక్కడ ε t (\డిస్ప్లేస్టైల్ \varepsilon _(t))- అని పిలుస్తారు యాదృచ్ఛిక లోపాలునమూనాలు.
దీని ప్రకారం, గమనించిన విలువల విచలనాలు y (\డిస్ప్లేస్టైల్ y)మోడల్ నుండి f (x , b) (\ displaystyle f(x,b))మోడల్‌లోనే ఇప్పటికే ఊహించబడింది. కనీసం చతురస్రాల పద్ధతి (సాధారణ, క్లాసికల్) యొక్క సారాంశం అటువంటి పారామితులను కనుగొనడం b (\డిస్ప్లేస్టైల్ బి), స్క్వేర్డ్ విచలనాల మొత్తం (లోపాలు, రిగ్రెషన్ నమూనాల కోసం వాటిని తరచుగా రిగ్రెషన్ అవశేషాలు అంటారు) e t (\డిస్ప్లేస్టైల్ e_(t))కనిష్టంగా ఉంటుంది:
b ^ O L S = arg min b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),ఎక్కడ R S S (\డిస్ప్లేస్టైల్ RSS)- ఆంగ్ల చతురస్రాల అవశేష మొత్తం ఇలా నిర్వచించబడింది:
R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t - f (x t, b)) 2 (\ displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\sum _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).సాధారణ సందర్భంలో, ఈ సమస్య సంఖ్యాపరమైన ఆప్టిమైజేషన్ (కనిష్టీకరణ) పద్ధతుల ద్వారా పరిష్కరించబడుతుంది. ఈ సందర్భంలో, వారు మాట్లాడతారు నాన్ లీనియర్ కనిష్ట చతురస్రాలు(NLS లేదా NLLS - ఇంగ్లీష్ నాన్-లీనియర్ లీస్ట్ స్క్వేర్స్). అనేక సందర్భాల్లో విశ్లేషణాత్మక పరిష్కారాన్ని పొందడం సాధ్యమవుతుంది. కనిష్టీకరణ సమస్యను పరిష్కరించడానికి, ఫంక్షన్ యొక్క స్థిరమైన పాయింట్లను కనుగొనడం అవసరం R S S (b) (\ displaystyle RSS(b)), తెలియని పారామితుల ప్రకారం దానిని వేరు చేయడం b (\డిస్ప్లేస్టైల్ బి), ఉత్పన్నాలను సున్నాకి సమం చేయడం మరియు ఫలిత సమీకరణాల వ్యవస్థను పరిష్కరించడం:
∑ t = 1 n (y t - f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\ displaystyle \sum _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\partial f(x_(t),b))(\partial b))=0).లీనియర్ రిగ్రెషన్ విషయంలో OLS
రిగ్రెషన్ డిపెండెన్స్ సరళంగా ఉండనివ్వండి:
y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\ displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).వీలు వైఅనేది వివరించబడిన వేరియబుల్ యొక్క పరిశీలనల కాలమ్ వెక్టర్, మరియు X (\డిస్ప్లేస్టైల్ X)- ఇది (n × k) (\డిస్ప్లేస్టైల్ ((n\times k)))-మాతృక పరిశీలనల మాతృక (మాతృక యొక్క వరుసలు ఇచ్చిన పరిశీలనలో కారకం విలువల వెక్టర్స్, నిలువు వరుసలు అన్ని పరిశీలనలలో ఇచ్చిన కారకం యొక్క విలువల వెక్టర్). సరళ నమూనా యొక్క మాతృక ప్రాతినిధ్యం రూపాన్ని కలిగి ఉంది:
y = X b + ε (\డిస్ప్లేస్టైల్ y=Xb+\varepsilon ).అప్పుడు వివరించిన వేరియబుల్ యొక్క అంచనాల వెక్టర్ మరియు రిగ్రెషన్ అవశేషాల వెక్టర్ సమానంగా ఉంటాయి
y ^ = X b , e = y - y ^ = y - X b (\ displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).దీని ప్రకారం, రిగ్రెషన్ అవశేషాల స్క్వేర్‌ల మొత్తం సమానంగా ఉంటుంది
R S S = e T e = (y - X b) T (y - X b) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).పారామితుల వెక్టార్‌కు సంబంధించి ఈ ఫంక్షన్‌ను వేరు చేయడం b (\డిస్ప్లేస్టైల్ బి)మరియు ఉత్పన్నాలను సున్నాకి సమం చేస్తే, మేము సమీకరణాల వ్యవస్థను (మ్యాట్రిక్స్ రూపంలో) పొందుతాము:
(X T X) b = X T y (\డిస్ప్లేస్టైల్ (X^(T)X)b=X^(T)y).అర్థాన్ని విడదీసిన మాతృక రూపంలో, ఈ సమీకరణాల వ్యవస్థ ఇలా కనిపిస్తుంది:
(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ t… ∑ x t 3 x t 1 ∑ x t 3 x t 2 ∑ x t 3 2 … ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 ∑ x t k x t 3 x (2 k∑) ∑ x t 1 y t ∑ x t 2 y t ∑ x t 3 y t ⋮ ∑ x t k y t) , (\ displaystyle (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\సమ్ x_(t1)x_(tk)\\\ మొత్తం x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ మొత్తం x_(t2)x_(tk)\\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\\vdots &\vdots &\vdots &\ddots &\vdots \\\ మొత్తం x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ldots &\sum x_(tk)^(2)\\\ end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3 )\\\ vdots \\b_(k)\\\ end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t)\\\vdots \\\ sum x_(tk)y_(t)\\\ end(pmatrix)),)ఇక్కడ అన్ని మొత్తాలు అన్ని చెల్లుబాటు అయ్యే విలువలపై తీసుకోబడతాయి t (\డిస్ప్లేస్టైల్ t).
మోడల్‌లో స్థిరాంకం చేర్చబడితే (సాధారణంగా), అప్పుడు x t 1 = 1 (\డిస్ప్లేస్టైల్ x_(t1)=1)అందరి ముందు t (\డిస్ప్లేస్టైల్ t), కాబట్టి, సమీకరణాల వ్యవస్థ యొక్క మాతృక యొక్క ఎగువ ఎడమ మూలలో పరిశీలనల సంఖ్య ఉంది n (\ displaystyle n), మరియు మొదటి అడ్డు వరుస మరియు మొదటి నిలువు వరుస యొక్క మిగిలిన మూలకాలలో - కేవలం వేరియబుల్ విలువల మొత్తాలు: ∑ x t j (\డిస్ప్లేస్టైల్ \sum x_(tj))మరియు సిస్టమ్ యొక్క కుడి వైపు మొదటి మూలకం ∑ y t (\డిస్ప్లేస్టైల్ \sum y_(t)).
ఈ సమీకరణాల వ్యవస్థ యొక్క పరిష్కారం సరళ నమూనా కోసం కనీసం చతురస్రాల అంచనాల కోసం సాధారణ సూత్రాన్ని ఇస్తుంది:
b ^ O L S = (X T X) - 1 X T y = (1 n X T X) - 1 1 n X T y = V x - 1 C x y (\displaystyle (\hat (b))_(OLS)=(X^(T )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\కుడి)^(-1)(\frac (1)(n ))X^(T)y=V_(x)^(-1)C_(xy)).విశ్లేషణాత్మక ప్రయోజనాల కోసం, ఈ ఫార్ములా యొక్క చివరి ప్రాతినిధ్యం ఉపయోగకరంగా మారుతుంది (n ద్వారా విభజించబడినప్పుడు సమీకరణాల వ్యవస్థలో, మొత్తాలకు బదులుగా అంకగణిత అర్థం కనిపిస్తుంది). రిగ్రెషన్ మోడల్‌లో ఉంటే డేటా కేంద్రీకృతమై, అప్పుడు ఈ ప్రాతినిధ్యంలో మొదటి మాత్రిక కారకాల యొక్క నమూనా కోవియారిన్స్ మాతృక యొక్క అర్ధాన్ని కలిగి ఉంటుంది మరియు రెండవది డిపెండెంట్ వేరియబుల్‌తో కారకాల యొక్క కోవియారిన్స్ యొక్క వెక్టర్. అదనంగా డేటా కూడా ఉంటే సాధారణీకరించబడింది MSEకి (అంటే, చివరికి ప్రమాణీకరించబడింది), అప్పుడు మొదటి మాత్రిక కారకాల యొక్క నమూనా సహసంబంధ మాతృక యొక్క అర్ధాన్ని కలిగి ఉంటుంది, రెండవ వెక్టర్ - డిపెండెంట్ వేరియబుల్‌తో కారకాల నమూనా సహసంబంధాల వెక్టర్.
మోడల్‌ల కోసం OLS అంచనాల యొక్క ముఖ్యమైన ఆస్తి స్థిరంగా- నిర్మించిన రిగ్రెషన్ యొక్క లైన్ నమూనా డేటా యొక్క గురుత్వాకర్షణ కేంద్రం గుండా వెళుతుంది, అంటే సమానత్వం సంతృప్తి చెందుతుంది:
y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\hat (b))_(j)(\bar (x))_(j)).ప్రత్యేకించి, విపరీతమైన సందర్భంలో, ఒకే రిగ్రెసర్ స్థిరంగా ఉన్నప్పుడు, ఒకే పరామితి యొక్క OLS అంచనా (స్థిరం స్వయంగా) వివరించిన వేరియబుల్ యొక్క సగటు విలువకు సమానంగా ఉంటుందని మేము కనుగొన్నాము. అంటే, పెద్ద సంఖ్యల చట్టాల నుండి దాని మంచి లక్షణాలకు ప్రసిద్ధి చెందిన అంకగణిత సగటు, కనీసం స్క్వేర్‌ల అంచనా కూడా - ఇది దాని నుండి స్క్వేర్డ్ విచలనాల కనీస మొత్తం యొక్క ప్రమాణాన్ని సంతృప్తిపరుస్తుంది.
సరళమైన ప్రత్యేక సందర్భాలు
జత చేసిన లీనియర్ రిగ్రెషన్ విషయంలో y t = a + b x t + ε t (\ displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), మరొక వేరియబుల్ యొక్క లీనియర్ డిపెండెన్స్ అంచనా వేయబడినప్పుడు, గణన సూత్రాలు సరళీకృతం చేయబడతాయి (మీరు మ్యాట్రిక్స్ ఆల్జీబ్రా లేకుండా చేయవచ్చు). సమీకరణాల వ్యవస్థ రూపాన్ని కలిగి ఉంది:
(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\ end(pmatrix))(\begin(pmatrix)a\\b\\\ end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline (xy))\\\ end(pmatrix))).ఇక్కడ నుండి గుణకం అంచనాలను కనుగొనడం సులభం:
(బి ^ = Cov (x , y) Var (x) = x y ¯ − x ¯ y ¯ x 2 ¯ - x ¯ 2 , a ^ = y ¯ − b x ¯ . (\begin(ప్రదర్శన శైలి) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\ఓవర్‌లైన్) (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2))),\\( \hat (a))=(\bar (y))-b(\bar (x)).\end(కేసులు)))సాధారణ సందర్భంలో స్థిరాంకంతో నమూనాలు ప్రాధాన్యతనిచ్చే వాస్తవం ఉన్నప్పటికీ, కొన్ని సందర్భాల్లో ఇది ఒక స్థిరాంకం అని సైద్ధాంతిక పరిశీలనల నుండి తెలుసు. a (\ displaystyle a)సున్నాకి సమానంగా ఉండాలి. ఉదాహరణకు, భౌతిక శాస్త్రంలో వోల్టేజ్ మరియు కరెంట్ మధ్య సంబంధం U = I ⋅ R (\డిస్ప్లేస్టైల్ U=I\cdot R); వోల్టేజ్ మరియు కరెంట్‌ను కొలిచేటప్పుడు, ప్రతిఘటనను అంచనా వేయడం అవసరం. ఈ సందర్భంలో, మేము మోడల్ గురించి మాట్లాడుతున్నాము y = b x (\displaystyle y=bx). ఈ సందర్భంలో, సమీకరణాల వ్యవస్థకు బదులుగా మనకు ఒకే సమీకరణం ఉంటుంది
(∑ x t 2) b = ∑ x t y t (\ displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).
అందువల్ల, సింగిల్ కోఎఫీషియంట్‌ను అంచనా వేయడానికి సూత్రం రూపాన్ని కలిగి ఉంటుంది
B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\ displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\sum _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).
బహుపది నమూనా కేసు
ఒక వేరియబుల్ యొక్క బహుపది రిగ్రెషన్ ఫంక్షన్ ద్వారా డేటా సరిపోతుంటే f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \పరిమితులు _(i=1)^(k)b_(i)x^(i)), అప్పుడు, డిగ్రీలను గ్రహించడం x i (\డిస్ప్లేస్టైల్ x^(i))ప్రతిదానికి స్వతంత్ర కారకాలుగా i (\డిస్ప్లేస్టైల్ i)సరళ నమూనా యొక్క పారామితులను అంచనా వేయడానికి సాధారణ ఫార్ములా ఆధారంగా మోడల్ పారామితులను అంచనా వేయడం సాధ్యమవుతుంది. దీన్ని చేయడానికి, అటువంటి వివరణతో సాధారణ సూత్రంలో పరిగణనలోకి తీసుకోవడం సరిపోతుంది x t i x t j = x t i x t j = x t i + j (\ displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j))మరియు x t j y t = x t j y t (\డిస్ప్లేస్టైల్ x_(tj)y_(t)=x_(t)^(j)y_(t)). పర్యవసానంగా, ఈ సందర్భంలో మాతృక సమీకరణాలు రూపాన్ని తీసుకుంటాయి:
(n ∑ n x t ... ∑ n x t k ∑ n x t ∑ n x i 2 … ∑ m x i k + 1 ⋮ ⋮ ⋱ ⋮ ∑ n x t k ∑ k∑ n x t k ∑ 1 n… ⋮ b k ] = [ ∑ n y t ∑ n x t y t ⋮ ∑ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \పరిమితులు _(n)x_(t)&\ldots &\sum \పరిమితులు _(n)x_(t)^(k)\\\sum \ limitits _( n)x_(t)&\మొత్తం \పరిమితులు _(n)x_(i)^(2)&\ldots &\sum \పరిమితులు _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \పరిమితులు _(n)x_(t)^(k)&\sum \పరిమితులు _(n)x_(t)^(k+1)&\ldots &\ మొత్తం \పరిమితులు _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \పరిమితులు _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \పరిమితులు _(n)x_(t)^(k)y_(t)\end(bmatrix)).)
OLS అంచనా వేసేవారి గణాంక లక్షణాలు
అన్నింటిలో మొదటిది, సరళ నమూనాల కోసం, OLS అంచనాలు పై సూత్రం నుండి క్రింది విధంగా సరళ అంచనాలు అని మేము గమనించాము. నిష్పాక్షికమైన OLS అంచనాల కోసం, రిగ్రెషన్ విశ్లేషణ యొక్క అతి ముఖ్యమైన షరతును నెరవేర్చడం అవసరం మరియు సరిపోతుంది: యాదృచ్ఛిక లోపం యొక్క గణిత అంచనా, కారకాలపై షరతులతో కూడినది, తప్పనిసరిగా సున్నాకి సమానంగా ఉండాలి. ఈ పరిస్థితి, ముఖ్యంగా, సంతృప్తి చెందుతుంది
- యాదృచ్ఛిక దోషాల యొక్క గణిత అంచనా సున్నా, మరియు
- కారకాలు మరియు యాదృచ్ఛిక లోపాలు స్వతంత్ర-యాదృచ్ఛిక-వేరియబుల్స్.
రెండవ షరతు - కారకాల యొక్క బాహ్యతత్వ స్థితి - ప్రాథమికమైనది. ఈ ఆస్తిని అందుకోకపోతే, దాదాపు ఏవైనా అంచనాలు చాలా అసంతృప్తికరంగా ఉంటాయని మేము అనుకోవచ్చు: అవి కూడా స్థిరంగా ఉండవు (అనగా, చాలా పెద్ద మొత్తంలో డేటా కూడా ఈ సందర్భంలో అధిక-నాణ్యత అంచనాలను పొందేందుకు అనుమతించదు. ) సాంప్రదాయిక సందర్భంలో, యాదృచ్ఛిక లోపానికి విరుద్ధంగా కారకాల యొక్క నిర్ణయాత్మకత గురించి బలమైన ఊహ చేయబడుతుంది, దీని అర్థం స్వయంచాలకంగా ఎక్సోజెనిటీ పరిస్థితి నెరవేరుతుంది. సాధారణ సందర్భంలో, అంచనాల అనుగుణ్యత కోసం, మాతృక యొక్క కలయికతో కలిసి ఎక్సోజెనిటీ స్థితిని సంతృప్తిపరచడం సరిపోతుంది. V x (\డిస్ప్లేస్టైల్ V_(x))నమూనా పరిమాణం అనంతం వరకు పెరుగుతుంది కాబట్టి కొన్ని ఏకవచనం కాని మాతృకకు.
స్థిరత్వం మరియు నిష్పాక్షికతతో పాటు, (సాధారణ) కనీసం చతురస్రాల అంచనాలు కూడా ప్రభావవంతంగా ఉండాలంటే (లీనియర్ నిష్పాక్షిక అంచనాల తరగతిలో అత్యుత్తమమైనవి), యాదృచ్ఛిక లోపం యొక్క అదనపు లక్షణాలను తప్పక కలుసుకోవాలి:
యాదృచ్ఛిక లోపం వెక్టర్ యొక్క కోవియారిన్స్ మాతృక కోసం ఈ అంచనాలను రూపొందించవచ్చు V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).
ఈ పరిస్థితులను సంతృప్తిపరిచే సరళ నమూనా అంటారు క్లాసికల్. క్లాసికల్ లీనియర్ రిగ్రెషన్ కోసం OLS అంచనాలు అన్ని లీనియర్ నిష్పాక్షిక అంచనాల తరగతిలో నిష్పాక్షికమైనవి, స్థిరమైనవి మరియు అత్యంత ప్రభావవంతమైన అంచనాలు (ఇంగ్లీష్ సాహిత్యంలో సంక్షిప్తీకరణ కొన్నిసార్లు ఉపయోగించబడుతుంది. నీలం (ఉత్తమ సరళ నిష్పాక్షిక అంచనాదారు) - ఉత్తమ సరళ నిష్పాక్షిక అంచనా; రష్యన్ సాహిత్యంలో, గాస్-మార్కోవ్ సిద్ధాంతం తరచుగా ఉదహరించబడింది). చూపడం సులభం అయినట్లుగా, కోఎఫీషియంట్ అంచనాల వెక్టర్ యొక్క కోవియారిన్స్ మ్యాట్రిక్స్ దీనికి సమానంగా ఉంటుంది:
V (b ^ O L S) = σ 2 (X T X) − 1 (\డిస్ప్లేస్టైల్ V((\hat (b))_(OLS))=\సిగ్మా ^(2)(X^(T)X)^(-1 )).
సమర్ధత అంటే ఈ కోవియారెన్స్ మ్యాట్రిక్స్ “కనిష్టం” (గుణకాల యొక్క ఏదైనా సరళ కలయిక, మరియు ప్రత్యేకించి కోఎఫీషియెంట్‌లు కనిష్ట వ్యత్యాసాన్ని కలిగి ఉంటాయి), అంటే లీనియర్ నిష్పాక్షిక అంచనాదారుల తరగతిలో, OLS అంచనాలు ఉత్తమమైనవి. ఈ మాతృక యొక్క వికర్ణ అంశాలు - గుణకం అంచనాల వ్యత్యాసాలు - పొందిన అంచనాల నాణ్యత యొక్క ముఖ్యమైన పారామితులు. అయినప్పటికీ, యాదృచ్ఛిక దోష వైవిధ్యం తెలియనందున కోవియారెన్స్ మ్యాట్రిక్స్‌ను లెక్కించడం సాధ్యం కాదు. యాదృచ్ఛిక లోపాల యొక్క వైవిధ్యం యొక్క నిష్పాక్షికమైన మరియు స్థిరమైన (క్లాసికల్ లీనియర్ మోడల్ కోసం) అంచనా పరిమాణం అని నిరూపించవచ్చు:
S 2 = R S S / (n - k) (\డిస్ప్లేస్టైల్ s^(2)=RSS/(n-k)).
ఈ విలువను కోవియారిన్స్ మ్యాట్రిక్స్ సూత్రంలోకి మార్చడం ద్వారా, మేము కోవియారిన్స్ మ్యాట్రిక్స్ యొక్క అంచనాను పొందుతాము. ఫలిత అంచనాలు కూడా నిష్పాక్షికంగా మరియు స్థిరంగా ఉంటాయి. దోష భేదం యొక్క అంచనా (అందుకే కోఎఫీషియంట్స్ యొక్క వైవిధ్యం) మరియు మోడల్ పారామితుల యొక్క అంచనాలు స్వతంత్ర యాదృచ్ఛిక వేరియబుల్స్, ఇది మోడల్ కోఎఫీషియంట్స్ గురించి పరికల్పనలను పరీక్షించడానికి పరీక్ష గణాంకాలను పొందడం సాధ్యం చేస్తుంది.
క్లాసికల్ అంచనాలు అందకపోతే, OLS పరామితి అంచనాలు అత్యంత ప్రభావవంతమైనవి కావు మరియు ఎక్కడ W (\డిస్ప్లేస్టైల్ W)కొన్ని సుష్ట సానుకూల ఖచ్చితమైన బరువు మాతృక. సాంప్రదాయ కనీస చతురస్రాలు ఈ విధానం యొక్క ప్రత్యేక సందర్భం, ఇక్కడ బరువు మాతృక గుర్తింపు మాతృకకు అనులోమానుపాతంలో ఉంటుంది. తెలిసినట్లుగా, సిమెట్రిక్ మాత్రికల (లేదా ఆపరేటర్లు) కోసం విస్తరణ ఉంది W = P T P (\డిస్ప్లేస్టైల్ W=P^(T)P). కాబట్టి, పేర్కొన్న ఫంక్షనల్ ఈ క్రింది విధంగా సూచించబడుతుంది e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), అంటే, ఈ ఫంక్షనల్ కొన్ని రూపాంతరం చెందిన "మిగిలినవి" యొక్క చతురస్రాల మొత్తంగా సూచించబడుతుంది. ఈ విధంగా, మేము కనీసం చతురస్రాల పద్ధతుల తరగతిని వేరు చేయవచ్చు - LS పద్ధతులు (తక్కువ చతురస్రాలు).
సాధారణీకరించిన లీనియర్ రిగ్రెషన్ మోడల్‌కు (ఇందులో యాదృచ్ఛిక దోషాల కోవియారెన్స్ మ్యాట్రిక్స్‌పై ఎటువంటి పరిమితులు విధించబడవు), అత్యంత ప్రభావవంతమైనవి (లీనియర్ నిష్పాక్షిక అంచనాల తరగతిలో) అంచనాలు అని పిలవబడేవి అని నిరూపించబడింది (ఐట్‌కెన్ సిద్ధాంతం). సాధారణీకరించిన తక్కువ చతురస్రాలు (GLS - సాధారణీకరించిన తక్కువ చతురస్రాలు)- యాదృచ్ఛిక లోపాల యొక్క విలోమ కోవియారిన్స్ మ్యాట్రిక్స్‌కు సమానమైన బరువు మాతృకతో LS పద్ధతి: W = V ε − 1 (\డిస్ప్లేస్టైల్ W=V_(\varepsilon )^(-1)).
లీనియర్ మోడల్ యొక్క పారామితుల యొక్క GLS అంచనాల ఫార్ములా రూపాన్ని కలిగి ఉందని చూపవచ్చు
B ^ G L S = (X T V - 1 X) − 1 X T V - 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).
ఈ అంచనాల కోవియారిన్స్ మ్యాట్రిక్స్ తదనుగుణంగా సమానంగా ఉంటుంది
V (b ^ G L S) = (X T V - 1 X) - 1 (\ డిస్ప్లేస్టైల్ V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- 1)).
వాస్తవానికి, OLS యొక్క సారాంశం అసలు డేటా యొక్క నిర్దిష్ట (సరళ) పరివర్తన (P) మరియు రూపాంతరం చెందిన డేటాకు సాధారణ OLS యొక్క అనువర్తనంలో ఉంటుంది. ఈ రూపాంతరం యొక్క ఉద్దేశ్యం ఏమిటంటే, రూపాంతరం చెందిన డేటా కోసం, యాదృచ్ఛిక లోపాలు ఇప్పటికే శాస్త్రీయ అంచనాలను సంతృప్తిపరుస్తాయి.
బరువున్న OLS
వికర్ణ బరువు మాతృక (అందువలన యాదృచ్ఛిక లోపాల యొక్క కోవియారిన్స్ మాతృక) విషయంలో, మేము వెయిటెడ్ లీస్ట్ స్క్వేర్స్ (WLS) అని పిలవబడే వాటిని కలిగి ఉన్నాము. ఈ సందర్భంలో, మోడల్ అవశేషాల చతురస్రాల బరువు మొత్తం కనిష్టీకరించబడుతుంది, అనగా, ప్రతి పరిశీలన ఈ పరిశీలనలో యాదృచ్ఛిక లోపం యొక్క వ్యత్యాసానికి విలోమానుపాతంలో ఉండే "బరువు"ని పొందుతుంది: e T W e = ∑ t = 1 n e t 2 σ t 2 (\ displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ సిగ్మా_(t)^(2)))). వాస్తవానికి, పరిశీలనలను వెయిటింగ్ చేయడం ద్వారా డేటా రూపాంతరం చెందుతుంది (యాదృచ్ఛిక లోపాల యొక్క అంచనా వేసిన ప్రామాణిక విచలనానికి అనులోమానుపాతంలో ఉన్న మొత్తంతో భాగించడం), మరియు బరువున్న డేటాకు సాధారణ OLS వర్తించబడుతుంది.
ISBN 978-5-7749-0473-0 .
తక్కువ చతురస్రాల పద్ధతి (LSM) ఆర్డినరీ లీస్ట్ స్క్వేర్స్, OLS) -- కావలసిన వేరియబుల్స్ నుండి నిర్దిష్ట ఫంక్షన్ల యొక్క స్క్వేర్డ్ విచలనాల మొత్తాన్ని కనిష్టీకరించడం ఆధారంగా వివిధ సమస్యలను పరిష్కరించడానికి ఉపయోగించే గణిత పద్ధతి. సమీకరణాల యొక్క అతిగా నిర్ణయించబడిన వ్యవస్థలను "పరిష్కరించడానికి" (సమీకరణాల సంఖ్య తెలియని వారి సంఖ్యను అధిగమించినప్పుడు), సాధారణ (అధికంగా నిర్ణయించబడని) సమీకరణాల యొక్క సరళమైన వ్యవస్థల విషయంలో పరిష్కారాన్ని కనుగొనడానికి, పాయింట్ విలువలతో సుమారుగా కొన్ని ఫంక్షన్. నమూనా డేటా నుండి రిగ్రెషన్ మోడల్స్ యొక్క తెలియని పారామితులను అంచనా వేయడానికి రిగ్రెషన్ విశ్లేషణ యొక్క ప్రాథమిక పద్ధతుల్లో OLS ఒకటి.
కనీసం చతురస్రాల పద్ధతి యొక్క సారాంశం
తెలియని వేరియబుల్స్ (పారామితులు) సమితిగా ఉండనివ్వండి మరియు ఈ వేరియబుల్స్ సెట్ నుండి ఫంక్షన్ల సమితిగా ఉండనివ్వండి. ఈ ఫంక్షన్ల విలువలు నిర్దిష్ట విలువలకు వీలైనంత దగ్గరగా ఉండేలా x యొక్క అటువంటి విలువలను ఎంచుకోవడం పని. ముఖ్యంగా, మేము సిస్టమ్ యొక్క ఎడమ మరియు కుడి భాగాల గరిష్ట సామీప్యత యొక్క సూచించిన అర్థంలో సమీకరణాల యొక్క అతిగా నిర్ణయించబడిన వ్యవస్థ యొక్క "పరిష్కారం" గురించి మాట్లాడుతున్నాము. తక్కువ చతురస్రాల పద్ధతి యొక్క సారాంశం ఏమిటంటే, ఎడమ మరియు కుడి వైపుల స్క్వేర్డ్ విచలనాల మొత్తాన్ని "సామీప్య కొలత"గా ఎంచుకోవడం - . కాబట్టి, MNC యొక్క సారాంశాన్ని ఈ క్రింది విధంగా వ్యక్తీకరించవచ్చు:
సమీకరణాల వ్యవస్థకు పరిష్కారం ఉంటే, అప్పుడు చతురస్రాల మొత్తం సున్నాకి సమానంగా ఉంటుంది మరియు సమీకరణాల వ్యవస్థకు ఖచ్చితమైన పరిష్కారాలను విశ్లేషణాత్మకంగా కనుగొనవచ్చు లేదా ఉదాహరణకు, వివిధ సంఖ్యా ఆప్టిమైజేషన్ పద్ధతులను ఉపయోగించవచ్చు. సిస్టమ్ అతిగా నిర్ణయించబడితే, అంటే, వదులుగా చెప్పాలంటే, అవసరమైన వేరియబుల్స్ సంఖ్య కంటే స్వతంత్ర సమీకరణాల సంఖ్య ఎక్కువగా ఉంటుంది, అప్పుడు సిస్టమ్‌కు ఖచ్చితమైన పరిష్కారం ఉండదు మరియు తక్కువ చతురస్రాల పద్ధతిలో కొంత “ఆప్టిమల్” వెక్టర్‌ను కనుగొనవచ్చు. వెక్టర్స్ యొక్క గరిష్ట సామీప్యత మరియు లేదా సున్నాకి విచలనం వెక్టర్ యొక్క గరిష్ట సామీప్యత (యూక్లిడియన్ దూరం యొక్క అర్థంలో సామీప్యత అర్థం).
ఉదాహరణ - సరళ సమీకరణాల వ్యవస్థ
ప్రత్యేకించి, సరళ సమీకరణాల వ్యవస్థను "పరిష్కరించడానికి" కనీసం చతురస్రాల పద్ధతిని ఉపయోగించవచ్చు
ఇక్కడ మాతృక చతురస్రంగా ఉండదు, కానీ దీర్ఘచతురస్రాకార పరిమాణంలో ఉంటుంది (మరింత ఖచ్చితంగా, మాతృక A యొక్క ర్యాంక్ కోరిన వేరియబుల్స్ సంఖ్య కంటే ఎక్కువగా ఉంటుంది).
సాధారణ సందర్భంలో, అటువంటి సమీకరణాల వ్యవస్థకు పరిష్కారం లేదు. అందువల్ల, వెక్టర్స్ మధ్య "దూరాన్ని" తగ్గించడానికి మరియు అటువంటి వెక్టర్‌ను ఎంచుకునే అర్థంలో మాత్రమే ఈ వ్యవస్థ "పరిష్కరించబడుతుంది". దీన్ని చేయడానికి, మీరు సిస్టమ్ సమీకరణాల యొక్క ఎడమ మరియు కుడి వైపుల మధ్య వ్యత్యాసాల చతురస్రాల మొత్తాన్ని కనిష్టీకరించే ప్రమాణాన్ని వర్తింపజేయవచ్చు, అనగా. ఈ కనిష్టీకరణ సమస్యను పరిష్కరించడం క్రింది సమీకరణాల వ్యవస్థను పరిష్కరించడానికి దారితీస్తుందని చూపడం సులభం
సూడోఇన్వర్షన్ ఆపరేటర్‌ని ఉపయోగించి, పరిష్కారాన్ని ఈ క్రింది విధంగా తిరిగి వ్రాయవచ్చు:
సూడో-ఇన్వర్స్ మ్యాట్రిక్స్ ఎక్కడ ఉంది.
సిస్టమ్ యొక్క విభిన్న సమీకరణాలు సైద్ధాంతిక కారణాల కోసం వేర్వేరు బరువులను స్వీకరించినప్పుడు, ఈ సమస్యను వెయిటెడ్ మినిస్ట్ స్క్వేర్స్ పద్ధతి అని పిలవబడే (క్రింద చూడండి) ఉపయోగించి కూడా "పరిష్కరించవచ్చు".
A. A. మార్కోవ్ మరియు A. N. కోల్మోగోరోవ్ ద్వారా పద్ధతి యొక్క వాస్తవిక అన్వయం యొక్క సరిహద్దుల ఖచ్చితమైన సమర్థన మరియు స్థాపన అందించబడింది.
రిగ్రెషన్ విశ్లేషణలో OLS (డేటా ఉజ్జాయింపు)[మార్చు | వికీ వచనాన్ని సవరించండి] కొన్ని వేరియబుల్ విలువలు ఉండనివ్వండి (ఇది పరిశీలనలు, ప్రయోగాలు మొదలైన వాటి ఫలితాలు కావచ్చు) మరియు సంబంధిత వేరియబుల్స్. పని ఏమిటంటే, కొన్ని తెలియని పారామితులలో తెలిసిన కొన్ని ఫంక్షన్ల మధ్య సంబంధాన్ని అంచనా వేయడం, అంటే, వాస్తవ విలువలకు సాధ్యమైనంత దగ్గరగా విలువలను తీసుకువచ్చే ఉత్తమ పారామీటర్ విలువలను కనుగొనడం. వాస్తవానికి, దీనికి సంబంధించి సమీకరణాల యొక్క అతిగా నిర్ణయించబడిన వ్యవస్థను "పరిష్కరించే" విషయంలో ఇది వస్తుంది:
రిగ్రెషన్ విశ్లేషణలో మరియు ముఖ్యంగా ఎకనామెట్రిక్స్‌లో, వేరియబుల్స్ మధ్య ఆధారపడే సంభావ్యత నమూనాలు ఉపయోగించబడతాయి.
మోడల్ యొక్క యాదృచ్ఛిక లోపాలు అని పిలవబడేవి ఎక్కడ ఉన్నాయి.
దీని ప్రకారం, మోడల్ వాటి నుండి గమనించిన విలువల విచలనాలు మోడల్‌లోనే భావించబడతాయి. తక్కువ చతురస్రాల పద్ధతి (సాధారణ, క్లాసిక్) యొక్క సారాంశం ఏమిటంటే, స్క్వేర్డ్ విచలనాల మొత్తం (లోపాలు, రిగ్రెషన్ నమూనాల కోసం వాటిని తరచుగా రిగ్రెషన్ అవశేషాలు అని పిలుస్తారు) కనిష్టంగా ఉండే అటువంటి పారామితులను కనుగొనడం:
ఎక్కడ - ఇంగ్లీష్ చతురస్రాల అవశేష మొత్తం ఇలా నిర్వచించబడింది:
సాధారణ సందర్భంలో, ఈ సమస్య సంఖ్యాపరమైన ఆప్టిమైజేషన్ (కనిష్టీకరణ) పద్ధతుల ద్వారా పరిష్కరించబడుతుంది. ఈ సందర్భంలో, వారు నాన్-లీనియర్ మినిస్ట్ స్క్వేర్స్ (NLS లేదా NLLS - నాన్-లీనియర్ లీస్ట్ స్క్వేర్స్) గురించి మాట్లాడతారు. అనేక సందర్భాల్లో విశ్లేషణాత్మక పరిష్కారాన్ని పొందడం సాధ్యమవుతుంది. కనిష్టీకరణ సమస్యను పరిష్కరించడానికి, తెలియని పారామితులకు సంబంధించి వేరు చేయడం, ఉత్పన్నాలను సున్నాకి సమం చేయడం మరియు ఫలిత సమీకరణాల వ్యవస్థను పరిష్కరించడం ద్వారా ఫంక్షన్ యొక్క స్థిర పాయింట్లను కనుగొనడం అవసరం:
లీనియర్ రిగ్రెషన్ విషయంలో OLS[మార్చు | వికీ వచనాన్ని సవరించండి]
రిగ్రెషన్ డిపెండెన్స్ సరళంగా ఉండనివ్వండి:
y వివరించబడిన వేరియబుల్ యొక్క పరిశీలనల కాలమ్ వెక్టర్‌గా ఉండనివ్వండి మరియు y కారకం పరిశీలనల మాతృకగా ఉండనివ్వండి (మాతృక యొక్క వరుసలు ఇచ్చిన పరిశీలనలో కారకం విలువల వెక్టర్‌లు, మరియు నిలువు వరుసలు విలువల వెక్టర్. అన్ని పరిశీలనలలో ఇచ్చిన కారకం). లీనియర్ మోడల్ యొక్క మాతృక ప్రాతినిధ్యం:
అప్పుడు వివరించిన వేరియబుల్ యొక్క అంచనాల వెక్టర్ మరియు రిగ్రెషన్ అవశేషాల వెక్టర్ సమానంగా ఉంటాయి
దీని ప్రకారం, రిగ్రెషన్ అవశేషాల స్క్వేర్‌ల మొత్తం సమానంగా ఉంటుంది
పారామితుల వెక్టార్‌కు సంబంధించి ఈ ఫంక్షన్‌ను వేరు చేయడం మరియు ఉత్పన్నాలను సున్నాకి సమం చేయడం, మేము సమీకరణాల వ్యవస్థను (మ్యాట్రిక్స్ రూపంలో) పొందుతాము:
అర్థాన్ని విడదీసిన మాతృక రూపంలో, ఈ సమీకరణాల వ్యవస్థ ఇలా కనిపిస్తుంది:
ఇక్కడ అన్ని మొత్తాలు అన్ని చెల్లుబాటు అయ్యే విలువలపై తీసుకోబడతాయి.
మోడల్‌లో స్థిరాంకం చేర్చబడితే (ఎప్పటిలాగే), అప్పుడు అందరికీ, కాబట్టి సమీకరణాల వ్యవస్థ యొక్క మాతృక యొక్క ఎగువ ఎడమ మూలలో పరిశీలనల సంఖ్య ఉంటుంది మరియు మొదటి వరుస మరియు మొదటి నిలువు వరుస యొక్క మిగిలిన అంశాలలో ఉంటుంది. కేవలం వేరియబుల్స్ యొక్క విలువల మొత్తాలు ఉన్నాయి: మరియు సిస్టమ్ యొక్క కుడి వైపున మొదటి మూలకం .
ఈ సమీకరణాల వ్యవస్థ యొక్క పరిష్కారం సరళ నమూనా కోసం కనీసం చతురస్రాల అంచనాల కోసం సాధారణ సూత్రాన్ని ఇస్తుంది:
విశ్లేషణాత్మక ప్రయోజనాల కోసం, ఈ ఫార్ములా యొక్క చివరి ప్రాతినిధ్యం ఉపయోగకరంగా మారుతుంది (n ద్వారా విభజించబడినప్పుడు సమీకరణాల వ్యవస్థలో, మొత్తాలకు బదులుగా అంకగణిత అర్థం కనిపిస్తుంది). రిగ్రెషన్ మోడల్‌లో డేటా కేంద్రీకృతమై ఉంటే, ఈ ప్రాతినిధ్యంలో మొదటి మాత్రిక కారకాల యొక్క నమూనా కోవియారిన్స్ మాతృక యొక్క అర్ధాన్ని కలిగి ఉంటుంది మరియు రెండవది డిపెండెంట్ వేరియబుల్‌తో కారకాల యొక్క కోవియారెన్స్‌ల వెక్టర్. అదనంగా, డేటా కూడా ప్రామాణిక విచలనానికి సాధారణీకరించబడితే (అంటే, అంతిమంగా ప్రమాణీకరించబడింది), అప్పుడు మొదటి మాత్రిక కారకాల యొక్క నమూనా సహసంబంధ మాతృక యొక్క అర్ధాన్ని కలిగి ఉంటుంది, రెండవ వెక్టర్ - ఆధారపడిన కారకాలతో నమూనా సహసంబంధాల యొక్క వెక్టర్. వేరియబుల్.
స్థిరమైన నమూనాల కోసం OLS అంచనాల యొక్క ముఖ్యమైన లక్షణం ఏమిటంటే, నిర్మించిన రిగ్రెషన్ లైన్ నమూనా డేటా యొక్క గురుత్వాకర్షణ కేంద్రం గుండా వెళుతుంది, అంటే సమానత్వం కలిగి ఉంటుంది:
ప్రత్యేకించి, విపరీతమైన సందర్భంలో, ఒకే రిగ్రెసర్ స్థిరంగా ఉన్నప్పుడు, ఒకే పరామితి యొక్క OLS అంచనా (స్థిరం స్వయంగా) వివరించిన వేరియబుల్ యొక్క సగటు విలువకు సమానంగా ఉంటుందని మేము కనుగొన్నాము. అంటే, పెద్ద సంఖ్యల చట్టాల నుండి దాని మంచి లక్షణాలకు ప్రసిద్ధి చెందిన అంకగణిత సగటు, కనీసం స్క్వేర్‌ల అంచనా కూడా - ఇది దాని నుండి స్క్వేర్డ్ విచలనాల కనీస మొత్తం యొక్క ప్రమాణాన్ని సంతృప్తిపరుస్తుంది.
సరళమైన ప్రత్యేక సందర్భాలు[మార్చు | వికీ వచనాన్ని సవరించండి]
జత చేసిన లీనియర్ రిగ్రెషన్ విషయంలో, ఒక వేరియబుల్ మరొకదానిపై లీనియర్ డిపెండెన్స్ అంచనా వేయబడినప్పుడు, గణన సూత్రాలు సరళీకృతం చేయబడతాయి (మీరు మ్యాట్రిక్స్ ఆల్జీబ్రా లేకుండా చేయవచ్చు). సమీకరణాల వ్యవస్థ రూపాన్ని కలిగి ఉంది:
ఇక్కడ నుండి గుణకం అంచనాలను కనుగొనడం సులభం:
సాధారణ నమూనాలలో స్థిరాంకం ఉత్తమం అయినప్పటికీ, కొన్ని సందర్భాల్లో స్థిరాంకం సున్నాకి సమానంగా ఉండాలని సైద్ధాంతిక పరిశీలనల నుండి తెలుసు. ఉదాహరణకు, భౌతిక శాస్త్రంలో వోల్టేజ్ మరియు కరెంట్ మధ్య సంబంధం; వోల్టేజ్ మరియు కరెంట్‌ను కొలిచేటప్పుడు, ప్రతిఘటనను అంచనా వేయడం అవసరం. ఈ సందర్భంలో, మేము ఒక మోడల్ గురించి మాట్లాడుతున్నాము. ఈ సందర్భంలో, సమీకరణాల వ్యవస్థకు బదులుగా మనకు ఒకే సమీకరణం ఉంటుంది
అందువల్ల, సింగిల్ కోఎఫీషియంట్‌ను అంచనా వేయడానికి సూత్రం రూపాన్ని కలిగి ఉంటుంది
OLS అంచనాల గణాంక లక్షణాలు[మార్చు | వికీ వచనాన్ని సవరించండి]
అన్నింటిలో మొదటిది, సరళ నమూనాల కోసం, OLS అంచనాలు పై సూత్రం నుండి క్రింది విధంగా సరళ అంచనాలు అని మేము గమనించాము. నిష్పాక్షికమైన OLS అంచనాల కోసం, రిగ్రెషన్ విశ్లేషణ యొక్క అతి ముఖ్యమైన షరతును నెరవేర్చడం అవసరం మరియు సరిపోతుంది: యాదృచ్ఛిక లోపం యొక్క గణిత అంచనా, కారకాలపై షరతులతో కూడినది, తప్పనిసరిగా సున్నాకి సమానంగా ఉండాలి. యాదృచ్ఛిక లోపాల యొక్క గణిత నిరీక్షణ సున్నా మరియు కారకాలు మరియు యాదృచ్ఛిక దోషాలు స్వతంత్ర యాదృచ్ఛిక వేరియబుల్స్ అయితే ఈ పరిస్థితి, ప్రత్యేకించి, సంతృప్తి చెందుతుంది.
మొదటి షరతు స్థిరమైన నమూనాల కోసం ఎల్లప్పుడూ సంతృప్తికరంగా పరిగణించబడుతుంది, ఎందుకంటే స్థిరాంకం లోపాల యొక్క సున్నా కాని గణిత నిరీక్షణను తీసుకుంటుంది (అందువల్ల, స్థిరాంకం ఉన్న నమూనాలు సాధారణంగా ప్రాధాన్యతనిస్తాయి). కనీసం చదరపు రిగ్రెషన్ కోవియారెన్స్
రెండవ షరతు - కారకాల యొక్క బాహ్యతత్వ స్థితి - ప్రాథమికమైనది. ఈ ఆస్తిని అందుకోకపోతే, దాదాపు ఏవైనా అంచనాలు చాలా అసంతృప్తికరంగా ఉంటాయని మేము అనుకోవచ్చు: అవి కూడా స్థిరంగా ఉండవు (అనగా, చాలా పెద్ద మొత్తంలో డేటా కూడా ఈ సందర్భంలో అధిక-నాణ్యత అంచనాలను పొందేందుకు అనుమతించదు. ) సాంప్రదాయిక సందర్భంలో, యాదృచ్ఛిక లోపానికి విరుద్ధంగా కారకాల యొక్క నిర్ణయాత్మకత గురించి బలమైన ఊహ చేయబడుతుంది, దీని అర్థం స్వయంచాలకంగా ఎక్సోజెనిటీ పరిస్థితి నెరవేరుతుంది. సాధారణ సందర్భంలో, అంచనాల అనుగుణ్యత కోసం, నమూనా పరిమాణం అనంతం వరకు పెరిగేకొద్దీ మాతృకను కొన్ని ఏకవచనం కాని మాతృకకు సమ్మిళితం చేయడంతో పాటు ఎక్సోజెనిటీ స్థితిని సంతృప్తిపరచడం సరిపోతుంది.
స్థిరత్వం మరియు నిష్పాక్షికతతో పాటు, (సాధారణ) LSM యొక్క అంచనాలు కూడా ప్రభావవంతంగా ఉండాలంటే (లీనియర్ నిష్పాక్షిక అంచనాల తరగతిలో ఉత్తమమైనది), యాదృచ్ఛిక లోపం యొక్క అదనపు లక్షణాలను తప్పక కలుసుకోవాలి:
అన్ని పరిశీలనలలో యాదృచ్ఛిక లోపాల యొక్క స్థిరమైన (ఒకేలా) వైవిధ్యం (హెటెరోస్కెడాస్టిసిటీ లేదు):
ఒకదానికొకటి వేర్వేరు పరిశీలనలలో యాదృచ్ఛిక లోపాల యొక్క సహసంబంధం లేకపోవడం (స్వీయసంబంధం)
యాదృచ్ఛిక లోపం వెక్టర్ యొక్క కోవియారిన్స్ మాతృక కోసం ఈ అంచనాలను రూపొందించవచ్చు
ఈ పరిస్థితులను సంతృప్తిపరిచే సరళ నమూనాను క్లాసికల్ అంటారు. క్లాసికల్ లీనియర్ రిగ్రెషన్ కోసం OLS అంచనాలు అన్ని లీనియర్ నిష్పాక్షిక అంచనాల తరగతిలో నిష్పాక్షికంగా, స్థిరంగా మరియు అత్యంత ప్రభావవంతమైన అంచనాలు (ఇంగ్లీష్ సాహిత్యంలో బ్లూ (బెస్ట్ లీనియర్ అన్‌బియాస్డ్ ఎస్టిమేటర్) అనే సంక్షిప్తీకరణ కొన్నిసార్లు ఉపయోగించబడుతుంది - ఉత్తమ సరళ నిష్పాక్షిక అంచనా; దేశీయంగా సాహిత్యం గాస్ సిద్ధాంతం తరచుగా ఇవ్వబడుతుంది - మార్కోవ్). చూపడం సులభం అయినట్లుగా, కోఎఫీషియంట్ అంచనాల వెక్టర్ యొక్క కోవియారిన్స్ మ్యాట్రిక్స్ దీనికి సమానంగా ఉంటుంది:
సమర్ధత అంటే ఈ కోవియారెన్స్ మ్యాట్రిక్స్ “కనిష్టం” (గుణకాల యొక్క ఏదైనా సరళ కలయిక, మరియు ప్రత్యేకించి కోఎఫీషియెంట్‌లు కనిష్ట వ్యత్యాసాన్ని కలిగి ఉంటాయి), అంటే లీనియర్ నిష్పాక్షిక అంచనాదారుల తరగతిలో, OLS అంచనాలు ఉత్తమమైనవి. ఈ మాతృక యొక్క వికర్ణ అంశాలు-గుణకం అంచనాల వ్యత్యాసాలు- పొందిన అంచనాల నాణ్యత యొక్క ముఖ్యమైన పారామితులు. అయినప్పటికీ, యాదృచ్ఛిక దోష వైవిధ్యం తెలియనందున కోవియారెన్స్ మ్యాట్రిక్స్‌ను లెక్కించడం సాధ్యం కాదు. యాదృచ్ఛిక లోపాల యొక్క వైవిధ్యం యొక్క నిష్పాక్షికమైన మరియు స్థిరమైన (క్లాసికల్ లీనియర్ మోడల్ కోసం) అంచనా పరిమాణం అని నిరూపించవచ్చు:
ఈ విలువను కోవియారిన్స్ మ్యాట్రిక్స్ సూత్రంలోకి మార్చడం ద్వారా, మేము కోవియారిన్స్ మ్యాట్రిక్స్ యొక్క అంచనాను పొందుతాము. ఫలిత అంచనాలు కూడా నిష్పాక్షికంగా మరియు స్థిరంగా ఉంటాయి. దోష భేదం యొక్క అంచనా (అందుకే కోఎఫీషియంట్స్ యొక్క వైవిధ్యం) మరియు మోడల్ పారామితుల యొక్క అంచనాలు స్వతంత్ర యాదృచ్ఛిక వేరియబుల్స్, ఇది మోడల్ కోఎఫీషియంట్స్ గురించి పరికల్పనలను పరీక్షించడానికి పరీక్ష గణాంకాలను పొందడం సాధ్యం చేస్తుంది.
క్లాసికల్ ఊహలను అందుకోకపోతే, పారామితుల యొక్క OLS అంచనాలు అత్యంత సమర్థవంతమైన అంచనాలు కావు (నిష్పాక్షికంగా మరియు స్థిరంగా ఉన్నప్పటికీ). ఏదేమైనప్పటికీ, కోవియారిన్స్ మ్యాట్రిక్స్ యొక్క అంచనా మరింత దిగజారుతుంది - ఇది పక్షపాతంగా మరియు ఆమోదయోగ్యంగా మారుతుంది. ఈ సందర్భంలో నిర్మించిన నమూనా యొక్క నాణ్యత గురించి గణాంక ముగింపులు చాలా నమ్మదగనివి అని దీని అర్థం. చివరి సమస్యను పరిష్కరించడానికి ఎంపికలలో ఒకటి, కోవియారిన్స్ మ్యాట్రిక్స్ యొక్క ప్రత్యేక అంచనాలను ఉపయోగించడం, ఇది క్లాసికల్ ఊహల ఉల్లంఘనలకు అనుగుణంగా ఉంటుంది (వైట్ రూపంలోని ప్రామాణిక లోపాలు మరియు న్యూవే-వెస్ట్ రూపంలో ప్రామాణిక లోపాలు). సాధారణీకరించిన కనీసం చతురస్రాల పద్ధతి అని పిలవబడే పద్ధతిని ఉపయోగించడం మరొక విధానం.
సాధారణీకరించిన OLS[మార్చు | వికీ వచనాన్ని సవరించండి]
ప్రధాన వ్యాసం: సాధారణీకరించిన కనీస చతురస్రాలు
తక్కువ చతురస్రాల పద్ధతి విస్తృత సాధారణీకరణను అనుమతిస్తుంది. అవశేషాల చతురస్రాల మొత్తాన్ని కనిష్టీకరించే బదులు, అవశేషాల యొక్క వెక్టర్ యొక్క కొన్ని సానుకూల నిర్దిష్ట వర్గ రూపాన్ని కనిష్టీకరించవచ్చు, ఇక్కడ కొన్ని సిమెట్రిక్ పాజిటివ్ డెఫినిట్ వెయిట్ మ్యాట్రిక్స్ ఉంటుంది. సాంప్రదాయ కనీస చతురస్రాలు ఈ విధానం యొక్క ప్రత్యేక సందర్భం, ఇక్కడ బరువు మాతృక గుర్తింపు మాతృకకు అనులోమానుపాతంలో ఉంటుంది. సిమెట్రిక్ మాత్రికల (లేదా ఆపరేటర్లు) సిద్ధాంతం నుండి తెలిసినట్లుగా, అటువంటి మాత్రికల కోసం ఒక కుళ్ళిపోవటం ఉంది. కాబట్టి, పేర్కొన్న ఫంక్షనల్ ఈ క్రింది విధంగా సూచించబడుతుంది
అంటే, ఈ ఫంక్షనల్ కొన్ని రూపాంతరం చెందిన "మిగిలినవి" యొక్క చతురస్రాల మొత్తంగా సూచించబడుతుంది. ఈ విధంగా, మేము కనీసం చతురస్రాల పద్ధతుల తరగతిని వేరు చేయవచ్చు - LS పద్ధతులు (తక్కువ చతురస్రాలు).
సాధారణీకరించిన లీనియర్ రిగ్రెషన్ మోడల్‌కు (ఇందులో యాదృచ్ఛిక దోషాల కోవియారెన్స్ మ్యాట్రిక్స్‌పై ఎటువంటి పరిమితులు విధించబడవు), అత్యంత ప్రభావవంతమైనవి (లీనియర్ నిష్పాక్షిక అంచనాల తరగతిలో) అంచనాలు అని పిలవబడేవి అని నిరూపించబడింది (ఐట్‌కెన్ సిద్ధాంతం). సాధారణీకరించిన కనిష్ట చతురస్రాలు (GLS - సాధారణీకరించిన అతి తక్కువ స్క్వేర్‌లు) - యాదృచ్ఛిక లోపాల యొక్క విలోమ కోవియరెన్స్ మ్యాట్రిక్స్‌కు సమానమైన బరువు మాతృకతో LS పద్ధతి: .
లీనియర్ మోడల్ యొక్క పారామితుల యొక్క GLS అంచనాల ఫార్ములా రూపాన్ని కలిగి ఉందని చూపవచ్చు
ఈ అంచనాల కోవియారిన్స్ మ్యాట్రిక్స్ తదనుగుణంగా సమానంగా ఉంటుంది
వాస్తవానికి, OLS యొక్క సారాంశం అసలు డేటా యొక్క నిర్దిష్ట (సరళ) పరివర్తన (P) మరియు రూపాంతరం చెందిన డేటాకు సాధారణ OLS యొక్క అనువర్తనంలో ఉంటుంది. ఈ రూపాంతరం యొక్క ఉద్దేశ్యం ఏమిటంటే, రూపాంతరం చెందిన డేటా కోసం, యాదృచ్ఛిక లోపాలు ఇప్పటికే శాస్త్రీయ అంచనాలను సంతృప్తిపరుస్తాయి.
బరువున్న OLS[మార్చు | వికీ వచనాన్ని సవరించండి]
వికర్ణ బరువు మాతృక (అందువలన యాదృచ్ఛిక లోపాల యొక్క కోవియారిన్స్ మాతృక) విషయంలో, మేము వెయిటెడ్ మినిస్ట్ స్క్వేర్‌లు అని పిలవబడేవి (WLS - వెయిటెడ్ లీస్ట్ స్క్వేర్స్). ఈ సందర్భంలో, మోడల్ అవశేషాల చతురస్రాల బరువు మొత్తం కనిష్టీకరించబడుతుంది, అనగా, ప్రతి పరిశీలన ఈ పరిశీలనలో యాదృచ్ఛిక లోపం యొక్క వ్యత్యాసానికి విలోమానుపాతంలో ఉండే "బరువు"ని పొందుతుంది:
వాస్తవానికి, పరిశీలనలను వెయిటింగ్ చేయడం ద్వారా డేటా రూపాంతరం చెందుతుంది (యాదృచ్ఛిక లోపాల యొక్క అంచనా వేసిన ప్రామాణిక విచలనానికి అనులోమానుపాతంలో ఉన్న మొత్తంతో భాగించడం), మరియు బరువున్న డేటాకు సాధారణ OLS వర్తించబడుతుంది.