- Tutorial
Вступ
Я математик-програміст. Найбільший стрибок у своїй кар'єрі я зробив, коли навчився говорити: "Я нічого не розумію!"Зараз мені не соромно сказати світилу науки, що читає лекцію, що я не розумію, про що воно, світило, мені говорить. І це дуже складно. Так, зізнатися у своєму незнанні складно та соромно. Кому сподобається визнаватись у тому, що він не знає азів чогось там. Через свою професію я повинен бути присутнім на великій кількості презентацій та лекцій, де, зізнаюся, в переважній більшості випадків мені хочеться спати, бо я нічого не розумію. А я не розумію тому, що величезна проблема поточної ситуації в науці криється в математиці. Вона припускає, що всі слухачі знайомі з усіма областями математики (що абсурдно). Зізнатися в тому, що ви не знаєте, що таке похідна (про те, що це трохи пізніше) - соромно.
Але я навчився говорити, що не знаю, що таке множення. Так, я не знаю, що таке подалгебра над алгеброю Лі. Так, я не знаю, навіщо потрібні у житті квадратні рівняння. До речі, якщо ви впевнені, що ви знаєте, то нам є над чим поговорити! Математика – це серія фокусів. Математики намагаються заплутати та залякати публіку; там, де немає збентеження, немає репутації, немає авторитету. Так, це престижно говорити якомога абстрактнішою мовою, що є по собі повна нісенітниця.
Чи знаєте ви, що таке похідна? Найімовірніше ви мені скажете про межу різницевого відношення. На першому курсі матуху СПбГУ Віктор Петрович Хавін мені визначивпохідну як коефіцієнт першого члена ряду Тейлора функції у точці (це була окрема гімнастика, щоб визначити ряд Тейлора без похідних). Я довго сміявся над таким визначенням, поки не зрозумів, про що воно. Похідна не що інше, як просто міра того, наскільки функція, яку ми диференціюємо, схожа на функцію y=x, y=x^2, y=x^3.
Я зараз маю честь читати лекції студентам, які боятьсяматематики. Якщо ви боїтеся математики – нам з вами по дорозі. Як тільки ви намагаєтеся прочитати якийсь текст, і вам здається, що він надмірно складний, то знайте, що він написано хронічно. Я стверджую, що немає жодної галузі математики, про яку не можна говорити «на пальцях», не втрачаючи при цьому точності.
Завдання найближчим часом: я доручив своїм студентам зрозуміти, що таке лінійно-квадратичний регулятор. Не посоромтеся, витратите три хвилини свого життя, сходіть на заслання. Якщо ви нічого не зрозуміли, то нам з вами по дорозі. Я (професійний математик-програміст) також нічого не зрозумів. І я запевняю, що в цьому можна розібратися «на пальцях». На даний момент я не знаю, що це таке, але я запевняю, що ми зможемо розібратися.
Отже, перша лекція, яку я збираюся прочитати своїм студентам після того, як вони з жахом вдадуться до мене зі словами, що лінійно-квадратичний регулятор - це страшна бяка, яку ніколи в житті не подужати, це методи найменших квадратів. Чи вмієте ви розв'язувати лінійні рівняння? Якщо ви читаєте цей текст, то, швидше за все, ні.
Отже, дано дві точки (x0, y0), (x1, y1), наприклад, (1,1) і (3,2), завдання знайти рівняння прямої, що проходить через ці дві точки:
ілюстрація
Ця пряма повинна мати рівняння наступного типу:
Тут альфа і бета нам невідомі, але відомі дві точки цієї прямої:
Можна записати це рівняння у матричному вигляді:
Тут слід створити ліричний відступ: що таке матриця? Матриця це не що інше, як двовимірний масив. Це спосіб зберігання даних, більше ніяких значень йому не варто надавати. Це залежить від нас, як саме інтерпретувати якусь матрицю. Періодично я її інтерпретуватиму як лінійне відображення, періодично як квадратичну форму, а ще іноді просто як набір векторів. Це все буде уточнено у контексті.
Давайте замінимо конкретні матриці на їхнє символьне уявлення:
Тоді (alpha, beta) може бути легко знайдено:
Більш конкретно для наших попередніх даних:
Що веде до наступного рівняння прямої, що проходить через точки (1,1) та (3,2):
Окей, тут зрозуміло. А давайте знайдемо рівняння прямої, що проходить через триточки: (x0, y0), (x1, y1) та (x2, y2):
Ой-ой-ой, але ж у нас три рівняння на дві невідомі! Стандартний математик скаже, що рішення немає. А що скаже програміст? А він спершу перепише попередню систему рівнянь у наступному вигляді:
У нашому випадку вектори i,j,b тривимірні, отже, (загалом) рішення цієї системи немає. Будь-який вектор (alpha i i beta i j) лежить у площині, натягнутій на вектори (i, j). Якщо b не належить цій площині, то рішення немає (рівності у рівнянні не досягти). Що робити? Давайте шукати компроміс. Давайте позначимо через e(alpha, beta)наскільки саме ми не досягли рівності:
І намагатимемося мінімізувати цю помилку:
Чому квадрат?
Ми шукаємо не просто мінімум норми, а мінімум квадрата норми. Чому? Сама точка мінімуму збігається, а квадрат дає гладку функцію (квадратичну функцію від агрументів (alpha, beta)), тоді як просто довжина дає функцію як конуса, недиференційовану в точці мінімуму. Брр. Квадрат зручніший.
Очевидно, що помилка мінімізується, коли вектор eортогональний площині, натягнутій на вектори. iі j.
Ілюстрація
Іншими словами: ми шукаємо таку пряму, що сума квадратів довжин відстаней від усіх точок до цієї прямої мінімальна:
UPDATE: тут у мене одвірок, відстань до прямої має вимірюватися по вертикалі, а не ортогональною проекцією. Ось цей коментатор має рацію.
Ілюстрація
Зовсім іншими словами (обережно, погано формалізовано, але на пальцях має бути ясно): ми беремо всі можливі прямі між усіма парами точок і шукаємо середню пряму між усіма:
Ілюстрація
Інше пояснення на пальцях: ми прикріплюємо пружинку між усіма точками даних (тут у нас три) і пряме, що ми шукаємо, і пряма рівноважного стану є саме те, що ми шукаємо.
Мінімум квадратичної форми
Отже, маючи цей вектор bта площину, натягнуту на стовпці-вектори матриці A(в даному випадку (x0,x1,x2) та (1,1,1)), ми шукаємо вектор eз мінімуму квадрата довжини. Очевидно, що мінімум можна досягти тільки для вектора. e, ортогональної площини, натягнутої на стовпці-вектори матриці. A:Інакше кажучи, ми шукаємо такий вектор x=(alpha, beta), що:
Нагадую, цей вектор x=(alpha, beta) є мінімумом квадратичної функції ||e(alpha, beta)||^2:
Тут не зайвим буде згадати, що матрицю можна інтерпретувати у тому числі як і квадратичну форму, наприклад, одинична матриця ((1,0),(0,1)) може бути інтерпретована як функція x^2 + y^2:
квадратична форма
Вся ця гімнастика відома під ім'ям лінійної регресії.
Рівняння Лапласа з граничною умовою Діріхле
Тепер найпростіше реальне завдання: є якась тріангульована поверхня, необхідно її згладити. Наприклад, давайте завантажимо модель моєї особи:
Початковий коміт доступний. Для мінімізації зовнішніх залежностей я взяв код свого софтверного рендерера вже на хабрі. Для вирішення лінійної системи я користуюся OpenNL, це відмінний солвер, який, щоправда, дуже складно встановити: потрібно скопіювати два файли (.h+.c) у папку з вашим проектом. Все згладжування робиться наступним кодом:
For (int d=0; d<3; d++) {
nlNewContext();
nlSolverParameteri(NL_NB_VARIABLES, verts.size());
nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE);
nlBegin(NL_SYSTEM);
nlBegin(NL_MATRIX);
for (int i=0; i<(int)verts.size(); i++) {
nlBegin(NL_ROW);
nlCoefficient(i, 1);
nlRightHandSide(verts[i][d]);
nlEnd(NL_ROW);
}
for (unsigned int i=0; i
X, Y та Z координати відокремлені, я їх згладжую окремо. Тобто, я вирішую три системи лінійних рівнянь, кожне має кількість змінних рівною кількістю вершин у моїй моделі. Перші n рядків матриці A мають лише одну одиницю на рядок, а перші n рядків вектора b мають оригінальні координати моделі. Тобто, я прив'язую по пружинці між новим становищем вершини і старим становищем вершини - нові не повинні занадто далеко йти від старих.
Всі наступні рядки матриці A (faces.size()*3 = кількості ребер всіх трикутників у сітці) мають одне входження 1 та одне входження -1, причому вектор b має нульові компоненти навпаки. Це означає, що я вішаю пружинку на кожне ребро нашої трикутної сітки: всі ребра намагаються отримати одну й ту саму вершину як відправну та фінальну точку.
Ще раз: змінними є всі вершини, причому вони можуть далеко відходити від початкового становища, але заодно намагаються стати схожими друг на друга.
Ось результат:
Все було б добре, модель дійсно згладжена, але вона відійшла від свого початкового краю. Давайте трохи змінимо код:
For (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }
У нашій матриці A я для вершин, що знаходяться на краю, не додаю рядок з розряду v_i = verts[i][d], а 1000*v_i = 1000*verts[i][d]. Що це змінює? А змінює це нашу квадратичну форму помилки. Тепер одиничне відхилення від вершини краю коштуватиме не одну одиницю, як раніше, а 1000*1000 одиниць. Тобто, ми повісили сильнішу пружинку на крайні вершини, рішення воліє розтягнути інші. Ось результат:
Давайте вдвічі посилимо пружинки між вершинами:
nlCoefficient (face [j], 2); nlCoefficient(face[(j+1)%3], -2);
Логічно, що поверхня стала гладкішою:
А тепер ще в сто разів сильніше:
Що це таке? Уявіть, що ми вмочили дротяне кільце в мильну воду. У результаті мильна плівка, що утворилася, намагатиметься мати найменшу кривизну, наскільки це можливо, торкаючись-таки кордону - нашого дротяного кільця. Саме це ми й отримали, зафіксувавши кордон та попросивши отримати гладку поверхню всередині. Вітаю вас, ми тільки-но вирішили рівняння Лапласа з граничними умовами Діріхле. Круто звучить? А насправді лише одну систему лінійних рівнянь вирішити.
Рівняння Пуассона
Давайте ще круте ім'я згадаємо.Припустимо, що у мене є така картинка:
Всім гарна, тільки стілець мені не подобається.
Розріжу картинку навпіл: 
І виділю руками стілець: 
Потім все, що біле в масці, притягну до лівої частини картинки, а заразом по всій картинці скажу, що різниця між двома сусідніми пікселями повинна дорівнювати різниці між двома сусідніми пікселями правої картинки:
For (int i=0; i Ось результат: Код та зображення доступні Вибравши вид функції регресії, тобто. вид моделі залежності Y від Х (або Х від У), наприклад, лінійну модель y x =a+bx, необхідно визначити конкретні значення коефіцієнтів моделі. При різних значеннях а і b можна побудувати нескінченну кількість залежностей виду y x = a + bx тобто на координатній площині є нескінченна кількість прямих, нам необхідна така залежність, яка відповідає спостерігається найкращим чином. Таким чином, завдання зводиться до підбору найкращих коефіцієнтів. Лінійну функцію a+bx шукаємо, виходячи лише з деякої кількості спостережень. Для знаходження функції з найкращою відповідністю спостеріганим значенням використовуємо метод найменших квадратів. Позначимо: Y i - значення, обчислене за рівнянням Y i = a + b x i. y i - виміряне значення, i =y i -Y i - різниця між виміряними і обчисленими за рівнянням значенням, i =y i -a-bx i . У методі найменших квадратів потрібно, щоб ε i різниця між виміряними y i і обчисленими за рівнянням значенням Y i була мінімальною. Отже, знаходимо коефіцієнти а і b так, щоб сума квадратів відхилень значень, що спостерігаються від значень на прямій лінії регресії виявилася найменшою: Досліджуючи на екстремум цю функцію аргументів а та за допомогою похідних, можна довести, що функція набуває мінімального значення, якщо коефіцієнти а та b є рішеннями системи: Якщо розділити обидві частини нормальних рівнянь на n, отримаємо: Враховуючи, що Отримаємо При цьому називають коефіцієнтом регресії; a називають вільним членом рівняння регресії та обчислюють за формулою: Отримана пряма оцінка для теоретичної лінії регресії. Маємо: Отже, Регресія може бути прямою (b>0) та зворотною (b Приклад 1. Результати вимірювання величин X та Y дано в таблиці: Припускаючи, що між X і Y існує лінійна залежність y=a+bx способом найменших квадратів визначити коефіцієнти a і b. Рішення. Тут n=5 та нормальна система (2) має вигляд Вирішуючи цю систему, отримаємо: b = 0.425, a = 1.175. Тому y=1.175+0.425x. Приклад 2. Є вибірка з 10 спостережень економічних показників (X) та (Y). Потрібно визначити вибіркове рівняння регресії Y на X. Побудувати вибіркову лінію регресії Y на X. Рішення. 1. Проведемо впорядкування даних за значеннями x i та y i . Отримуємо нову таблицю: Для спрощення обчислень складемо розрахункову таблицю, до якої занесемо необхідні чисельні значення. Згідно з формулою (4), обчислюємо коефіцієнта регресії а за формулою (5) Таким чином, вибіркове рівняння регресії має вигляд y=-59.34+1.3804x. На рис.4 видно, як розташовуються значення щодо лінії регресії. Для чисельної оцінки відхилень y від Y i , де y i спостерігаються, а Y i зумовлені регресією значення, складемо таблицю: Значення Y i обчислені відповідно до рівняння регресії. Помітне відхилення деяких значень від лінії регресії пояснюється малим числом спостережень. При дослідженні рівня лінійної залежності Y від X число спостережень враховується. Сила залежності визначається величиною коефіцієнта кореляції. приклад. Експериментальні дані про значення змінних хі унаведено у таблиці. В результаті їх вирівнювання отримано функцію Використовуючи метод найменших квадратів, апроксимувати ці дані лінійною залежністю y=ax+b(Знайти параметри аі b). З'ясувати, яка з двох ліній краще (у сенсі способу менших квадратів) вирівнює експериментальні дані. Зробити креслення. Завдання полягає у знаходженні коефіцієнтів лінійної залежності, при яких функція двох змінних аі b
Таким чином, рішення прикладу зводиться до знаходження екстремуму функції двох змінних. Складається та вирішується система із двох рівнянь із двома невідомими. Знаходимо приватні похідні функції Вирішуємо отриману систему рівнянь будь-яким методом (наприклад методом підстановкиабо методом Крамера) та отримуємо формули для знаходження коефіцієнтів за методом найменших квадратів (МНК). За даними аі bфункція Ось і весь спосіб найменших квадратів. Формула для знаходження параметра aмістить суми ,,,і параметр n- Кількість експериментальних даних. Значення цих сум рекомендуємо обчислювати окремо. Коефіцієнт bзнаходиться після обчислення a. Настав час згадати про вихідний приклад. Рішення. У нашому прикладі n=5. Заповнюємо таблицю для зручності обчислення сум, що входять до формул шуканих коефіцієнтів. Значення у четвертому рядку таблиці отримані множенням значень 2-го рядка на значення 3-го рядка для кожного номера i. Значення у п'ятому рядку таблиці отримані зведенням у квадрат значень другого рядка для кожного номера i. Значення останнього стовпця таблиці – це суми значень рядків. Використовуємо формули методу найменших квадратів для знаходження коефіцієнтів аі b. Підставляємо у них відповідні значення з останнього стовпця таблиці: Отже, y = 0.165x+2.184- пряма апроксимуюча. Залишилося з'ясувати, яка з ліній y = 0.165x+2.184або Для цього потрібно обчислити суми квадратів відхилень вихідних даних від цих ліній Оскільки , то пряма y = 0.165x+2.184краще наближає вихідні дані. На графіках все чудово видно. Червона лінія – це знайдена пряма y = 0.165x+2.184, синя лінія – це На практиці при моделюванні різних процесів - зокрема, економічних, фізичних, технічних, соціальних - широко використовуються ті чи інші способи обчислення наближених значень функцій за відомими значеннями в деяких фіксованих точках. Такі завдання наближення функцій часто виникають: при побудові наближених формул для обчислення значень характерних величин досліджуваного процесу за табличними даними, отриманими в результаті експерименту; при чисельному інтегруванні, диференціюванні, розв'язанні диференціальних рівнянь тощо; при необхідності обчислення значень функцій у проміжних точках розглянутого інтервалу; щодо значень характерних величин процесу поза розглядуваного інтервалу, зокрема при прогнозуванні. Якщо для моделювання деякого процесу, заданого таблицею, побудувати функцію, що наближено описує даний процес на основі методу найменших квадратів, вона буде називатися апроксимуючою функцією (регресією), а завдання побудови апроксимуючих функцій - завданням апроксимації. У цій статті розглянуто можливості пакета MS Excel для вирішення такого роду завдань, крім того, наведено методи та прийоми побудови (створення) регресій для таблично заданих функцій (що є основою регресійного аналізу). Excel для побудови регресій є дві можливості. Додавання обраних регресій (ліній тренду - trendlines) у діаграму, побудовану на основі таблиці даних для досліджуваної характеристики процесу (доступне лише за наявності побудованої діаграми); Використання вбудованих статистичних функцій робочого листа Excel, дозволяють отримувати регресії (лінії тренду) безпосередньо з урахуванням таблиці вихідних даних. Додавання ліній тренду до діаграми Для таблиці даних, що описують деякий процес і представлених діаграмою, Excel є ефективний інструмент регресійного аналізу, що дозволяє: будувати на основі методу найменших квадратів і додавати в діаграму п'ять типів регресій, які з тим чи іншим ступенем точності моделюють досліджуваний процес; додавати до діаграми рівняння побудованої регресії; визначати ступінь відповідності обраної регресії даних, що відображаються на діаграмі. На основі даних діаграми Excel дозволяє отримувати лінійний, поліноміальний, логарифмічний, статечний, експоненційний типи регресій, які задаються рівнянням: y = y(x) де x - незалежна змінна, яка часто набуває значення послідовності натурального ряду чисел (1; 2; 3; …) і здійснює, наприклад, відлік часу протікання досліджуваного процесу (характеристики). 1
. Лінійна регресія хороша при моделюванні характеристик, значення яких збільшуються або зменшуються з постійною швидкістю. Це найпростіша у побудові модель досліджуваного процесу. Вона будується відповідно до рівняння: y = mx + b де m – тангенс кута нахилу лінійної регресії до осі абсцис; b - координата точки перетину лінійної регресії з віссю ординат. 2
. Поліноміальна лінія тренду корисна для опису характеристик, що мають кілька яскраво виражених екстремумів (максимумів та мінімумів). Вибір ступеня полінома визначається кількістю екстремумів досліджуваної характеристики. Так, поліном другого ступеня може добре описати процес, що має лише один максимум або мінімум; поліном третього ступеня - трохи більше двох екстремумів; поліном четвертого ступеня - трохи більше трьох екстремумів тощо. У цьому випадку лінія тренду будується відповідно до рівняння: y = c0 + c1x + c2x2 + c3x3 + c4x4 + c5x5 + c6x6 де коефіцієнти c0, c1, c2, c6 - константи, значення яких визначаються в ході побудови. 3
. Логарифмічна лінія тренду успішно застосовується при моделюванні характеристик, значення яких спочатку швидко змінюються, та був поступово стабілізуються. y = c ln(x) + b 4
. Ступінна лінія тренду дає хороші результати, якщо значення досліджуваної залежності характеризуються постійною зміною швидкості зростання. Прикладом такої залежності може бути графік рівноприскореного руху автомобіля. Якщо серед даних зустрічаються нульові чи негативні значення, використовувати статечну лінію тренда не можна. Будується відповідно до рівняння: y = c xb де коефіцієнти b, с – константи. 5
. Експонентну лінію тренда слід використовувати у тому випадку, якщо швидкість зміни даних безперервно зростає. Для даних, що містять нульові або негативні значення, цей вид наближення також не застосовується. Будується відповідно до рівняння: y = c ebx де коефіцієнти b, с – константи. При підборі лінії тренду Excel автоматично розраховує значення величини R2, яка характеризує достовірність апроксимації: чим ближче значення R2 до одиниці, тим надійніше лінія тренду апроксимує досліджуваний процес. За потреби значення R2 завжди можна відобразити на діаграмі. Визначається за такою формулою: Для додавання лінії тренду до ряду даних слід: активізувати побудовану з урахуванням низки даних діаграму, т. е. клацнути у межах області діаграми. У головному меню з'явиться пункт Діаграма; після натискання на цьому пункті на екрані з'явиться меню, в якому слід вибрати команду Додати лінію тренда. Ці ж дії легко реалізуються, якщо навести покажчик миші на графік, що відповідає одному з рядів даних, та клацнути правою кнопкою миші; у контекстному меню, що з'явилося, вибрати команду Додати лінію тренда. На екрані з'явиться діалогове вікно Лінія тренду з відкритою вкладкою Тип (рис. 1). Після цього необхідно: Вибрати на вкладці Тип необхідний тип лінії тренда (за замовчуванням вибирається тип Лінійний). Для Поліноміального типу в полі Ступінь слід задати ступінь обраного полінома. 1
. У полі Побудований ряд перераховані всі ряди даних аналізованої діаграми. Для додавання лінії тренда до конкретного ряду даних слід у полі Побудований на ряді вибрати його ім'я. При необхідності, перейшовши на вкладку Параметри (мал. 2), можна для лінії тренда задати такі параметри: змінити назву лінії тренду в полі Назва апроксимуючої (згладженої) кривої. задати кількість періодів (вперед чи назад) для прогнозу у полі Прогноз; вивести в ділянку діаграми рівняння лінії тренду, для чого слід включити прапорець показати рівняння на діаграмі; вивести в ділянку діаграми значення достовірності апроксимації R2, для чого слід включити прапорець помістити на діаграму величину достовірності апроксимації (R^2); задати точку перетину лінії тренду з віссю Y, для чого слід включити прапорець перетин кривої з віссю Y в точці; клацнути на кнопці OK, щоб закрити діалогове вікно. Для того, щоб розпочати редагування вже побудованої лінії тренду, існує три способи: скористатися командою Виділена лінія тренду з меню Формат, вибравши попередньо лінію тренда; вибрати команду Формат лінії тренда з контекстного меню, яке викликається клацанням правої кнопки миші по лінії тренду; подвійним клацанням по лінії тренду. На екрані з'явиться діалогове вікно Формат лінії тренду (рис. 3), що містить три вкладки: Вид, Тип, Параметри, причому вміст останніх двох повністю збігається з аналогічними вкладками діалогового вікна Лінія тренду (рис.1-2). На вкладці Вигляд можна задати тип лінії, її колір та товщину. Для видалення вже побудованої лінії тренда слід вибрати лінію тренда, що видаляється, і натиснути клавішу Delete. Перевагами розглянутого інструменту регресійного аналізу є: відносна легкість побудови на діаграмах лінії тренду без створення нею таблиці даних; досить широкий перелік типів запропонованих ліній трендів, причому цей перелік входять найчастіше використовувані типи регресії; можливість прогнозування поведінки досліджуваного процесу на довільне (не більше здорового глузду) кількість кроків уперед, і навіть назад; можливість одержання рівняння лінії тренда в аналітичному вигляді; можливість, за потреби, отримання оцінки достовірності проведеної апроксимації. До недоліків можна віднести такі моменти: побудова лінії тренду здійснюється лише за наявності діаграми, побудованої ряді даних; процес формування рядів даних для досліджуваної характеристики на основі отриманих для неї рівнянь ліній тренду дещо захаращений: шукані рівняння регресій оновлюються при кожній зміні значень вихідного ряду даних, але тільки в межах області діаграми, тоді як ряд даних, сформований на основі старого рівняння лінії тренда залишається без зміни; у звітах зведених діаграм при зміні представлення діаграми або пов'язаного звіту зведеної таблиці наявні лінії тренду не зберігаються, тобто до проведення ліній тренду чи іншого форматування звіту зведених діаграм слід переконатися, що макет звіту відповідає необхідним вимогам. Лініями тренду можна доповнити ряди даних, представлені на діаграмах типу графік, гістограма, плоскі ненормовані діаграми з областями, лінійчасті, точкові, пухирцеві та біржові. Не можна доповнити лініями тренду ряди даних на об'ємних, нормованих, пелюсткових, кругових та кільцевих діаграмах. Використання вбудованих функцій Excel В Excel є також інструмент регресійного аналізу для побудови ліній тренду поза ділянкою діаграми. З цією метою можна використовувати ряд статистичних функцій робочого листа, проте вони дозволяють будувати лише лінійні чи експоненційні регресії. В Excel є кілька функцій для побудови лінійної регресії, зокрема: ТЕНДЕНЦІЯ; Нахил і відрізок. А також кілька функцій для побудови експоненційної лінії тренду, зокрема: ЛДРФПРИБЛ. Слід зазначити, що прийоми побудови регресій за допомогою функцій ТЕНДЕНЦІЯ та РОСТ практично збігаються. Те саме можна сказати і про пару функцій Лінейн і ЛГРФПРИБЛ. Для чотирьох цих функцій під час створення таблиці значень використовуються такі можливості Excel, як формули масивів, що дещо захаращує процес побудови регресій. Зауважимо також, що побудова лінійної регресії, на наш погляд, найлегше здійснити за допомогою функцій НАКЛОН і ВІДРІЗОК, де перша визначає кутовий коефіцієнт лінійної регресії, а друга - відрізок, що відсікається регресією на осі ординат. Достоїнствами інструменту вбудованих функцій для регресійного аналізу є: досить простий однотипний процес формування рядів даних досліджуваної характеристики всім вбудованих статистичних функцій, що задають лінії тренда; стандартна методика побудови ліній тренду на основі сформованих рядів даних; можливість прогнозування поведінки досліджуваного процесу необхідну кількість кроків уперед чи назад. А до недоліків відноситься те, що в Excel немає вбудованих функцій для створення інших (крім лінійного та експонентного) типів ліній тренду. Ця обставина часто дозволяє підібрати досить точну модель досліджуваного процесу, і навіть отримати близькі до реальності прогнози. Крім того, при використанні функцій ТЕНДЕНЦІЯ та РОСТ не відомі рівняння ліній тренду. Слід зазначити, що автори не ставили за мету статті викладення курсу регресійного аналізу з тим чи іншим ступенем повноти. Основне її завдання - на конкретних прикладах показати можливості пакета Excel під час вирішення завдань апроксимації; продемонструвати, якими ефективними інструментами для побудови регресій та прогнозування має Excel; проілюструвати, як щодо легко такі завдання можуть бути вирішені навіть користувачем, який не володіє глибокими знаннями регресійного аналізу. Приклади вирішення конкретних завдань Розглянемо розв'язання конкретних завдань за допомогою перерахованих інструментів Excel. Завдання 1 З таблицею даних про прибуток автотранспортного підприємства за 1995-2002 рр. необхідно виконати такі дії. Побудувати діаграму. У діаграму додати лінійну та поліноміальну (квадратичну та кубічну) лінії тренду. Використовуючи рівняння ліній тренду, отримати табличні дані щодо прибутку підприємства для кожної лінії тренду за 1995-2004 роки. Скласти прогноз щодо прибутку підприємства на 2003 та 2004 роки. Розв'язання задачі У діапазон осередків A4:C11 робочого листа Excel вводимо робочу таблицю, подану на рис. 4. Виділивши діапазон осередків В4: С11, будуємо діаграму. Активізуємо побудовану діаграму та за описаною вище методикою після вибору типу лінії тренду в діалоговому вікні Лінія тренду (див. рис. 1) по черзі додаємо в діаграму лінійну, квадратичну та кубічну лінії тренду. У цьому ж діалоговому вікні відкриваємо вкладку Параметри (див. рис. 2), в полі Назва апроксимуючої (згладженої) кривої вводимо найменування тренда, що додається, а в полі Прогноз вперед на: періодів задаємо значення 2, так як планується зробити прогноз по прибутку на два року наперед. Для виведення в області діаграми рівняння регресії та значення достовірності апроксимації R2 включаємо прапорці показувати рівняння на екрані та помістити на діаграму величину достовірності апроксимації (R^2). Для кращого візуального сприйняття змінюємо тип, колір та товщину побудованих ліній тренду, для чого скористаємось вкладкою Вид діалогового вікна Формат лінії тренду (див. рис. 3). Отримана діаграма з доданими лініями тренду представлена на рис. 5. Для отримання табличних даних щодо прибутку підприємства для кожної лінії тренду за 1995-2004 роки. скористаємось рівняннями ліній тренду, представленими на рис. 5. Для цього в комірки діапазону D3:F3 вводимо текстову інформацію про тип обраної лінії тренду: Лінійний тренд, Квадратичний тренд, Кубічний тренд. Далі вводимо в комірку D4 формулу лінійної регресії і, використовуючи маркер заповнення, копіюємо цю формулу з відносними посиланнями діапазону комірок D5:D13. Слід зазначити, що кожному осередку з формулою лінійної регресії з діапазону осередків D4:D13 як аргумент стоїть відповідний осередок з діапазону A4:A13. Аналогічно для квадратичної регресії заповнюється діапазон осередків E4: E13, а кубічної регресії - діапазон осередків F4: F13. Таким чином, складено прогноз щодо прибутку підприємства на 2003 та 2004 роки. за допомогою трьох трендів. Отримана таблиця значень представлена рис. 6. Завдання 2 Побудувати діаграму. У діаграму додати логарифмічну, статечну та експоненційну лінії тренду. Вивести рівняння отриманих ліній тренду, і навіть величини достовірності апроксимації R2 кожної з них. Використовуючи рівняння ліній тренду, отримати табличні дані про прибуток підприємства кожної лінії тренду за 1995-2002 гг. Скласти прогноз про прибуток підприємства на 2003 та 2004 рр., використовуючи ці лінії тренду. Розв'язання задачі Дотримуючись методики, наведеної при вирішенні задачі 1, отримуємо діаграму з доданими до неї логарифмічної, статечної та експоненційної лініями тренду (рис. 7). Далі, використовуючи отримані рівняння ліній тренду, заповнюємо таблицю значень із прибутку підприємства, включаючи прогнозовані значення на 2003 та 2004 роки. (Рис. 8). На рис. 5 та рис. видно, що моделі з логарифмічним трендом відповідає найменше значення достовірності апроксимації. R2 = 0,8659 Найбільші значення R2 відповідають моделям з поліноміальним трендом: квадратичним (R2 = 0,9263) і кубічним (R2 = 0,933). Завдання 3 З таблицею даних про прибуток автотранспортного підприємства за 1995-2002 рр., що наведена в задачі 1, необхідно виконати такі дії. Отримати ряди даних для лінійної та експоненційної лінії тренду з використанням функцій ТЕНДЕНЦІЯ та РОСТ. Використовуючи функції ТЕНДЕНЦІЯ та РОСТ, скласти прогноз про прибуток підприємства на 2003 та 2004 роки. Для вихідних даних та отриманих рядів даних побудувати діаграму. Розв'язання задачі Скористайтеся робочою таблицею задачі 1 (див. рис. 4). Почнемо з функції ТЕНДЕНЦІЯ: виділяємо діапазон осередків D4:D11, який слід заповнити значеннями функції ТЕНДЕНЦІЯ, що відповідають відомим даним про прибуток підприємства; викликаємо команду Функція з меню Вставка. У діалоговому вікні Майстер функцій виділяємо функцію ТЕНДЕНЦІЯ з категорії Статистичні, після чого клацаємо по кнопці ОК. Цю операцію можна здійснити натисканням кнопки (Вставка функції) стандартної панелі інструментів. У діалоговому вікні, що з'явилося, Аргументи функції вводимо в поле Відомі_значення_y діапазон осередків C4:C11; у полі Відомі_значення_х - діапазон осередків B4: B11; щоб формула, що вводиться, стала формулою масиву, використовуємо комбінацію клавіш + + . Введена нами формула у рядку формул матиме вигляд: =(ТЕНДЕНЦІЯ(C4:C11;B4:B11)). В результаті діапазон осередків D4:D11 заповнюється відповідними значеннями функції ТЕНДЕНЦІЯ (рис. 9). Для складання прогнозу про прибуток підприємства на 2003 та 2004 роки. необхідно: виділити діапазон осередків D12:D13, куди заноситимуться значення, прогнозовані функцією ТЕНДЕНЦІЯ. викликати функцію ТЕНДЕНЦІЯ і в діалоговому вікні, що з'явилося Аргументи функції ввести в поле Відомі_значення_y - діапазон осередків C4:C11; у полі Відомі_значення_х - діапазон осередків B4: B11; а в полі Нові_значення_х - діапазон осередків B12: B13. перетворити цю формулу на формулу масиву, використовуючи комбінацію клавіш Ctrl + Shift + Enter. Введена формула матиме вигляд: =(ТЕНДЕНЦІЯ(C4:C11;B4:B11;B12:B13)), а діапазон осередків D12:D13 заповниться прогнозованими значеннями функції ТЕНДЕНЦІЯ (див. рис. 9). Аналогічно заповнюється ряд даних за допомогою функції РОСТ, яка використовується при аналізі нелінійних залежностей і працює так само, як її лінійний аналог ТЕНДЕНЦІЯ. На рис.10 представлена таблиця як показу формул. Для вихідних даних та отриманих рядів даних побудовано діаграму, зображену на рис. 11. Завдання 4 З таблицею даних про вступ до диспетчерської служби автотранспортного підприємства заявок на послуги за період з 1 до 11 числа поточного місяця необхідно виконати такі дії. Отримати ряди даних для лінійної регресії: використовуючи функції НАКЛОН та ВІДРІЗОК; використовуючи функцію Лінейн. Отримати ряд даних для експоненційної регресії з використанням функції ЛГРФПРИБЛ. Використовуючи вищезгадані функції, скласти прогноз про надходження заявок до диспетчерської служби на період з 12 до 14 числа поточного місяця. Для вихідних та отриманих рядів даних побудувати діаграму. Розв'язання задачі Зазначимо, що, на відміну від функцій ТЕНДЕНЦІЯ і ЗРОСТАННЯ, жодна з перерахованих вище функцій (НАХИЛ, ВІДРІЗОК, ЛІНІЙН, ЛГРФПРИБ) не є регресією. Ці функції грають лише допоміжну роль, визначаючи необхідні параметри регресії. Для лінійної та експоненційної регресій, побудованих за допомогою функцій НАКЛОН, ВІДРІЗОК, ЛІНІЙН, ЛГРФПРИБ, зовнішній вигляд їх рівнянь завжди відомий, на відміну від лінійної та експоненційної регресій, що відповідають функціям ТЕНДЕНЦІЯ та РОЗДІЛ. 1
. Побудуємо лінійну регресію, яка має рівняння: y = mx+b за допомогою функцій НАХИЛ і ВІДРІЗОК, причому кутовий коефіцієнт регресії m визначається функцією НАХИЛ, а вільний член b - функцією ВІДРІЗОК. Для цього здійснюємо такі дії: заносимо вихідну таблицю в діапазон осередків A4: B14; значення параметра m буде визначатися в комірці С19. Вибираємо з категорії Статистичні функції Нахил; заносимо діапазон осередків B4:B14 у поле відомі_значення_y та діапазон осередків А4:А14 у поле відомі_значення_х. У комірку С19 буде введена формула: = НАХЛАН(B4:B14;A4:A14); за аналогічною методикою визначається значення параметра b у комірці D19. І її вміст матиме вигляд: = ВІДРІЗОК(B4:B14;A4:A14). Таким чином, необхідні для побудови лінійної регресії значення параметрів m і b зберігатимуться відповідно в осередках C19, D19; далі заносимо в комірку С4 формулу лінійної регресії як: =$C*A4+$D. У цій формулі осередки С19 та D19 записані з абсолютними посиланнями (адреса осередку не повинна змінюватися при можливому копіюванні). Знак абсолютного посилання $ можна набити або з клавіатури або за допомогою клавіші F4, попередньо встановивши курсор на адресу комірки. Скориставшись маркером заповнення, скопіюємо цю формулу в діапазон осередків С4:С17. Отримуємо потрібний ряд даних (рис. 12). У зв'язку з тим, що кількість заявок - ціле число, слід встановити на вкладці Число вікна Формат осередків числовий формат із числом десяткових знаків 0. 2
. Тепер збудуємо лінійну регресію, задану рівнянням: y = mx+b за допомогою функції ЛІНІЙН. Для цього: вводимо в діапазон осередків C20:D20 функцію ЛІНІЙН як формулу масиву: =(ЛІНЕЙН(B4:B14;A4:A14)). В результаті отримуємо в комірці C20 значення параметра m, а в комірці D20 значення параметра b; вводимо в комірку D4 формулу: = $ C * A4 + $ D; копіюємо цю формулу за допомогою маркера заповнення в діапазон осередків D4: D17 і отримуємо ряд даних, що шукається. 3
. Будуємо експоненційну регресію, яка має рівняння: за допомогою функції ЛГРФПРИБЛ воно виконується аналогічно: в діапазон осередків C21:D21 вводимо функцію ЛГРФПРИБЛ як формулу масиву: =( ЛГРФПРИБЛ (B4:B14;A4:A14)). При цьому в комірці C21 буде визначено значення параметра m, а в комірці D21 значення параметра b; у комірку E4 вводиться формула: =$D*$C^A4; за допомогою маркера заповнення ця формула копіюється в діапазон клітин E4:E17, де і розташується ряд даних для експоненційної регресії (див. рис. 12). На рис. 13 наведено таблицю, де видно використовувані нами функції з необхідними діапазонами осередків, а також формули. Величина R
2
називається коефіцієнтом детермінації. Завданням побудови регресійної залежності є знаходження вектора коефіцієнтів m моделі (1) при якому коефіцієнт R набуває максимального значення. Для оцінки значущості R застосовується F-критерій Фішера, що обчислюється за формулою де n- розмір вибірки (кількість експериментів); k – число коефіцієнтів моделі. Якщо F перевищує деяке критичне значення для даних nі kі прийнятої довірчої ймовірності, величина R вважається істотною. Таблиці критичних значень F наводяться у довідниках математичної статистики. Отже, значимість R визначається як його величиною, а й співвідношенням між кількістю експериментів і кількістю коефіцієнтів (параметрів) моделі. Дійсно, кореляційне відношення для n=2 для простої лінійної моделі дорівнює 1 (через 2 точки на площині завжди можна провести єдину пряму). Однак, якщо експериментальні дані є випадковими величинами, довіряти такому значенню R слід з великою обережністю. Зазвичай отримання значимого R і достовірної регресії прагнуть до того, щоб кількість експериментів істотно перевищувала кількість коефіцієнтів моделі (n>k). Для побудови лінійної регресійної моделі необхідно: 1) підготувати список з n рядків і m стовпців, що містить експериментальні дані (стовпець, що містить вихідну величину Yмає бути або першим, або останнім у списку); Наприклад візьмемо дані попереднього завдання, додавши стовпець під назвою "№ періоду", пронумеруємо номери періодів від 1 до 12. (це значення Х) 2) звернутися до меню Дані/Аналіз даних/Регресія Якщо пункт "Аналіз даних" у меню "Сервіс" відсутній, слід звернутися до пункту "Надбудови" того ж меню і встановити прапорець "Пакет аналізу". 3) у діалоговому вікні "Регресія" задати: · Вхідний інтервал Y; · Вхідний інтервал X; · Вихідний інтервал - верхній лівий осередок інтервалу, в який будуть розміщуватися результати обчислень (рекомендується розмістити на новому робочому аркуші); 4) натиснути "Ok" та проаналізувати результати. Після вирівнювання отримаємо функцію наступного виду: g(x) = x + 1 3 + 1 . Ми можемо апроксимувати ці дані за допомогою лінійної залежності y = a x + b, обчисливши відповідні параметри. Для цього нам потрібно буде застосувати так званий метод найменших квадратів. Також потрібно зробити креслення, щоб перевірити, яка лінія краще вирівнюватиме експериментальні дані. Yandex.RTB R-A-339285-1 Головне, що нам потрібно зробити, – знайти такі коефіцієнти лінійної залежності, при яких значення функції двох змінних F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 буде найменшим. Інакше кажучи, при певних значеннях a і b сума квадратів відхилень представлених даних від прямої, що вийшла, буде мати мінімальне значення. У цьому полягає сенс методу найменших квадратів. Все, що нам треба зробити для вирішення прикладу, – це знайти екстремум функції двох змінних. Для того щоб вивести формули для обчислення коефіцієнтів, потрібно скласти та вирішити систему рівнянь із двома змінними. Для цього ми обчислюємо окремі похідні вирази F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 по a та b і прирівнюємо їх до 0 . δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i Для вирішення системи рівнянь можна використовувати будь-які методи, наприклад підстановку або метод Крамера. У результаті маємо вийти формули, з допомогою яких обчислюються коефіцієнти методом найменших квадратів. n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n Ми вирахували значення змінних, при яких функція І це застосування методу найменших квадратів практично. Його формула, яка застосовується для пошуку параметра a включає ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 , а також параметр Звернемося знову до вихідного прикладу. Приклад 1 Тут у нас n дорівнює п'яти. Щоб було зручніше обчислювати потрібні суми, що входять до формул коефіцієнтів, заповнимо таблицю. Рішення
Четвертий рядок включає дані, отримані при множенні значень з другого рядка на значення третього для кожного окремого i . П'ятий рядок містить дані з другого, зведені у квадрат. В останньому стовпці наводяться суми значень окремих рядків. Скористаємося методом найменших квадратів, щоб обчислити потрібні нам коефіцієнти a і b. Для цього підставимо потрібні значення з останнього стовпця та підрахуємо суми: n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n 8 - 12 · 12 , 9 5 · 46 - 12 2 b = 12 , 9 - a · 12 5 ⇒ a ≈ 0 , 165 b ≈ 2 , 184 У нас вийшло, що потрібна пряма апроксимує виглядатиме як y = 0 , 165 x + 2 , 184 . Тепер нам треба визначити, яка лінія краще апроксимувати дані – g(x) = x + 1 3 + 1 або 0 , 165 x + 2 , 184 . Зробимо оцінку за допомогою методу найменших квадратів. Щоб обчислити похибку, нам треба знайти суми квадратів відхилень даних від прямих σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 і σ 2 = ∑ i = 1 n (y i - g (x i)) 2 , мінімальне значення буде відповідати більш відповідної лінії. σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0 , 165 x i + 2 , 184)) 2 ≈ 0, 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0 , 096 Відповідь:оскільки σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет Метод найменших квадратів наочно показано на графічній ілюстрації. За допомогою червоної лінії відзначено пряму g(x) = x + 1 3 + 1, синю – y = 0, 165 x + 2, 184 . Вихідні дані позначені рожевими крапками. Пояснимо, для чого саме потрібні наближення такого виду. Вони можуть бути використані в завданнях, що вимагають згладжування даних, а також у тих, де дані треба інтерполювати або екстраполювати. Наприклад, у задачі, розібраній вище, можна було б знайти значення спостерігається величини y при x = 3 або x = 6 . Таким прикладам ми присвятили окрему статтю. Щоб функція прийняла мінімальне значення при обчислених a і b потрібно, щоб у цій точці матриця квадратичної форми диференціала функції виду F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 була позитивно визначеною. Покажемо, як це має виглядати. Приклад 2 Ми маємо диференціал другого порядку наступного виду: d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2 b Рішення
δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n Інакше кажучи, можна записати так: d 2 F (a; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 · 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b . Ми отримали матрицю квадратичної форми виду M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n . У цьому випадку значення окремих елементів не змінюватимуться залежно від a та b. Чи ця матриця є позитивно визначеною? Щоб відповісти на це питання, перевіримо, чи є її кутові мінори позитивними. Обчислюємо кутовий мінор першого порядку: 2 ∑ i = 1 n (xi) 2 > 0 . Оскільки точки x i не збігаються, то нерівність є суворою. Матимемо це на увазі при подальших розрахунках. Обчислюємо кутовий мінор другого порядку: d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (xi) 2 - ∑ i = 1 n x i 2 Після цього переходимо до доказу нерівності n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 за допомогою математичної індукції. 2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0 У нас вийшла правильна рівність (якщо значення x 1 і x 2 не співпадатимуть). Обчислюємо: (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n · x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n · x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n (x i) 2 = = ∑ i = 1 n (xi) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 +. . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2+. . . + (x n – 1 – x n) 2 > 0 Вираз, укладений у фігурні дужки, буде більше 0 (виходячи з того, що ми припускали в пункті 2), та інші доданки будуть більшими за 0, оскільки всі вони є квадратами чисел. Ми довели нерівність. Відповідь:знайдені a і b відповідатимуть найменшому значенню функції F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 , отже, є шуканими параметрами методу найменших квадратів (МНК). Якщо ви помітили помилку в тексті, будь ласка, виділіть її та натисніть Ctrl+Enter Сутність методу найменших квадратів полягає
у відшуканні параметрів моделі тренда, яка найкраще описує тенденцію розвитку якогось випадкового явища у часі чи просторі (тренд – це лінія, що й характеризує тенденцію цього розвитку). Завдання методу найменших квадратів (МНК) зводиться до знаходження не просто якоїсь моделі тренду, а до знаходження кращої чи оптимальної моделі. Ця модель буде оптимальною, якщо сума квадратичних відхилень між фактичними величинами, що спостерігаються, і відповідними ним розрахунковими величинами тренда буде мінімальною (найменшою): де - квадратичне відхилення між фактичною величиною, що спостерігається. та відповідною їй розрахунковою величиною тренду, Фактичне (спостерігається) значення досліджуваного явища, Розрахункове значення моделі тренду, Число спостережень за явищем, що вивчається. МНК самостійно застосовується досить рідко. Як правило, найчастіше його використовують лише як необхідний технічний прийом при кореляційних дослідженнях.
Слід пам'ятати, що інформаційною основою МНК може бути лише достовірний статистичний ряд, причому число спостережень не повинно бути менше 4-х, інакше процедури, що згладжують МНК, можуть втратити здоровий глузд. Інструментарій МНК зводиться до таких процедур: Перша процедура.
З'ясовується, чи взагалі існує якась тенденція зміни результативної ознаки при зміні обраного фактора-аргументу, або іншими словами, чи є зв'язок між « у
» та « х
». Друга процедура.
Визначається, яка лінія (траєкторія) здатна найкраще описати чи охарактеризувати цю тенденцію. Третя процедура.
приклад. Допустимо, ми маємо інформацію про середню врожайність соняшнику по досліджуваному господарству (табл. 9.1). Таблиця 9.1 Номер спостереження Урожайність, ц/га Оскільки рівень технології при виробництві соняшнику в нашій країні за останні 10 років практично не змінився, отже, мабуть, коливання врожайності в аналізований період дуже залежали від коливання погодно-кліматичних умов. Чи це так? Перша процедура МНК.
Перевіряється гіпотеза про існування тенденції зміни врожайності соняшнику залежно від зміни погодно-кліматичних умов за 10 років, що аналізуються. У цьому прикладі за « y
» Доцільно прийняти врожайність соняшнику, а за « x
» - Номер спостережуваного року в аналізованому періоді. Перевірку гіпотези про існування будь-якого взаємозв'язку між « x
» та « y
» можна виконати двома способами: вручну та за допомогою комп'ютерних програм. Звісно, за наявності комп'ютерної техніки дана проблема вирішується сама собою. Але щоб краще зрозуміти інструментарій МНК доцільно виконати перевірку гіпотези про існування зв'язку між « x
» та « y
» вручну, коли під рукою знаходяться лише ручка та звичайний калькулятор. У таких випадках гіпотезу про існування тенденції найкраще перевірити візуальним способом щодо розташування графічного зображення аналізованого ряду динаміки - кореляційного поля: Кореляційне поле в нашому прикладі розташоване навколо лінії, що повільно зростає. Це вже само собою говорить про існування певної тенденції в зміні врожайності соняшника. Не можна говорити про наявність будь-якої тенденції лише тоді, коли кореляційне поле схоже на коло, коло, строго вертикальну або строго горизонтальну хмару, або ж складається з хаотично розкиданих точок. В інших випадках слід підтвердити гіпотезу про існування взаємозв'язку між « x
» та « y
», та продовжити дослідження. Друга процедура МНК.
Визначається, яка лінія (траєкторія) здатна найкраще описати чи охарактеризувати тенденцію зміни врожайності соняшника за аналізований період. За наявності комп'ютерної техніки вибір оптимального тренда відбувається автоматично. При «ручній» обробці вибір оптимальної функції здійснюється, як правило, візуальним способом – розташування кореляційного поля. Тобто, на вигляд графіка підбирається рівняння лінії, яка найкраще підходить до емпіричного тренду (до фактичної траєкторії). Як відомо, у природі існує величезна різноманітність функціональних залежностей, тому візуальним способом проаналізувати навіть незначну їх частину – вкрай важко. На щастя, в реальній економічній практиці більшість взаємозв'язків досить точно можуть бути описані або параболою, або гіперболою, або прямою лінією. У зв'язку з цим, при «ручному» варіанті вибору кращої функції, можна обмежитися тільки цими трьома моделями. Гіперболу: Парабола другого порядку: Неважко помітити, що у нашому прикладі найкраще тенденцію зміни врожайності соняшника за аналізовані 10 років характеризує пряма лінія, тому рівнянням регресії буде пряма рівняння. Третя процедура.
Розраховуються параметри регресійного рівняння, що характеризує цю лінію, або іншими словами визначається аналітична формула, що описує кращу модель тренду. Знаходження значень параметрів рівняння регресії, у разі параметрів і , є серцевиною МНК. Цей процес зводиться до вирішення системи нормальних рівнянь. Ця система рівнянь досить легко вирішується методом Гаусса. Нагадаємо, що в результаті рішення в нашому прикладі знаходяться значення параметрів і . Таким чином, знайдене рівняння регресії матиме такий вигляд: 
(2)
(3)
, Звідси , підставляючи значення a в перше рівняння, отримаємо:
є рівнянням лінійної регресії.x i
-2
0
1
2
4
y i
0.5
1
1.5
2
3
x i = -2 +0 +1 +2 +4 = 5;
x i 2 =4+0+1+4+16=25
x i y i =-2 0.5+0 1+1 1.5+2 2+4 3=16.5
y i =0.5+1+1.5+2+3=8
x i
180
172
173
169
175
170
179
170
167
174
y i
186
180
176
171
182
166
182
172
169
177
x i
167
169
170
170
172
173
174
175
179
180
y i
169
171
166
172
180
176
177
182
182
186
x i
y i
x i 2
x i y i
167
169
27889
28223
169
171
28561
28899
170
166
28900
28220
170
172
28900
29240
172
180
29584
30960
173
176
29929
30448
174
177
30276
30798
175
182
30625
31850
179
182
32041
32578
180
186
32400
33480
∑x i =1729
∑y i =1761
∑x i 2 299105
∑x i y i =304696
x = 172.9
y=176.1
x i 2 = 29910.5
xy = 30469.6
Нанесемо на координатній площині точки (x i ; y i) і відзначимо пряму регресію.
Рис 4x i
y i
Y i
Y i -y i
167
169
168.055
-0.945
169
171
170.778
-0.222
170
166
172.140
6.140
170
172
172.140
0.140
172
180
174.863
-5.137
173
176
176.225
0.225
174
177
177.587
0.587
175
182
178.949
-3.051
179
182
184.395
2.395
180
186
185.757
-0.243
Суть методу найменших квадратів (МНК).
набуває найменшого значення. Тобто, за даними аі bсума квадратів відхилень експериментальних даних від знайденої прямої буде найменшою. У цьому суть методу найменших квадратів.Висновок формул знаходження коефіцієнтів.
за змінними аі b, Прирівнюємо ці похідні до нуля. 
набуває найменшого значення. Доказ цього факту наведено нижче за текстом наприкінці сторінки.
краще апроксимує вихідні дані, тобто провести оцінку шляхом найменших квадратів.Оцінка похибки способу менших квадратів.
і 
менше значення відповідає лінії, яка краще в сенсі методу найменших квадратів апроксимує вихідні дані. 
Графічна ілюстрація методу найменших квадратів (МНК).
, Рожеві точки - це вихідні дані.
У чому полягає МНК (метод найменших квадратів)
Як вивести формули для обчислення коефіцієнтів
F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 прийме мінімальне значення. У третьому пункті ми доведемо, чому воно є таким.
n – їм зазначено кількість експериментальних даних. Радимо вам обчислювати кожну суму окремо. Значення коефіцієнта b обчислюється відразу після a.
i = 1
i = 2
i = 3
i = 4
i = 5
∑ i = 1 5
x i
0
1
2
4
5
12
y i
2 , 1
2 , 4
2 , 6
2 , 8
3
12 , 9
x i y i
0
2 , 4
5 , 2
11 , 2
15
33 , 8
x i 2
0
1
4
16
25
46
y = 0,165 x + 2,184.Доказ методу МНК
:
(9.2)