Задача оценки параметров распределения заключается в получении наиболее правдоподобных оценок неизвестных параметров распределения генеральной совокупности на основании выборочных данных. Кроме метода моментов для определения точечной оценки параметров распределения используется также метод наибольшего правдоподобия . Метод наибольшего правдоподобия был предложен английским статистиком Р. Фишером в 1912 г.
Пусть для оценки неизвестного параметра случайной величины Х из генеральной совокупности с плотностью распределения вероятностей p (x )= p (x , ) извлечена выборка x 1 ,x 2 ,…,x n . Будем рассматривать результаты выборки как реализацию n -мерной случайной величины (X 1 ,X 2 ,…,X n ). Рассмотренный ранее метод моментов для получения точечных оценок неизвестных параметров теоретического распределения не всегда дает наилучшие оценки. Методом поиска оценок, обладающих необходимыми (наилучшими) свойствами, является метод максимального правдоподобия.
В основе метода максимального правдоподобия лежит условие определения экстремума некоторой функции, называемой функцией правдоподобия.
Функцией правдоподобия ДСВ Х
L (x 1 ,x 2 ,…,x n ; )=p (x 1 ; ) p (x 2 ; )… p (x n ; ),
где x 1, …, x n – фиксированные варианты выборки, – неизвестный оцениваемый параметр, p (x i ; ) – вероятность события X = x i .
Функцией правдоподобия НСВ Х называют функцию аргумента :
L (x 1 ,x 2 ,…,x n ; )=f (x 1 ; ) f (x 2 ; )… f (x n ; ),
где f (x i ; ) – заданная функция плотности вероятности в точках x i .
В
качестве точечной оценки параметров
распределения
принимают
такое его значение
при котором функция правдоподобия
достигает своего максимума. Оценку
называютоценкой
максимального правдоподобия
.
Т.к. функции L
и
L
достигают своего максимума при одинаковых
значениях ,
то обычно для нахождения экстремума
(максимума) используют
L
как более удобную функцию.
Для
определения точки максимума
L
надо воспользоваться известным алгоритмом
для вычисления экстремума функции:
В том случае, когда плотность вероятности зависит от двух неизвестных параметров – 1 и 2 , то находят критические точки, решив систему уравнений:
Итак,
согласно методу наибольшего правдоподобия,
в качестве оценки неизвестного параметра
принимается
такое значение *,
при котором
распределения выборкиx
1 ,x
2 ,…,x
n
максимальна.
Задача
8.
Найдем
методом наибольшего правдоподобия
оценку
для вероятностиp
в схеме Бернулли,
Проведем n независимых повторных испытаний и измерим число успехов, которое обозначим m . По формуле Бернулли вероятность того, что будет m успехов из n –– есть функция правдоподобия ДСВ.
Решение
:
Составим функцию правдоподобия
.
Согласно методу наибольшего правдоподобия, найдем такое значение p , которое максимизирует L , а вместе с ней и ln L .
Тогда логарифмируя L , имеем:
Производная
функции lnL
по p
имеет вид
и в точке экстремума равна нулю. Поэтому,
решив уравнение
,
имеем
.
Проверим
знак второй производной
в полученной точке:
.
Т.к.
при любых значениях аргумента, то
найденное значениеp
есть точка максимума.
Значит,
– наилучшая оценка для
.
Итак,
согласно методу наибольшего правдоподобия,
оценкой вероятности p
события А
в схеме Бернулли служит относительная
частота этого события
.
Если выборка x 1 , x 2 ,…, x n извлечена из нормально распределенной совокупности, то оценки для математического ожидания и дисперсии методом наибольшего правдоподобия имеют вид:
Найденные
значения совпадают с оценками этих
параметров, полученными методом моментов.
Т.к. дисперсия смещена, то ее необходимо
умножить на поправку Бесселя. Тогда она
примет вид
,
совпадая с выборочной дисперсией.
Задача
9
.
Пусть дано распределение Пуассона
где приm
=
x
i
имеем
.
Найдем методом наибольшего правдоподобия
оценку неизвестного параметра
.
Решение :
Составив
функцию правдоподобия L
и ее логарифм
ln
L
.
Имеем:
Найдем
производную от
lnL
:
и решим
уравнение
.
Полученная оценка параметра распределения
примет вид:
Тогда
т.к. при
вторая частная производная
то это точка максимума. Т.о., в качестве
оценки наибольшего правдоподобия
параметра
для распределения Пуассона можно принять
выборочное среднее.
Можно
убедиться, что припоказательном
распределении
функция правдоподобия для выборочных
значенийx
1 ,
x
2 ,
…, x
n
имеет вид:
.
Оценка
параметра распределения
для показательного распределения равна:
.
Достоинством метода наибольшего правдоподобия является возможность получить «хорошие» оценки, обладающие такими свойствами, как состоятельность, асимптотическая нормальность и эффективность для выборок больших объемов при самых общих условиях.
Основным недостатком метода является сложность решения уравнений правдоподобия, а также то, что не всегда известен анализируемый закон распределения.
Метод максимального правдоподобия.
Этот метод состоит в том, что в качестве точечной оценки параметра принимается то значение параметра , при котором функция правдоподобия достигает своего максимума.
Для случайной наработки до отказа с плотностью вероятности f(t, ) функция правдоподобия определяется формулой 12.11: 
, т.е. представляет из себя совместную плотность вероятности независимых измерений случайной величины τ с плотностью вероятности f(t, ).
Если случайная величина дискретна и принимает значения Z 1 ,Z 2
…, соответственно с вероятностями P 1 (α),P 2 (α)…, , то функция правдоподобия берётся в ином виде, а именно: 
, где индексы у вероятностей показывают, что наблюдались значения .
Оценки максимального правдоподобия параметра определяются из уравнения правдоподобия (12.12).
Значение метода максимального правдоподобия выясняется следующими двумя предположениями:
Если для параметра существует эффективная оценка , то уравнение правдоподобия (12.12) имеет единственное решение .
При некоторых общих условиях аналитического характера, наложенных на функции f(t, ) решение уравнения правдоподобия сходится при к истинному значению параметра .
Рассмотрим пример использования метода максимального правдоподобия для параметров нормального распределения.
Пример:
Имеем: 
, , t i (i=1..N)
выборка из совокупности с плотностью распределения .
Требуется найти оценку максимального подобия.
Функция правдоподобия: 
;
.
Уравнения правдоподобия: 
;
;
Решение этих уравнений имеет вид: - статистическое среднее; 
- статистическая дисперсия. Оценка является смещённой. Не смещённой оценкой будет оценка: 
.
Основным недостатком метода максимального правдоподобия являются вычислительные трудности, возникающие при решение уравнений правдоподобия, которые, как правило, являются трансцендентными.
Метод моментов.
Этот метод предложен К.Пирсоном и является самым первым общим методом точечной оценки неизвестных параметров. Он до сих пор широко используется в практической статистике, поскольку нередко приводит к сравнительно несложной вычислительной процедуре. Идея этого метода состоит в том, что моменты распределения зависящие от неизвестных параметров, приравниваются к эмпирическим моментам. Взяв число моментов, равное числу неизвестных параметров, и составив соответствующие уравнения, мы получим необходимое число уравнений. Чаще всего вычисляются первые два статистических момента: выборочное среднее ; и выборочная дисперсия 
. Оценки, получаемые с помощью метода моментов, не являются наилучшими с точки зрения их эффективности. Однако очень часто они используются в качестве первых приближений.
Рассмотрим пример использования метода моментов.
Пример: Рассмотрим экспоненциальное распределение:
t>0; λ<0; t i (i=1..N)
– выборка из совокупности с плотностью распределения . Требуется найти оценку для параметра λ.
Составляем уравнение: 
. Таким образом, иначе .
Метод квантилей.
Это такой же эмпирический метод, как и метод моментов. Он состоит в том, что квантиль теоретического распределения приравниваются к эмпирической квантили. Если оценке подлежат несколько параметров, то соответствующие равенства пишутся для нескольких квантилей.
Рассмотрим случай, когда закон распределения F(t,α,β)
с двумя неизвестными параметрами α, β
. Пусть функция F(t,α,β
) имеет непрерывно дифференцируемую плотность , принимающую положительные значения для любых возможных значений параметров α, β.
Если испытания проводить по плану , r>>1
, то момент появления - го отказа можно рассматривать как эмпирическую квантиль уровня , i=1,2
… , 
- эмпирическая функция распределения. Если бы t l
и t
r – моменты появления l-го и r-го отказов известны точно, значения параметров α
и β
можно было бы найти из уравнений
Кроме метода моментов, который изложен в предыдущем параграфе, существуют и другие методы точечной оценки неизвестных параметров распределения. К ним относится метод наибольшего правдоподобия, предложенный Р. Фишером.
А. Дискретные случайные величины. Пусть X - дискретная случайная величина, которая в результате n испытаний приняла значения х 1 , х 2 , ..., х п . Допустим, что вид закона распределения величины X задан, но неизвестен параметр θ , которым определяется этот закон. Требуется найти его точечную оценку.
Обозначим вероятность того, что в результате испытания величина X примет значение х i (i = 1 , 2, . . . , n ), через p (х i ; θ ).
Функцией правдоподобия дискретной случайной вели чины X называют функцию аргумента θ :
L (х 1 , х 2 , ..., х п ; θ ) = p (х 1 ; θ ) р (х 2 ; θ ) . . . p (х n ; θ ),
где х 1 , х 2 , ..., х п - фиксированные числа.
В качестве точечной оценки параметра θ принимают такое его значение θ * = θ * (х 1 , х 2 , ..., х п ), при котором функция правдоподобия достигает максимума. Оценку θ * называют оценкой наибольшего правдоподобия.
Функции L и ln L достигают максимума при одном и том же значении θ , поэтому вместо отыскания максимума функции L ищут (что удобнее) максимум функции ln L .
Логарифмической функцией правдоподобия называют функцию ln L . Как известно, точку максимума функции ln L аргумента θ можно искать, например, так:
3) найти вторую производную ; если вторая производная приθ = θ * отрицательна, то θ * - точка максимума.
Найденную точку максимума θ * принимают в качестве оценки наибольшего правдоподобия параметра θ .
Метод наибольшего правдоподобия имеет ряд достоинств: оценки наибольшего правдоподобия, вообще говоря, состоятельны (но они могут быть смещенными), распределены асимптотически нормально (при больших значениях n приближенно нормальны) и имеют наименьшую дисперсию по сравнению с другими асимптотически нормальными оценками; если для оцениваемого параметра θ существует эффективная оценка θ *, то уравнение правдоподобия имеет единственное решение θ *; этот метод наиболее полно использует данные выборки об оцениваемом параметре, поэтому он особенно полезен в случае малых выборок.
Недостаток метода состоит в том, что он часто требует сложных вычислений.
Замечание 1. Функция правдоподобия - функция от аргумента θ ; оценка наибольшего правдоподобия - функция от независимых аргументов х 1 , х 2 , ..., х п .
Замечание 2. Оценка наибольшего правдоподобия не всегда совпадает с оценкой, найденной методом моментов.
Пример 1. λ распределения Пуассона
где m - число произведенных испытаний; x i - число появлений события в i -м (i =1, 2, ..., n ) опыте (опыт состоит из т испытаний).
Решение. Составим функцию правдоподобия, учитывая, что. θ= λ :
L = p (х 1 ; λ :) p (х 2 ; λ :) . . .p (х n ; λ :),=
.
Напишем уравнение правдоподобия, для чего приравняем первую производную нулю:
Найдем критическую точку, для чего решим полученное уравнение относительно λ:
Найдем вторую производную по λ:
Легко видеть, что при λ = вторая производная отрицательна; следовательно,λ = - точка максимума и, значит, в качестве оценки наибольшого правдоподобия параметра λ распределения Пуассона надо принять выборочную среднюю λ* = .
Пример 2. Найти методом наибольшего правдоподобия оценку параметра p биномиального распределения
если в n 1 независимых испытаниях событие А появилось х 1 = m 1 раз и в п 2 независимых испытаниях событие А появилось х 2 = т 2 раз.
Решение. Составим функцию правдоподобия, учитывая, что θ = p :
Найдем логарифмическую функцию правдоподобия:
Найдем первую производную по р:
.
.
Найдем критическую точку, для чего решим полученное уравнение относительно p :
Найдем вторую производную по p :
.
Легко убедиться, что при вторая производная отрицательна; следовательно, - точка максимума и, значит, ее надо принять в качестве оценки наибольшего правдоподобия неизвестной вероятности p биномиального распределения:
Б. Непрерывные случайные величины. Пусть X - непрерывная случайная величина, которая в результате n испытаний приняла значения х 1 , х 2 , ..., x п . Допустим, что вид плотности распределения f (x ) задан, но не известен параметр θ , которым определяется эта функция.
Функцией правдоподобия непрерывной случайной вели чины X называют функцию аргумента θ :
L (х 1 , х 2 , ..., х п ; θ ) = f (х 1 ; θ ) f (х 2 ; θ ) . . . f (x n ; θ ),
где х 1 , х 2 , ..., x п - фиксированные числа.
Оценку наибольшего правдоподобия неизвестного параметра распределения непрерывной случайной величины ищут так же, как в случае дискретной величины.
Пример 3. Найти методом наибольшего правдоподобия оценку параметра λ, показательного распределения
(0< х < ∞),
если в результате n испытаний случайная величина X , распределенная по показательному закону, приняла значения х 1 , х 2 , ..., х п .
Решение. Составим функцию правдоподобия, учитывая, что θ= λ:
L = f (х 1 ; λ ) f (х 2 ; λ ) . . . f (х n ; λ ) =.
Найдем логарифмическую функцию правдоподобия:
Найдем первую производную по λ:
Напишем уравнение правдоподобия, для чего приравняем первую производную нулю:
Найдем критическую точку, для чего решим полученное уравнение относительно λ:
Найдем вторую производную по λ:
И другими).
Оценка максимального правдоподобия является популярным статистическим методом, который используется для создания статистической модели на основе данных, и обеспечения оценки параметров модели.
Соответствует многим известным методам оценки в области статистики. Например, предположим, что вы заинтересованы ростом жителей Украины. Предположим, у вас данные роста некоторого количества людей, а не всего населения. Кроме того предполагается, что рост является нормально распределенной величиной с неизвестной дисперсией и средним значением. Среднее значение и дисперсия роста выборки является максимально правдоподобным к среднему значению и дисперсии всего населения.
Для фиксированного набора данных и базовой вероятностной модели, используя метод максимального правдоподобия, мы получим значения параметров модели, которые делают данные «более близкими» к реальным. Оценка максимального правдоподобия дает уникальный и простой способ определить решения в случае нормального распределения.
Метод оценки максимального правдоподобия применяется для широкого круга статистических моделей, в том числе:
- линейные модели и обобщенные линейные модели;
- факторный анализ;
- моделирования структурных уравнений;
- многие ситуации, в рамках проверки гипотезы и доверительного интервала формирования;
- дискретные модели выбора.
Сущность метода
называется оце́нкой максима́льного правдоподо́бия параметра . Таким образом оценка максимального правдоподобия - это такая оценка, которая максимизирует функцию правдоподобия при фиксированной реализации выборки.
Часто вместо функции правдоподобия используют логарифмическую функцию правдоподобия . Так как функция монотонно возрастает на всей области определения, максимум любой функции является максимумом функции , и наоборот. Таким образом
,Если функция правдоподобия дифференцируема, то необходимое условие экстремума - равенство нулю ее градиента :
Достаточное условие экстремума может быть сформулировано как отрицательная определенность гессиана - матрицы вторых производных:
Важное значение для оценки свойств оценок метода максимального правдоподобия играет так называемая информационная матрица, равная по определению:
В оптимальной точке информационная матрица совпадает с математическим ожиданием гессиана, взятым со знаком минус:
Свойства
- Оценки максимального правдоподобия, вообще говоря, могут быть смещёнными (см. примеры), но являются состоятельными , асимптотически эффективными и асимптотически нормальными оценками. Асимптотическая нормальность означает, что
где - асимптотическая информационная матрица
Асимптотическая эффективность означает, что асимптотическая ковариационная матрица является нижней границей для всех состоятельных асимптотически нормальных оценок.
Примеры
Последнее равенство может быть переписано в виде:
где , откуда видно, что своего максимума функция правдоподобия достигает в точке . Таким образом
. .Чтобы найти её максимум, приравняем к нулю частные производные :
- выборочное среднее , а - выборочная дисперсия .Условный метод максимального правдоподобия
Условный метод максимального правдоподобия (Conditional ML) используется в регрессионных моделях. Суть метода заключается в том, что используется не полное совместное распределение всех переменных (зависимой и регрессоров), а только условное распределение зависимой переменной по факторам, то есть фактически распределение случайных ошибок регрессионной модели. Полная функция правдоподобия есть произведение «условной функции правдоподобия» и плотности распределения факторов. Условный ММП эквивалентен полному варианту ММП в том случае, когда распределение факторов никак не зависит от оцениваемых параметров. Это условие часто нарушается в моделях временных рядов, например в авторегрессионной модели . В данном случае, регрессорами являются прошлые значения зависимой переменной, а значит их значения также подчиняются той же AR-модели, то есть распределение регрессоров зависит от оцениваемых параметров. В таких случаях результаты применения условного и полного метода максимального правдоподобия будут различаться.
См. также
Примечания
Литература
- Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика. Начальный курс. - М .: Дело, 2007. - 504 с. - ISBN 978-5-7749-0473-0
Wikimedia Foundation . 2010 .
Смотреть что такое "Метод максимального правдоподобия" в других словарях:
метод максимального правдоподобия - — метод максимального правдоподобия В математической статистике метод оценивания параметров распределения, основанный на максимизации так называемой функции правдоподобия… …
Метод оценки по выборке неизвестных параметров функции распределения F(s; α1,..., αs), где α1, ..., αs неизвестные параметры. Если выборка из п наблюдений разбита на r непересекающихся групп s1,…, sr; р1,..., pr… … Геологическая энциклопедия
Метод максимального правдоподобия - в математической статистике метод оценивания параметров распределения, основанный на максимизации так называемой функции правдоподобия (совместной плотности вероятности наблюдений при значениях, составляющих… … Экономико-математический словарь
метод максимального правдоподобия - maksimaliojo tikėtinumo metodas statusas T sritis automatika atitikmenys: angl. maximum likelihood method vok. Methode der maksimalen Mutmaßlichkeit, f rus. метод максимального правдоподобия, m pranc. méthode de maximum de vraisemblance, f;… … Automatikos terminų žodynas
метод максимального правдоподобия с частичным откликом - Метод обнаружения сигналов по Витерби, при котором обеспечивается минимальный уровень межсимвольных искажений. См. тж. Viterbi algorithm. [Л.М. Невдяев. Телекоммуникационные технологии. Англо русский толковый словарь справочник. Под редакцией Ю.М … Справочник технического переводчика
обнаружитель последовательности, использующий метод максимального правдоподобия - Устройство вычисления оценки наиболее вероятной последовательности символов, максимизирующей функцию правдоподобия принимаемого сигнала. [Л.М. Невдяев. Телекоммуникационные технологии. Англо русский толковый словарь справочник. Под редакцией Ю.М … Справочник технического переводчика
метод наибольшего правдоподобия - метод максимального правдоподобия — [Л.Г.Суменко. Англо русский словарь по информационным технологиям. М.: ГП ЦНИИС, 2003.] Тематики информационные технологии в целом Синонимы метод максимального правдоподобия EN maximum likelihood method … Справочник технического переводчика
метод максимума правдоподобия - Общий метод вычисления оценок параметров. Ищутся оценки, которые максимизируют функцию правдоподобия выборки, равную произведению значений функции распределения для каждого наблюденного значения данных. Метод максимального правдоподобия лучше… … Словарь социологической статистики
непрерывная случайная величина с плотностью Вид плотности известен, но неизвестны значения параметров Функцией правдоподобия называется функция (здесь - выборка объема п из распределения случайной величины £). Легко видеть, что функции правдоподобия можно придать вероятностный смысл, а именно: рассмотрим случайный вектор компоненты которого независимые в совокупности одинаково распределенные случайные величины с законом Д(ж). Тогда элемент вероятности вектора Е имеет вид т.е. функция правдоподобия связана с вероятностью получения фиксированной выборки в последовательности экспериментов П. Основная идея метода правдоподобия состоит в том, что в качестве оценок параметров А предлагается взять такие значения (3), которые доставляют максимум функции правдоподобия при данной фиксированной выборке, т. е. предлагается считать выборку, полученную в эксперименте, наиболее вероятной. Нахождение оценок параметров pj сводится к решению системы к уравнений (к - число неизвестных параметров): Поскольку функция log L имеет максимум в той же точке, что и функция правдоподобия, то часто систему уравнений правдоподобия (19) записывают в виде В качестве оценок неизвестных параметров Д следует брать решения системы (19) или (20), действительно зависящие от выборки и не являющиеся постоянными. Вслучае, когда £ дискретна с рядом распределения, функцией правдоподобия называют функцию и оценки ищут как решения системы Метод максимального правдоподобия или эквивалентной ей Можно показать, что оценки максимального правдоподобия обладают свойством состоятельности. Следует отмстить, что метод максимального правдоподобия приводит к более сложным вычислениям, нежели метод моментов, но теоретически он более эффективен, так как оценки максимального правдоподобия меньше уклоняются от истинных значений оцениваемых параметров, чем оценки, полученные по методу моментов. Для наиболее часто встречающихся в приложениях распределений оценки параметров, полученные по методу моментов и по методу максимального правдоподобия, в большинстве случаев совпадают. Пршир 1. Отклонение (размера детали от номинала является нормально распределенной случайной личиной. Требуется по выборке определить систематическую ошибку и дисперсию отклонения. М По условию (- нормально распределенная случайная величина с математическим ожиданием (систематическая ошибка) и дисперсией, подлежащими оценке по выборке объема п: Х\>...уХп. В этом случае Функция правдоподобия Система (19) имеет вид Отсюда, исключай решения, не зависящие от Хх, получаем т е. оценки максимального правдоподобия в этом случае совпадают с уже известными нам эмпирическими средним и дисперсией > Пример 2. Оценить по выборке параметр /i экспоненциально распределенной случайной величины. 4 Функция правдоподобия имеет вид Уравнение правдоподобия приводит нас к решению совпадающему с оценкой этого же параметра, полученной по методу моментов, см. (17). ^ Пример 3. Пользуясь методом максимального правдоподобия, оценить вероятность появления герба, если при десяти бросаниях монеты герб появился 8 раз. -4 Пусть подлежащая оценке вероятность равна р. Рассмотрим случайную величину (с рядом распределения. Функция правдоподобия (21) имеет вид Метод максимального Уравнение правдоподобия дает в качестве оценки неизвестной вероятности р частоту появления герба в эксперименте Заканчивая обсуждение методов нахождения оценок, подчеркнем, что, даже имея очень большой объем экспериментальных данных, мы все равно не можем указать точного значения оцениваемого параметра, более того, как уже неоднократно отмечалось, получаемые нами оценки близки к истинным значениям оцениваемых параметров только «в среднем» или «в большинстве случаев». Поэтому важной статистической задачей, которую мы рассмотрим далее, является задача определения точности и достоверности проводимого нами оценивания.