Закон хи квадрат

Закон хи квадрат

Закон хи квадрат

4. Случайные величины и их распределения

Распределения Пирсона (хи – квадрат), Стьюдента и Фишера

С помощью нормального распределения определяются три распределения, которые в настоящее время часто используются при статистической обработке данных. В дальнейших разделах книги много раз встречаются эти распределения.

Распределение Пирсона (хи — квадрат) – распределение случайной величины

где случайные величины X1, X2,…, Xn независимы и имеют одно и тоже распределение N(0,1). При этом число слагаемых, т.е. n, называется «числом степеней свободы» распределения хи – квадрат.

Распределение хи-квадрат используют при оценивании дисперсии (с помощью доверительного интервала), при проверке гипотез согласия, однородности, независимости, прежде всего для качественных (категоризованных) переменных, принимающих конечное число значений, и во многих других задачах статистического анализа данных [8, 9, 11, 16].

Распределение t Стьюдента – это распределение случайной величины

где случайные величины U и X независимы, U имеет распределение стандартное нормальное распределение N(0,1), а X – распределение хи – квадрат с n степенями свободы. При этом n называется «числом степеней свободы» распределения Стьюдента.

Распределение Стьюдента было введено в 1908 г. английским статистиком В. Госсетом, работавшем на фабрике, выпускающей пиво. Вероятностно-статистические методы использовались для принятия экономических и технических решений на этой фабрике, поэтому ее руководство запрещало В. Госсету публиковать научные статьи под своим именем. Таким способом охранялась коммерческая тайна, «ноу-хау» в виде вероятностно-статистических методов, разработанных В. Госсетом. Однако он имел возможность публиковаться под псевдонимом «Стьюдент». История Госсета — Стьюдента показывает, что еще сто лет назад менеджерам Великобритании была очевидна большая экономическая эффективность вероятностно-статистических методов.

В настоящее время распределение Стьюдента – одно из наиболее известных распределений среди используемых при анализе реальных данных. Его применяют при оценивании математического ожидания, прогнозного значения и других характеристик с помощью доверительных интервалов, по проверке гипотез о значениях математических ожиданий, коэффициентов регрессионной зависимости, гипотез однородности выборок и т.д. [8, 9, 11, 16].

Распределение Фишера – это распределение случайной величины

где случайные величины Х1 и Х2 независимы и имеют распределения хи – квадрат с числом степеней свободы k1 и k2 соответственно. При этом пара (k1, k2) – пара «чисел степеней свободы» распределения Фишера, а именно, k1 – число степеней свободы числителя, а k2 – число степеней свободы знаменателя. Распределение случайной величины F названо в честь великого английского статистика Р.Фишера (1890-1962), активно использовавшего его в своих работах.

Распределение Фишера используют при проверке гипотез об адекватности модели в регрессионном анализе, о равенстве дисперсий и в других задачах прикладной статистики [8, 9, 11, 16].

Выражения для функций распределения хи — квадрат, Стьюдента и Фишера, их плотностей и характеристик, а также таблицы, необходимые для их практического использования, можно найти в специальной литературе (см., например, [8]).

www.aup.ru

χ 2 -распределение

χ 2 -распределение, хи-квадрат распределение, с n степенями свободы — распределение вероятностей, заданное плотностью вероятностей

где Γ(λ) — гамма-функция. Примечание: χ 2 -распределение можно рассматривать как частный случай гамма-распределения.

Рис. 1. Плотность χ 2 -распределения при различных степенях свободы n

При n ≥ 2 χ 2 -распределение имеет моду в точке x = n — 2. Характеристическая функция χ 2 -распределения имеет вид f(t)=(1-2it) -n/2 . Математическое ожидание и дисперсия хи-квадрат распределения равны, соответственно, n и 2n.

Рис. 2. Плотность χ 2 -распределения при степени свободы n = 4 и функция распределения

Рис. 3. Функция распределения χ 2 при различных степенях свободы n

Хи-квадрат распределение с n степенями свободы может быть выведено как распределение суммы квадратов n независимых случайных величин x1, x2, . xn, имеющих стандартное нормальное распределение с параметрами 0 и 1. Сумма независимых случайных величин с n1, n2, . nk степенями свободы, соответственно, подчиняется хи-квадрат распределению с n = n1 + n2 + . + nk степенями свободы.

Благодаря тесной связи с нормальным распределением, χ 2 -распределение играет важную роль в теории вероятностей и математической статистике. χ 2 -распределение, и многие другие распределения, которые определяются посредством χ 2 -распределения (например — распределение Стьюдента), описывают выборочные распределения различных функций от нормально распределенных результатов наблюдений и используются для построения доверительных интервалов и статистических критериев. Так, например, для независимых случайных величин x1, x2, . xn с одинаковым нормальным распределением с математическим ожиданием a и дисперсией σ 2 отношение s 2 /σ 2 , где
,
подчиняется χ 2 -распределению с n — 1 степенями свободы при любых значениях a и σ 2 . Этот результат положен в основу построения доверительных интервалов и критерия для проверки гипотезы о неизвестном значении дисперсии в случае, когда среднее значение случайной величины также неизвестно (проверка статистических гипотез и интервальная статистическая оценка). Особую известность в связи с хи-квадрат распределением получил хи-квадрат критерий, основанный на так называемом хи-квадрат статистике Пирсона.

Имеются подробные таблицы χ 2 -распределения, удобные для статистических расчетов. При больших объемах выборок используют аппроксимацию посредством нормального распределения. При n → ∞, согласно центральной предельной теореме, распределение нормальной величины стремится к нормальному распределению:

более точная аппроксимация:

где — функция распределения стандартного нормального закона.

Впервые χ 2 -распределение было рассмотрено Р.Хельмертом (1876) и К.Пирсоном (1900).

Опубликовано по материалам: Математический энциклопедический словарь. / Гл. ред. Ю.В.Прохоров; Ред. кол.: С.И.Адян, Н.С.Бахвалов, В.И.Битюцков и др. — М.: Сов. энциклопедия, 1988. — 847 с. стр. 622 — 623.

Web-сайт “Термист” (termist.com)
Термомеханическое упрочнение арматурного проката

Отсутствие ссылки на использованный материал является нарушением заповеди «Не укради»

www.termist.com

Критерий хи-квадрат

Материал из MachineLearning.

Содержание

Критерий — статистический критерий для проверки гипотезы , что наблюдаемая случайная величина подчиняется некому теоретическому закону распределения.

Определение

Пусть дана случайная величина X .

Гипотеза : с. в. X подчиняется закону распределения .

Для проверки гипотезы рассмотрим выборку, состоящую из n независимых наблюдений над с.в. X: . По выборке построим эмпирическое распределение с.в X. Сравнение эмпирического и теоретического распределения (предполагаемого в гипотезе) производится с помощью специально подобранной функции — критерия согласия. Рассмотрим критерий согласия Пирсона (критерий ):

Гипотеза : Х n порождается функцией .

Разделим [a,b] на k непересекающихся интервалов ;

Пусть — количество наблюдений в j-м интервале: ;

— вероятность попадания наблюдения в j-ый интервал при выполнении гипотезы ;

— ожидаемое число попаданий в j-ый интервал;

Проверка гипотезы

В зависимости от значения критерия , гипотеза может приниматься, либо отвергаться:

  • , гипотеза выполняется.
  • (попадает в левый «хвост» распределения). Следовательно, теоретические и практические значения очень близки. Если, к примеру, происходит проверка генератора случайных чисел, который сгенерировал n чисел из отрезка [0,1] и гипотеза : выборка распределена равномерно на [0,1], тогда генератор нельзя называть случайным (гипотеза случайности не выполняется), т.к. выборка распределена слишком равномерно, но гипотеза выполняется.
  • (попадает в правый «хвост» распределения) гипотеза отвергается.
  • Проверим гипотезу : если взять случайную выборку 100 человек из всего населения острова Кипр (генеральной совокупности), где количество мужчин и женщин примерно одинаково (встречаются с одинаковой частотой), то в наблюдаемой выборке отношение количества мужчин и женщин будет соотноситься с частотой как и во всей генеральной выборке(50/50). Пусть в наблюдаемой выборке 46 мужчин и 54 женщины, тогда число степеней свобод и

    Т.о. при уровне значимости о выполнении гипотезы ничего сказать нельзя т.к. значение > (см. Таблицу распределения ).

    Сложная гипотеза

    Гипотеза : Х n порождается функцией — неизвестный параметр. Найдем приближенное значение параметра с помощью метода максимального правдоподобия, основанного на частотах (фиксируем интервалы для ).

    — число попаданий значений элементов выборки в j-ый интервал.

    Теорема Фишера Для проверки сложной гипотезы критерий представляется в виде:

    Задача о бомбардировках Лондона [Лагутин, Т2]. Задача возникла в связи с бомбардировками Лондона во время Второй мировой войны. Для улучшения организации оборонительных мероприятий, необходимо было понять цель противника. Для этого территорию города условно разделили сеткой из 24-ёх горизонтальных и 24-ёх вертикальных линий на 576 равных участков. В течении некторого времени в центре организации обороны города собиралась информация о количестве попаданий снарядов в каждый из участков. В итоге были получены следующие данные:

    www.machinelearning.ru

    Хи-квадрат критерий

    Синонимы: Критерий согласия Пирсона

    Критерий согласия для проверки гипотезы о законе распределения исследуемой случайной величины. Во многих практических задачах точный закон распределения неизвестен. Поэтому выдвигается гипотеза о соответствии имеющегося эмпирического закона, построенного по наблюдениям, некоторому теоретическому. Данная гипотеза требует статистической проверки, по результатам которой будет либо подтверждена, либо опровергнута.

    Пусть – исследуемая случайная величина. Требуется проверить гипотезу о том, что данная случайная величина подчиняется закону распределения . Для этого необходимо произвести выборку из независимых наблюдений и по ней построить эмпирический закон распределения . Для сравнения эмпирического и гипотетического законов используется правило, называемое критерием согласия. Одним из популярных является критерий согласия Хи-квадрат.

    В нем вычисляется статистика Хи-квадрат:

    где – число интервалов, по которому строился эмпирический закон распределения (число столбцов соответствующей гистограммы), – номер интервала, — вероятность попадания значения случайной величины в -й интервал для теоретического закона распределения, – вероятность попадания значения случайной величины в -й интервал для эмпирического закона распределения. Она и должна подчиняться распределению хи-квадрат.

    Если вычисленное значение статистики превосходит квантиль распределения хи-квадрат с степенями свободы для заданного уровня значимости, то гипотеза отвергается. В противном случае она принимается на заданном уровне значимости. Здесь – число наблюдений, – число оцениваемых параметров закона распределения.

    basegroup.ru

    Критерий согласия Пирсона χ2 (хи-квадрат)

    До конца XIX века нормальное распределение считалась всеобщим законом вариации данных. Однако К. Пирсон заметил, что эмпирические частоты могут сильно отличаться от нормального распределения. Встал вопрос, как это доказать. Требовалось не только графическое сопоставление, которое имеет субъективный характер, но и строгое количественное обоснование.

    Так был изобретен критерий χ 2 (хи-квадрат), который проверяет значимость расхождения эмпирических (наблюдаемых) и теоретических (ожидаемых) частот. Это произошло в далеком 1900 году, однако критерий и сегодня на ходу. Более того, его приспособили для решения широкого круга задач. Прежде всего, это анализ номинальных данных, т.е. таких, которые выражаются не количеством, а принадлежностью к какой-то категории. Например, класс автомобиля, пол участника эксперимента, вид растения и т.д. К таким данным нельзя применять математические операции вроде сложения и умножения, для них можно только подсчитать частоты.

    Наблюдаемые частоты обозначим О (Observed), ожидаемые – E (Expected). В качестве примера возьмем результат 60-кратного бросания игральной кости. Если она симметрична и однородна, вероятность выпадения любой стороны равна 1/6 и, следовательно, ожидаемое количество выпадения каждой из сторон равна 10 (1/6∙60). Наблюдаемые и ожидаемые частоты запишем в таблицу и нарисуем гистограмму.

    Нулевая гипотеза заключается в том, что частоты согласованы, то есть фактические данные не противоречат ожидаемым. Альтернативная гипотеза – отклонения в частотах выходят за рамки случайных колебаний, то есть расхождения статистически значимы. Чтобы сделать строгий вывод, нам потребуется.

    1. Обобщающая мера расхождения между наблюдаемыми и ожидаемыми частотами.
    2. Распределение этой меры при справедливости гипотезы о том, что различий нет.

    Начнем с расстояния между частотами. Если взять просто разницу О — E, то такая мера будет зависеть от масштаба данных (частот). Например, 20 — 5 =15 и 1020 – 1005 = 15. В обоих случаях разница составляет 15. Но в первом случае ожидаемые частоты в 3 раза меньше наблюдаемых, а во втором случае – лишь на 1,5%. Нужна относительная мера, не зависящая от масштаба.

    Обратим внимание на следующие факты. В общем случае количество градаций, по которым измеряются частоты, может быть гораздо больше, поэтому вероятность того, что отдельно взятое наблюдение попадет в ту или иную категорию, довольно мала. Раз так, то, распределение такой случайной величины будет подчинятся закону редких событий, известному под названием закон Пуассона. В законе Пуассона, как известно, значение математического ожидания и дисперсии совпадают (параметр λ). Значит, ожидаемая частота для некоторой категории номинальной переменной Ei будет являться одновременное и ее дисперсией. Далее, закон Пуассона при большом количестве наблюдений стремится к нормальному. Соединяя эти два факта, получаем, что, если гипотеза о согласии наблюдаемых и ожидаемых частот верна, то, при большом количестве наблюдений, выражение


    будет иметь стандартное нормальное распределение.

    Важно помнить, что нормальность будет проявляться только при достаточно больших частотах. В статистике принято считать, что общее количество наблюдений (сумма частот) должна быть не менее 50 и ожидаемая частота в каждой градации должна быть не менее 5. Только в этом случае величина, показанная выше, будет иметь стандартное нормальное распределение. Предположим, что это условие выполнено.

    У стандартного нормального распределения почти все значение находятся в пределах ±3 (правило трех сигм). Таким образом, мы получили относительную разность в частотах для одной градации. Нам нужна обобщающая мера. Просто сложить все отклонения нельзя – получим 0 (догадайтесь почему). Пирсон предложил сложить квадраты этих отклонений.

    Это и есть знамений критерий χ 2 Пирсона. Если частоты действительно соответствуют ожидаемым, то значение критерия будет относительно не большим (т.к. большинство отклонений находится около нуля). Но если критерий оказывается большим, то это свидетельствует в пользу существенных различий между частотами.

    «Большим» критерий становится тогда, когда появление такого или еще большего значения становится маловероятным. И чтобы рассчитать такую вероятность, необходимо знать распределение критерия при многократном повторении эксперимента, когда гипотеза о согласии частот верна.

    Как нетрудно заметить, величина хи-квадрат также зависит от количества слагаемых. Чем их больше, тем большее значение должно быть у критерия, ведь каждое слагаемое внесет свой вклад в общую сумму. Следовательно, для каждого количества независимых слагаемых, будет собственное распределение. Получается, что χ 2 – это целое семейство распределений.

    И здесь мы подошли к одному щекотливому моменту. Что такое число независимых слагаемых? Вроде как любое слагаемое (т.е. отклонение) независимо. К. Пирсон тоже так думал, но оказался неправ. На самом деле число независимых слагаемых будет на один меньше, чем количество градаций номинальной переменной n. Почему? Потому что, если мы имеем выборку, по которой уже посчитана сумма частот, то одну из частот всегда можно определить, как разность общего количества и суммой всех остальных. Отсюда и вариация будет несколько меньше. Данный факт Рональд Фишер заметил лет через 20 после разработки Пирсоном своего критерия. Даже таблицы пришлось переделывать.

    По этому поводу Фишер ввел в статистику новое понятие – степень свободы (degrees of freedom), которое и представляет собой количество независимых слагаемых в сумме. Понятие степеней свободы имеет математическое объяснение и проявляется только в распределениях, связанных с нормальным (Стьюдента, Фишера-Снедекора и сам хи-квадрат).

    Чтобы лучше уловить смысл степеней свободы, обратимся к физическому аналогу. Представим точку, свободно движущуюся в пространстве. Она имеет 3 степени свободы, т.к. может перемещаться в любом направлении трехмерного пространства. Если точка движется по какой-либо поверхности, то у нее уже две степени свободы (вперед-назад, вправо-влево), хотя и продолжает находиться в трехмерном пространстве. Точка, перемещающаяся по пружине, снова находится в трехмерном пространстве, но имеет лишь одну степень свободы, т.к. может двигаться либо вперед, либо назад. Как видно, пространство, где находится объект, не всегда соответствует реальной свободе перемещения.

    Примерно также распределение статистического критерия может зависеть от меньшего количества элементов, чем нужно слагаемых для его расчета. В общем случае количество степеней свободы меньше наблюдений на число имеющихся зависимостей. Это чистая математика, никакой магии.

    Таким образом, распределение χ 2 – это семейство распределений, каждое из которых зависит от параметра степеней свободы. А формальное определение критерия хи-квадрат следующее. Распределение χ 2 (хи-квадрат) с k степенями свободы — это распределение суммы квадратов k независимых стандартных нормальных случайных величин.

    Далее можно было бы перейти к самой формуле, по которой вычисляется функция распределения хи-квадрат, но, к счастью, все давно подсчитано за нас. Чтобы получить интересующую вероятность, можно воспользоваться либо соответствующей статистической таблицей, либо готовой функцией в специализированном ПО, которая есть даже в Excel.

    Интересно посмотреть, как меняется форма распределения хи-квадрат в зависимости от количества степеней свободы.

    С увеличением степеней свободы распределение хи-квадрат стремится к нормальному. Это объясняется действием центральной предельной теоремы, согласно которой сумма большого количества независимых случайных величин имеет нормальное распределение. Про квадраты там ничего не сказано )).

    Проверка гипотезы по критерию хи-квадрат

    Вот мы и подошли к проверке гипотез по методу хи-квадрат. В целом техника остается прежней. Выдвигается нулевая гипотеза о том, что наблюдаемые частоты соответствуют ожидаемым (т.е. между ними нет разницы, т.к. они взяты из той же генеральной совокупности). Если этот так, то разброс будет относительно небольшим, в пределах случайных колебаний. Меру разброса определяют по критерию хи-квадрат. Далее либо сам критерий сравнивают с критическим значением (для соответствующего уровня значимости и степеней свободы), либо, что более правильно, рассчитывают наблюдаемый p-level, т.е. вероятность получить такое или еще больше значение критерия при справедливости нулевой гипотезы.

    Т.к. нас интересует согласие частот, то отклонение гипотезы произойдет, когда критерий окажется больше критического уровня. Т.е. критерий является односторонним. Однако иногда (иногда) требуется проверить левостороннюю гипотезу. Например, когда эмпирические данные уж оооочень сильно похожи на теоретические. Тогда критерий может попасть в маловероятную область, но уже слева. Дело в том, что в естественных условиях, маловероятно получить частоты, практически совпадающие с теоретическими. Всегда есть некоторая случайность, которая дает погрешность. А вот если такой погрешности нет, то, возможно, данные были сфальсифицированы. Но все же обычно проверяют правостороннюю гипотезу.

    Вернемся к задаче с игральным кубиком. Рассчитаем по имеющимся данным значение критерия хи-квадрат.

    Теперь найдем табличное значение критерия при 5-ти степенях свободы (k) и уровне значимости 0,05 (α).

    Сравним фактическое и табличное значение. 3,4 (χ 2 ) 2 0,05; 5). Расчетный критерий оказался меньшим, значит гипотеза о равенстве (согласии) частот не отклоняется. На рисунке ситуация выглядит вот так.

    Если бы расчетное значение попало в критическую область, то нулевая гипотеза была бы отклонена.

    Более правильным будет рассчитать еще и p-level. Для этого нужно в таблице найти ближайшее значение для заданного количества степеней свободы и посмотреть соответствующий ему уровень значимости. Но это прошлый век. Воспользуемся ПЭВМ, в частности MS Excel. В эксель есть несколько функций, связанных с хи-квадрат.

    Ниже их краткое описание.

    ХИ2.ОБР – критическое значение критерия при заданной вероятности слева (как в статистических таблицах)

    ХИ2.ОБР.ПХ – критическое значение критерия при заданной вероятности справа. Функция по сути дублирует предыдущую. Но здесь можно сразу указывать уровень α, а не вычитать его из 1. Это более удобно, т.к. в большинстве случаев нужен именно правый хвост распределения.

    ХИ2.РАСП – p-level слева (можно рассчитать плотность).

    ХИ2.РАСП.ПХ – p-level справа.

    ХИ2.ТЕСТ – по двум заданным диапазонам частот сразу проводит тест хи-квадрат. Количество степеней свободы берется на одну меньше, чем количество частот в столбце (так и должно быть), возвращая значение p-level.

    Давайте пока рассчитаем для нашего эксперимента критическое (табличное) значение для 5-ти степеней свободы и альфа 0,05. Формула Excel будет выглядеть так:

    Результат будет одинаковым – 11,0705. Именно это значение мы видим в таблице (округленное до 1 знака после запятой).

    Рассчитаем, наконец, p-level для 5-ти степеней свободы критерия χ 2 = 3,4. Нужна вероятность справа, поэтому берем функцию с добавкой ПХ (правый хвост)

    Значит, при 5-ти степенях свободы вероятность получить значение критерия χ 2 = 3,4 и больше равна почти 64%. Естественно, гипотеза не отклоняется (p-level больше 5%), частоты очень хорошо согласуются.

    А теперь проверим гипотезу о согласии частот с помощью функции ХИ2.ТЕСТ.

    Никаких таблиц, никаких громоздких расчетов. Указав в качестве аргументов функции столбцы с наблюдаемыми и ожидаемыми частотами, сразу получаем p-level. Красота.

    Представим теперь, что вы играете в кости с подозрительным типом. Распределение очков от 1 до 5 остается прежним, но он выкидывает 26 шестерок (количество всех бросков становится 78).

    P-level в этом случае оказывается 0,003, что гораздо меньше чем, 0,05. Есть серьезные основания сомневаться в правильности игральной кости. Вот, как выглядит эта вероятность на диаграмме распределения хи-квадрат.

    Сам критерий хи-квадрат здесь получается 17,8, что, естественно, больше табличного (11,1).

    Надеюсь, мне удалось объяснить, что такое критерий согласия χ 2 (хи-квадрат) Пирсона и как с его помощью проверяются статистические гипотезы.

    Напоследок еще раз о важном условии! Критерий хи-квадрат исправно работает только в случае, когда количество всех частот превышает 50, а минимальное ожидаемое значение для каждой градации не меньше 5. Если в какой-либо категории ожидаемая частота менее 5, но при этом сумма всех частот превышает 50, то такую категорию объединяют с ближайшей, чтобы их общая часта превысила 5. Если это сделать невозможно, или сумма частот меньше 50, то следует использовать более точные методы проверки гипотез. О них поговорим в другой раз.

    Ниже находится видео ролик о том, как в Excel проверить гипотезу с помощью критерия хи-квадрат.


    statanaliz.info

admin

Обсуждение закрыто.