Случайной величины. Критерий Колмогорова
Назначение критерия
Критерий предназначен для сопоставления двух распределений:
а) эмпирического с теоретическим, например, равномерным или нормальным;
б) одного эмпирического распределения с другим эмпирическим распределением.
Критерий позволяет найти точку, в которой сумма накопленных расхождений между двумя распределениями является наибольшей, и оценить достоверность этого расхождения.
Описание критерия
Если в методе мы сопоставляли частоты двух распределений отдельно по первому разряду, потом по сумме первого и второго разрядов, потом по сумме первого, второго и третьего разрядов и т.д. Таким образом, мы сопоставляем всякий раз накопленные к данному разряду частоты.
Если различия между двумя распределениями существенны, то в какой–то момент разность накопленных частот достигнет критического значения, и мы сможем признать различия статистически достоверными. В формулу критерия включается эта разность. Чем больше эмпирическое значение , тем более существенны различия.
Гипотезы
Различия между распределениями недостоверны (судя по точке максимального накопленного расхождения между ними).
: Различия между распределениями достоверны (судя по точке максимального накопленного расхождения между ними).
Для применения критерия Колмогорова–Смирнова необходимо соблюдать следующие условия:
1. Измерение может быть проведено шкале интервалов и отношений.
2. Выборки должны быть случайными и независимыми.
3. Желательно, чтобы суммарный объем двух выборок ≥ 50. С увеличением объема выборки точность критерия повышается.
4. Эмпирические данные должны допускать возможность упорядочения по возрастанию или убыванию какого-либо признака и обязательно отражать какое-то его однонаправленное изменение. В том случае, если трудно соблюсти принцип упорядоченности признака, лучше использовать критерий хи -квадрат.
Этот критерий используется для решения тех же задач, что и критерий xи -квадрат. Иначе говоря, с его помощью можно сранивать эмпирическое распределение с теоретическим или два эмпирических распределения друг с другом. Однако если при применении хи -квадрат мы сопоставляем частоты двух распределений, то в данном критерии сравниваются накопленные (кумулятивные) частоты по каждому разряду (альтернативе). При этом если разность накопленных частот в двух распределениях оказывается большой, то различия между двумя распределениями являются существенными.
Задача 8.12. Предположим, что в эксперименте психологу необходимо использовать шестигранный игральный кубик с цифрами на гранях от 1 до 6. Для чистоты эксперимента необходимо получить «идеальный» кубик, т.е. такой, чтобы при достаточно большом числе подбрасываний, каждая его грань выпадала бы примерно равное число раз. Задача состоит в выяснении того, будет ли данный кубик близок к идеальному?
Решение. Подбросим кубик 120 раз и сравним полученное эмпирическое распределение с теоретическим. Поскольку теоретическое распределение является равновероятным, то соответствующие теоретические частоты равны 20. Распределение эмпирических и теоретических частот представим совместно в таблице 8.15:
Для подсчета по критерию Колмогорова–Смирнова необходимо провести ряд преобразований с данными таблицы 8.15. Представим эти преобразования в таблице 8.16 и объясним их получение:
Символом FE в таблице 8.16 будем обозначать накопленные теоретические частоты. В таблице они получаются следующим образом: к первой теоретической частоте 20, добавляется вторая частота, также равная 20, получается число 20 + 20 = 40. Число 40 ставится на место второй частоты. Затем к числу 40 прибавляется следующая теоретическая частота, полученная величина 60 - ставится на место третьей теоретической частоты и так далее.
Символом FB в таблице 8.16 обозначаются накопленные эмпирические частоты. Для их подсчета необходимо расположить эмпирические частоты по возрастанию: 15, 18, 18, 21, 23, 25 и затем по порядку сложить. Так, вначале стоит первая частота равная 15, к ней прибавляется вторая по величине частота и полученная сумма 15 + 18 = 33 ставится на место второй частоты, затем к 33 добавляется 18 (33 + 18 = 51), полученное число 51 ставится на место третьей частоты и т.д.
Символом |FE - FB| в таблице 8.16 обозначаются абсолютные величины разности между теоретической и эмпирической частотой по каждому столбцу отдельно.
Эмпирическую величину этого критерия, которая обозначается как D эмп получают используя формулу (8.13):
Для её получения среди чисел |FE - FB| находят максимальное число (в нашем случае оно равно 9) и делят его на объем выборки п. В нашем случае п = 120, поэтому
Для этого критерия таблица с критическими значениями дана в Приложении 1 под № 13. Из таблицы 13 Приложения 1 следует, однако, что в том случае, если число элементов выборке больше 100, то величины критических значений вычисляются по формуле (8.14).
Критерий Колмогорова-Смирнова – непараметрический критерий согласия, в классическом понимании предназначен для проверки простых гипотез о принадлежности анализируемой выборки некоторому известному закону распределения. Наиболее известно применение данного критерия для проверки исследуемых совокупностей на нормальность распределения .
1. История разработки критерия Колмогорова-Смирнова
Критерий Колмогорова-Смирнова был разработан советскими математиками Андреем Николаевичем Колмогоровым
и Николаем Васильевичем Смирновым
.
Колмогоров А.Н. (1903-1987) - Герой Социалистического Труда, профессор Московского государственного университета, академик АН СССР - крупнейший математик XX века, является одним из основоположников современной теории вероятности.
Смирнов Н.В. (1900-1966)- член-корреспондент АН СССР, один из создателей непараметрических методов математической статистики и теории предельных распределений порядковых статистик.
Впоследствии критерий согласия Колмогорова-Смирнова был доработан с целью применения для проверки совокупностей на нормальность распределения американским статистиком, профессором Университета Джорджа Вашингтона Хьюбертом Лиллиефорсом (Hubert Whitman Lilliefors, 1928-2008). Профессор Лиллиефорс являлся одним из пионеров применения компьютерной техники в статистических расчётах.
Хьюберт Лиллиефорс
2. Для чего используется критерий Колмогорова-Смирнова?
Данный критерий позволяет оценить существенность различий между распределениями двух выборок, в том числе возможно его применение для оценки соответствия распределения исследуемой выборки закону нормального распределения.
3. В каких случаях можно использовать критерий Колмогорова-Смирнова?
Критерий Колмогорова-Смирнова предназначен для проверки совокупностей данных, измеренных в количественной шкале .
Для большей достоверности полученных данных объемы рассматриваемых выборок должен быть достаточно большими: n ≥ 50. При размерах оцениваемой совокупности от 25 до 50 элементов, целесообразно применение поправки Большева.
4. Как рассчитать критерий Колмогорова-Смирнова?
Критерий Колмогорова-Смирнова рассчитывается при помощи специальных статистических программ. В основе лежит статистика вида:
где sup S - точная верхняя грань множества S, F n - функция распределения исследуемой совокупности, F(x) - функция нормального распределения
Выводимые значения вероятности основаны на предположении, что среднее и стандартное отклонение нормального распределения известны априори и не оцениваются из данных.
Однако на практике обычно параметры вычисляются непосредственно из данных. В этом случае критерий нормальности включает сложную гипотезу ("насколько вероятно получить D статистику данной или большей значимости, зависящей от среднего и стандартного отклонения, вычисленных из данных"), и приводятся вероятности Лиллиефорса (Lilliefors, 1967).
5. Как интерпретировать значение критерия Колмогорова-Смирнова?
Если D статистика Колмогорова-Смирнова значима, то гипотеза о том, что соответствующее распределение нормально, должна быть отвергнута.
Описание критерия
Классический критерий Колмогорова (иногда говорят Колмогорова-Смирнова) предназначен для проверки простых гипотез о принадлежности анализируемой выборки некоторому полностью известному закону распределения.
Пусть - выборка независимых одинаково распределённых случайных величин, - эмпирическая функция распределения , - некоторая "истинная" функция распределения с известными параметрами. Статистика критерия определяется выражением:
Обозначим через гипотезу о том, что выборка подчиняется распределению . Тогда по теореме Колмогорова при справедливости проверяемой гипотезы:
0:%20%5Cquad%20%5Clim_%7Bn%20%5Cto%20%5Cinfty%7DP(%5Csqrt%7Bn%7D%20D_n%20%5Cleq%20t)=K(t)=%5Csum_%7Bj=-%5Cinfty%7D%5E%7B+%5Cinfty%7D(-1)%5Ej%20%5Cmathrm%7Be%7D%5E%7B-2j%5E2t%5E2%7D." alt="\forall t>0: \quad \lim_{n \to \infty}P(\sqrt{n} D_n \leq t)=K(t)=\sum_{j=-\infty}^{+\infty}(-1)^j \mathrm{e}^{-2j^2t^2}.">Гипотеза отвергается, если статистика превышает квантиль распределения заданного уровня значимости , и принимается в противном случае.
Примечание: В критерии Колмогорова целесообразно использовать статистику с поправкой Большева: . Распределение этой статистики при справедливости проверяемой гипотезы быстро сходится к распределению Колмогорова и при 25%20" alt=" n>25 "> зависимостью от объема выборки можно пренебречь.
Использование критерия для проверки нормальности
В данном случае критерий Колмогорова используется для проверки гипотезы о принадлежности наблюдаемой выборки нормальному закону, параметры которого оцениваются по этой самой выборке методом максимального правдоподобия. То есть, проверяется сложная гипотеза и в качестве оценок параметров нормального закона используются выборочные оценки среднего и дисперсии.
В этом случае (Lilliefors) использовались модифицированные статистики вида:
.Критические значения для статистики приведены в следующей таблице (Lilliefors):
| 0,15 | 0,10 | 0,05 | 0,03 | 0,01 | |
| 0,775 | 0,819 | 0,895 | 0,955 | 1,035 |
Проверка сложных гипотез
При проверке сложных гипотез, когда по выборке оцениваются параметры закона, с которым проверяется согласие, непараметрические критерии согласия теряют свойство свободы от распределения (Kac, Kiefer, Wolfowitz). При проверке сложных гипотез условные распределения статистик непараметрических критериев согласия (и критерия Колмогорова) зависят от ряда факторов: от вида наблюдаемого закона, соответствующего справедливой проверяемой гипотезе; от типа оцениваемого параметра и числа оцениваемых параметров; в некоторых случаях от конкретного значения параметра (например, в случае семейств гамма- и бета-распределений); от метода оценивания параметров.
Различия в предельных распределениях той же самой статистики при проверке простых и сложных гипотез настолько существенны, что пренебрегать этим ни коем случае нельзя.
О применении критерия Колмогорова для проверки различных сложных гипотез см. на сайте Новосибирского государственного технического университета:
- Статистический анализ данных, моделирование и исследование вероятностных закономерностей. Компьютерный подход: монография. – Новосибирск: Изд-во НГТУ, 2011. – 888 с. (главы 3 и 4)
- Модели распределений статистик непараметрических критериев согласия при проверке сложных гипотез с использованием оценок максимального правдоподобия. Ч.I // Измерительная техника. 2009. № 6. – С.3-11.
- Модели распределений статистик непараметрических критериев согласия при проверке сложных гипотез с использованием оценок максимального правдоподобия. Ч.II // Измерительная техника. 2009. № 8. – С.17-26.
Литература
- Kolmogoroff A.N. Sulla determinazione empirica di una legge di distribuzione // Giornale dell` Istituto Italiano degly Attuari. 1933. – Vol. 4. – № 1. – P. 83-91.
- Большев Л.Н., Смирнов Н.В. Таблицы математической статитики. М.: Наука, 1983.
- Lilliefors H.W. On the Kolmogorov-Smirnov test for normality with mean and variance unknown // J. Am. Statist. Assoc., 1967. V.62. – P.399-402.
- Kac M., Kiefer J., Wolfowitz J. On Tests of Normality and Other Tests of Goodness of Fit Based on Distance Methods // Ann. Math. Stat., 1955. V.26. – P.189-211.
- Рекомендации по стандартизации. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Часть II. Непараметрические критерии. – М.: Изд-во стандартов. 2002. – 64 с.
Критерий предназначен для сопоставления двух распределений: эмпирического с теоретическим , например, равномерным или нормальным; одного эмпирического распределения с другими эмпирическим распределением .
Критерий позволяет найти точку, в которой сумма накопленных расхождений между двумя распределениями является наибольшей, и оценить достоверность этого расхождения.
То есть сначала сопоставляются частоты по первому разряду, потом по сумме первого и второго разрядов, потом по сумме первого, второго и третьего разрядов и т. д. Таким образом, сопоставляются всякий раз накопленные к данному разряду частоты.
Если различия между двумя распределениями существенны, то в какой-то момент разность накопленных частот достигнет критического значения, что служит основанием признать различия статистически достоверными. В формулу критерия λ включается эта разность. Чем больше эмпирическое значение λ, тем более существенны различия.
Ограничения критерия Колмогорова-Смирнова
1. Критерий требует, чтобы выборка была достаточно большой. При сопоставлении двух эмпирических распределений необходимо, чтобы n 1,2 ≥ 50. Сопоставление эмпирического распределения с теоретическим иногда допускается при n ≥ 5 (Ван дер Варден Б.Л., 1960; Гублер Е.В., 1978).
2. Разряды должны быть упорядочены по нарастанию или убыванию какого-либо признака. Они обязательно должны отражать какое-то однонаправленное его изменение. Например, можно за разряды принять дни недели, 1-й, 2-й, 3-й месяцы после прохождения курса терапии, повышение температуры тела, усиление чувства недостаточности и т.д. В то же время, если взять разряды, которые случайно оказались выстроенными в данную последовательность, то и накопление частот будет отражать лишь этот элемент случайного соседства разрядов. Например, если шесть стимульных картин в методике Хекхаузена разным испытуемым предъявляются в разном порядке, невозможно говорить о накоплении реакций при переходе от картины №1 стандартного набора к картине №2 и т. д. Нельзя говорить об однонаправленном изменении признака при сопоставлении категорий «очередность рождения», «национальность», «специфика полученного образования»» и т.п. Эти данные представляют собой номинативные шкалы: в них нет никакого однозначного однонаправленного изменения признака.
Итак, невозможно накапливать частоты по разрядам, которые отличаются лишь качественно и не представляют собой шкалы порядка. Во всех тех случаях, когда разряды представляют собой не упорядоченные по возрастанию или убыванию какого-либо признака категории, следует .
Автоматический расчет критерия Колмогорова-Смирнова
Чтобы произвести расчет данных по критерию, необходимо:
Включить поддержку JavaScript;
Выбрать вид сопоставляемых распределений: «эмпирического с теоретическим» или «эмпирического с эмпирическим»;
Ввести данные разрядов (на увеличение или уменьшение), частоты. Данные необходимо вводить по одному числу на строку, без пробелов, пропусков и т.д., вводить только цифры;
Произвести расчет, нажав на кнопку «Шаг 2».
В случае некорректной работы скрипта (ошибок в расчетах и пр.), просим вас .
Критерий Колмогорова-Смирнова. Проверка гипотезы об однородности выборок
Гипотезы об однородности выборок – это гипотезы о том, что рассматриваемые выборки извлечены из одной и той же генеральной совокупности.Пусть имеются две независимые выборки, произведенные из генеральных совокупностей с неизвестными теоретическими функциями распределения и .
Проверяемая нулевая гипотеза имеет вид против конкурирующей . Будем предполагать, что функции и непрерывны и для оценки используем статистику Колмогорова – Смирнова .
Критерий Колмогорова-Смирнова использует ту же самую идею, что и критерий Колмогорова. Однако различие заключается в том, что в критерии Колмогорова сравнивается эмпирическая функция распределения с теоретической, а в критерии Колмогорова-Смирнова сравниваются две эмпирические функции распределения.
Статистика критерия Колмогорова-Смирнова имеет вид:
, (9.1)
где и – эмпирические функции распределения, построенные по двум выборкам c объемами и .
Гипотеза отвергается, если фактически наблюдаемое значение статистики больше критического , т.е. , и принимается в противном случае.
При малых объемах выборок критические значения для заданных уровней значимости критерия можно найти в специальных таблицах. При (а практически при ) распределение статистики сводится к распределению Колмогорова для статистики . В этом случае гипотеза отвергается на уровне значимости , если фактически наблюдаемое значение больше критического , т.е. , и принимается в противном случае.
Пример 1. ^ ПРОВЕРКА ОДНОРОДНОСТИ ДВУХ ВЫБОРОК
Были осуществлены две проверки торговых точек с целью выявления недовесов. Полученные результаты сведены в таблицу:
| ^ Номер интервала | Интервалы недовесов, г | Частоты |
|
| Выборка 1 | Выборка 2 |
||
| 1 | 0 – 10 | 3 | 5 |
| 2 | 10 – 20 | 10 | 12 |
| 3 | 20 – 30 | 15 | 8 |
| 4 | 30 – 40 | 20 | 25 |
| 5 | 40 – 50 | 12 | 10 |
| 6 | 50 – 60 | 5 | 8 |
| 7 | 60 – 70 | 25 | 20 |
| 8 | 70 – 80 | 15 | 7 |
| 9 | 80 – 90 | 5 | 5 |
Объем первой выборки был равен , а второй – .
Решение :
Обозначим и – накопленные частоты выборок 1 и 2; 
, 
– значения их эмпирических функций распределения соответственно. Обработанные результаты сведем в таблицу:
| | | | | |  |
| 10 | 3 | 5 | 0.027 | 0.050 | 0.023 |
| 20 | 13 | 17 | 0.118 | 0.170 | 0.052 |
| 30 | 28 | 25 | 0.254 | 0.250 | 0.004 |
| 40 | 48 | 50 | 0.436 | 0.500 | 0.064 |
| 50 | 60 | 60 | 0.545 | 0.600 | 0.055 |
| 60 | 65 | 68 | 0.591 | 0.680 | 0.089 |
| 70 | 90 | 88 | 0.818 | 0.880 | 0.072 |
| 80 | 105 | 95 | 0.955 | 0.950 | 0.005 |
| 90 | 110 | 100 | 1.000 | 1.000 | 0.000 |
Из последнего столбца таблицы видно, что . По формуле (9.1) получим
. Из статистических таблиц известно, что . Так как , то принимается нулевая гипотеза , т.е. недовесы покупателям описываются одной и той же функцией распределения.^
СТАТИСТИЧЕСКАЯ НЕЗАВИСИМОСТЬ И ВЫЯВЛЕНИЕ ТРЕНДА
При анализе случайных данных часто возникает ситуации, когда требуется выяснить, являются ли наблюдения или оценки параметров статистически независимыми или же они подвержены тренду. Это особенно важно при анализе нестационарных данных.
Такие исследования, обычно, проводят на основе свободных от распределений
или непараметрических методов
, в которых относительно функции распределения исследуемых данных не делается никаких предположений.
^
Критерий серий
Рассмотрим последовательность наблюдённых значений случайной величины , причём каждое наблюдение отнесено к одному из двух взаимно исключаемых классов, которые можно обозначить просто (+) или
(–). Рассмотрим ряд примеров:
В каждом из этих примерах образуется последовательность вида:
^ Серией называется последовательность однотипных наблюдений, перед и после которой следуют наблюдения противоположного типа или же вообще нет никаких наблюдений.
В приведенной последовательности число наблюдений равно ; а количество серий равно .
Если последовательность наблюдений состоит из независимых исходов одной и той же случайной величины, т.е. если вероятность отдельных исходов [(+) или (−)] не меняется от наблюдения к наблюдению, то выборочное распределение числа серий в последовательности является случайной величиной со средним значением и дисперсией:
(9.2)
(9.3)
Здесь число исходов (+), а число исходов (−), естественно . В частном случае если , то:
. (9.4)
Предположим, что есть основание подозревать наличие тренда в последовательности наблюдений, т.е. есть основание считать, что вероятность появления (+) или (−) меняются от наблюдения к наблюдению. Существование тренда можно проверить следующим образом. Примем в качестве нулевой гипотезы тренда нет, т.е. предположим, что наблюдений являются независимыми исходами одной и той же случайной величины. Тогда для проверки гипотезы с любым требуемым уровнем значимости необходимо сравнить наблюденное число серий с границами области принятия гипотезы равными и , где .
Если наблюденное число серий окажется вне области принятия гипотезы, то нулевая гипотеза должна быть отвергнута с уровнем значимости . В противном случае нулевую гипотезу можно принять.
Пример 2. ^ ПРИМЕНЕНИЕ КРИТЕРИЯ СЕРИЙ
Имеется последовательность независимых наблюдений :
| 5.5 | 5.1 | 5.7 | 5.2 | 4.8 | 5.7 | 5.0 | 6.5 | 5.4 | 5.8 |
| 6.8 | 6.6 | 4.9 | 5.4 | 5.9 | 5.4 | 6.8 | 5.8 | 6.9 | 5.5 |
Проверим независимость наблюдений, подсчитав число серий в последовательности, полученной путем сравнения наблюдений с медианой. Применим критерий с уровнем значимости .
Из анализа данных получим, что значение является медианой. Тогда введем обозначения (+) при , (–) при . Итак, получим:
В нашем примере , а область принятия гипотезы имеет вид:
.
По статистическим таблицам находим . Т.к.
