1.3 Выявление грубых ошибок в выборке. Исключение аномальных значений

Методы робастного оценивания - это статистические методы, которые позволяют получать достаточно надежные оценки статистической совокупности(См.[6]).

Единицы статистической совокупности, у которых значения анализируемого признака существенно отклоняются от основного массива, называются аномальными явлениями, «грубыми ошибками» или выбросами.

При решении задач статистического анализа проблема наличия в выборке аномальных измерений имеет чрезвычайно важное значение. Присутствие единственного аномального наблюдения может приводить к оценкам, которые совершенно не согласуются с выборочными данными.

Для данных индексов построим точечный график (Рисунок 7). В ходе визуального анализа выявляем наличие в выборке аномальных значений (выбросов).

Рисунок 7. Точечный график

Самым простым методом обнаружения грубых ошибок считается метод, на основании Т - Критерия Граббса:

, где (1.4)

- среднее значение, x - аномальное значение, s - выборочное среднеквадратическое отклонение СВ.

Данный критерий можно использовать для выделения аномальных результатов измерений только в случае нормального закона.

Так как выборка распределена нормально, мы можем найти Тк, и проверить наличие грубых ошибок в выборке.

Результаты расчетов по выборке представлены на Рисунке 8:

Рисунок 8.Результаты вычисления

Полученные значения сравнивают с табличными значениями процентных точек критерия Смирнова Граббса (Таблица 1). В том случае, если >, мы может утверждать, что проверяемое значение является грубой ошибкой и относится к классу выбросов.

Таблица 1. Значения процентных точек критерия Смирнова Граббса

Сравним полученные значения с табличным (при = 0,01) при числе наблюдений равном 48, а Ткр = 0,5789.

Так как Тк(1) =1,9> = 0,5789, то проверяемое значение является грубой ошибкой и относится к классу выбросов.

Аналогично Тк(2) =3,33> = 0,5789, что подтверждает, что рассматриваемое значение является аномальным значением.

Критерий Граббса имеет некоторые недостатки. Он не точен, и не чувствителен к засорениям, когда ошибки группируются на расстоянии от общей совокупности.

Далее подтвердим наличие грубых ошибок на основании L- критерия Титьена-Мура (См.[9]).

Решающее правило для исключения k наибольших членов вариационного ряда основано на статистике:

, где (1.5)

Воспользовавшись формулами, было найдено значение L-критерия Титьена-Мура для рассматриваемой выборки (Рисунок 9)

Рисунок 9. Значение L-критерия Титьена-Мура

Сравниваем полученное значение с критическим пределом (Таблица 2). При наличии выбросов статистика Lk должна быть меньше критического предела. В данном случае Lk = 0,67887 <Cкр = 0,696, что подтверждает наличие аномальных значений в выборке (См.[9]).

Таблица 2. Критические значения оценки для L - критерия Титьена и Мура (a=0,05)

Для избавления от выбросов изменим данные доходностей, исключим значение 0,076594461 и -0,125593848, что приведет к нормальному распределению.

Гистограмма при этом теперь имеет вид (Рисунок 10):

Рисунок 10.Гистограмма