Выберем уровень  вероятности ε, ε > 0. Условимся считать событие практически невозможным, если его вероятность меньше ε. Когда речь идет о проверке гипотез, число е называют уровнем значимости.

Выберем событие  А, вероятность которого при гипотезе меньше X, т.е. Р(А ‌ Н) < ε. (Если Н — сложная гипотеза, то меньше е. должны быть все возможные при Н значения вероятности А.) Правило проверки Н теперь таково:

На  основании эксперимента мы отвергаем гипотезу Н на уровне значимости е, если в этом эксперименте произошло событие А.

Таким образом, уровень значимости есть вероятность  ошибочно отвергнуть гипотезу, когда она верна.

Определение. Событие А называется критическим для гипотезы Н, или критерием для Н. Если Р(А \ Н) < ε, то ε называют гарантированным уровнем значимости критерия А для Н.

Теперь обсудим  вопрос о том, как следует выбирать критическое 
событие. Далеко не всякое маловероятное при гипотезе событие целесообразно использовать для ее проверки. Например, если это событие.  
имеет одну и ту же вероятность и при соблюдении, и при несоблюдении гипотезы, то информация о том, произошло событие или нет, не даст!нам ровно никаких сведений о гипотезе. Поэтому при выборе события ;А следует принимать во внимание вероятность этого события не только: при соблюдении гипотезы, но и при ее несоблюдении.

На практике нас, однако, обычно интересуют не все  возможные > «несоблюдения» гипотезы Н, а лишь некоторые. Во-первых, обычно у  наблюдаемого явления х имеются или предполагаются некоторые свойства, которые выполняются и при соблюдении, и при несоблюдении Н, что ограничивает круг возможных распределений при несоблюдении Н. Во-вторых, нас могут интересовать некоторые специфические (например, наиболее часто встречающиеся) нарушения Н, и мы можем захотеть построить правило проверки Н, «чувствительное» именно к этим видам отклонений. Поэтому при проверке статистических гипотез рассматривают не только множество распределений на X, допустимых при выполнении Н, но и указывают множество Н’ распределений на X, которые мы рассматриваем в качестве «альтернативы» гипотезе Н.

Определение. Распределения, с которыми мы можем встретиться в случае нарушения Н, называют альтернативными распределениями, или альтернативами. (Иногда говорят также о конкурирующих распределениях, и о конкурирующих гипотезах.)

Выбор критического события. Теперь вернемся к вопросу выбора критического события А. Идеальным было бы найти для проверки Н такое событие, которое не может произойти при гипотезе и обязательно происходит при альтернативе: появление (непоявление) такого события было бы наилучшим индикатором для Н. Прекрасно подошло бы и такое критическое событие, вероятность которого близка к 0 при гипотезе и близка к 1 при альтернативе. Однако существование такого события возможно не всегда. Например, при проверке гипотезы о том, что некоторый параметр распределения равен а, против альтернативы о том, что он не равен а, такого события указать нельзя, поскольку при приближении параметра распределения к а вероятность любого события будет приближаться к тому значению, которое она имела бы при параметре, равном а. В подобных случаях приходится довольствоваться меньшим: в качестве критического выбирают событие, вероятность (вероятности — если гипотеза сложная) которого (малая при гипотезе) увеличивается по мере удаления распределения от гипотетического (гипотетических).

В некоторых  случаях эту мысль удается  осуществить в виде выбора оптимального критического множества заданного уровня значимости. Именно так обстоит дело для многих широко используемых статистических моделей. Например, в схеме Бернулли для некоторых практически важных гипотез и альтернатив существуют наилучшие (наиболее мощные) критерии. Но в целом такие удачи редки. Теоретиками предлагались многие идеи, как рационально выбирать критические множества. Но удовлетворительного общего решения этой проблемы нет

Статистики  критериев. Обычно для построения критического множества используется следующий подход. Пусть Т — некоторая функция на множестве X, принимающая числовые значения. Мы будем называть Т статистикой критерия. Как правило, статистику Т выбирают таким образом, чтобы ее распределения при гипотезе и при альтернативе как можно более различались (в случае, если множества распределений Н и Н’ «касаются» друг друга — чтобы различие в распределениях Т было как можно большим по мере удаления истинного распределения наблюдений от гипотетического). При таком выборе статистики Т обычно некоторые значения Т (например, слишком большие или слишком малые) являются нетипичными при гипотезе и типичными при альтернативе. Поэтому для построения критического множества А выбирают некоторое множество вещественных чисел А’ (множество «нетипичных» при гипотезе значений статистики Т), и полагают множество А как

Это множество  будет критическим для гипотезы на уровне тахр_енР(А). Поскольку множество А полностью определяется по А', множество А' тоже называют критическим.

Читатель может  подумать, что мы не продвинулись ни на шаг вперед: вместо выбора критического множества А надо выбирать критическое множество А'. Но дело в том, что обычно множество A’ устроено очень просто. Например, если статистика критерия Т выбрана так, что она принимает небольшие значения при гипотезе и большие — при альтернативе, то множество А’ следует выбирать как {у \ у ≥ а}, где а — некоторое число. При другом поведении статистики Т множество А' может быть устроено по-другому, например {у \ у≤ а} или {у \ y ≤ а или у ≥ b}.

Ошибки  первого и второго  рода. При проверке статистических гипотез возможны ошибочные заключения двух типов:

• отвержение гипотезы в случае, когда она на самом деле верна;
• неотвержение (принятие) гипотезы, если она на самом деле 
  неверна.

Эти возможности называются соответственно ошибками первого рода и ошибками второго рода.

Из-за различного подхода к гипотезе и альтернативе, наше отношение к ошибками первого и второго рода также неодинаково. При . построении статистических критериев мы фиксируем максимальную допустимую вероятность ошибки первого рода (то есть уровень значимости критерия), и стремимся выбрать критическое множество таким образом, чтобы минимизировать вероятность ошибки второго рода (или хотя бы сделать так, чтобы эта вероятность была как можно меньше по мере удаления истинного распределения от гипотетического или гипотетических).

Мощность  критерия. Обозначим через β вероятность ошибки второго рода статистического критерия. Если альтернативная гипотеза является сложной, то эта вероятность, естественно, зависит от выбора конкретного альтернативного распределения. Если мы рассматриваем альтернативы из какого-либо параметрического семейства распределений Р_θ, значение (β также можно считать функцией отθ .

Величину 1 - β обычно называют мощностью критерия. Ясно, что мощность критерия может принимать любые значения от 0 до 1. Чем ближе мощности критерия к единице, тем более эффективен (более «мощен») критерий. Многие известные статистические критерии получены путем нахождения наиболее мощного критерия при заданных предположениях о гипотезе и альтернативе.

Примеры статистических моделей и гипотез.Покажем на примерах, как может проходить математическая формализация практических задач и как сформулированные на естественном языке вопросы превращаются в статистические гипотезы.

Тройной тест. Рассмотрим распространенный в психологии тройной тест (его другое название — тест дегустатора). Он состоит из серии одинаковых опытов, в каждом из которых испытуемому предъявляют одновременно три стимула. Два из них идентичны, а третий несколько отличается. Испытуемый, ориентируясь на свои ощущения, должен указать этот отличающийся стимул. Например, испытуемому могут быть предложены три стакана с жидкостью: два с чистой водой, а третий — со слабым раствором сахара, либо наоборот — два стакана подслащенных, а третий — с чистой водой. Задание для испытуемого — указать стакан, отличающийся от двух других.

Опыты стараются  организовать так, чтобы они проходили  в одинаковых условиях и чтобы в каждом из них испытуемый мог полагаться только на свои ощущения. В результате подобного однократного эксперимента можно получить как правильный, так и неправильный ответ.

НАЧАЛА  ТЕОРИИ ОЦЕНИВАНИЯ

Что такое оценивание. Статистика имеет дело с данными, подверженными случайной изменчивости. Их поведение может характеризоваться законом распределения вероятностей, если данные являются выборкой, или более сложными моделями (факторными, регрессионными и т.п.), если данные неоднородны. Эти законы распределения вероятностей и модели, как правило, содержат неизвестные величины (параметры) — среднее значение, дисперсию, вклады факторов, коэффициенты функциональных зависимостей и т.п. Исследователя обычно интересуют либо сами эти параметры, либо некоторые заранее известные функции от них. К сожалению, в силу случайной изменчивости наблюдаемых данных, нельзя, основываясь только на них, указать совершенно точное значение параметров. Приходится довольствоваться лишь приближенными значениями. Термин «оценить» в статистике означает «указать приближенное значение».

Определение. Оцениванием в статистике называется указание приближенного значения интересующего нас параметра (или функции от некоторых параметров) на основе наблюдаемых, данных. Оценка — это правило вычисления приближенного значения параметра (или функции от некоторых, параметров) по наблюдаемым данным.

Примеры оценок. Мы уже сталкивались с наиболее простыми и распространенными оценками. Так, выборочное среднее является оценкой среднего распределения случайной величины, породившей выборку, выборочная дисперсия является оценкой дисперсии этого распределения и т.д.

Требования  к оценкам. Методов для определения приближенного значения параметра (то есть оценок этого параметра) можно придумать великое множество. Поэтому при построении оценок и выборе их для практического применения к оценкам предъявляются определенные требования, например, требования точности (близости к истинному значению параметра), несмещенности (чтобы математическое ожидание оценки было равно истинному значению параметра), состоятельности (чтобы при увеличении числа наблюдений оценка сходилась по вероятности к истинному значению параметра) и т.д.

Замечание. К сожалению, наилучших во всех отношениях оценок не бывает. Например, оценка, замечательно ведущая себя при некоторых предположениях об исходных данных, при отклонениях от этих предположений может приводить к сильно искаженным результатам. Например, выборочное среднее — широко распространенная оценка среднего распределения по выборке, — обладает многими свойствами оптимальности для нормально распределенных выборок, но очень плохо реагирует на наличие в выборке выбросов, то есть резко выделяющихся значений (обычно они порождены грубыми ошибками в измерениях и иными причинами). Поэтому в последнее время интенсивно развиваются методы устойчивого (робастного) оценивания. Главная задача этих методов — получение надежных и эффективных оценок, пригодных для ситуаций, когда данные отклоняются от моделей выборок, содержат засорения или грубые наблюдения.

Теорема Бернулли дает возможность приближенной оценки вероятности, если для интересующего нас события А можно проводить независимые повторные испытания.

Теорема Бернулли. Пусть в каждом из n испытаний вероятность р = Р(А) события А остается неизменной и результат каждого испытания независим от остальных. Обозначим через S случайное число тех испытаний (из общего числа n), в которых произошло событие А. Обычно кратко говорят, что S — число «успехов» в n испытаниях Бернулли. Теорема Бернулли утверждает, что при большом п относительная частота S/n события А приближенно равна вероятности события А, т.е. S/n ≈ р, где р = Р(А).

Вероятностный предел. Рассмотрим теперь, что означает использованное в формулировке теоремы Бернулли выражение «приближенно равно при больших n». Читатель, знакомый с математическим анализом, мог уже переформулировать это утверждение в привычную форму: если n→∞, то S/n → р, где S — число появлений события А в п независимых испытаниях. В теории вероятностей и статистике такие обозначения также используются весьма широко. Однако понятие предела толкуется здесь, как правило, в своем, особом смысле, отличном от того, который вкладывается в него в математическом анализе.