close

Вход

Забыли?

вход по аккаунту

код для вставкиСкачать
Лекция 6
Основные темы лекции.
Проверка гипотез. Выбор между двумя гипотезами. Простая и составная
(composite) гипотезы. Статистический критерий выбора гипотезы.
Ошибки 1-го и 2-го рода. Уровень значимости и мощность критерия.
Лемма Неймана-Пирсона. Отношение функций правдоподобия.
Оценка совместимости гипотезы с данными. Р-значение. Критерий
согласия Пирсона (c2).
Результаты мини-контрольной
1.
Кореньков Александр
3.0
2.
Кириченко Даниил
4.5
3.
Лелиенберг Иван
5.5
4.
Лежнёв Константин
5.0
5.
Погорелов Никита
6.
Семёнов Владимир
5.5
7.
Хмелевской Иван
5.0
8.
Чернявская Надежда
6.0
9.
Бочарников Владимир
5.0
10.
Волкова Елена
5.5
11.
Колчанова Алёна
4.5
--
Важнейшей задачей статистического анализа является:
Проверка статистических гипотез
a) удовлетворяет ли та или иная гипотеза экспериментальным данным
b) какая из рассматриваемых гипотез лучше удовлетворяет
экспериментальным данным.
Пример:
J=1
J=0
DsJ(2317)  Ds p0
J=0 c2/ndf=3/8 ; J=1 c2/ndf=38/8
J=1
J=2
DsJ(2460)  Ds* g
J=1 c2/ndf=4/8 ; J=2 c2/ndf=89/8
Гипотеза – предположение о виде или свойствах закона распределения
случайных величин, измеряемых экспериментально.
Гипотеза называется простой, если предполагается, что данные
соответствуют некоторой функции плотности вероятности (p.d.f.)
без свободных параметров. Если предполагается только функциональная
форма p.d.f., то есть имеются свободные параметры, то такая
гипотеза называется сложной (иногда составной, перевод composite).
Кроме того, часто (но не обязательно) предполагают, что имеется
нулевая гипотеза H0 (обычно утверждает, что некий эффект отсутствует)
и альтернативная гипотеза H1 – противоположная нулевой.
Проверка гипотезы основывается на вычислении некоторой случайной
величины – критерия (часто называют статистикой), точное или
приближенное распределение которого известно. Обозначим эту величину
через Z, ее значение является функцией от элементов выборки
Z=Z(x1, x2, …, xn). Процедура проверки гипотезы предписывает каждому
значению критерия одно из двух решений – принять или отвергнуть гипотезу.
Критерий делит область возможных значений данных на две области:
критическую область (отклонение гипотезы) и область принятия гипотезы.
Задача проверки гипотезы состоит в выборе тестовой статистики Z(x),
такой, что большие значения zobs ≡ Z(xobs) являются свидетельством
против гипотезы H0.
При проверке гипотезы могут быть следующие результаты:
1. Гипотеза H0 верна и её принимают согласно критерию.
2. Гипотеза H0 не верна и её отвергают согласно критерию.
3. Гипотеза H0 верна, но её отвергают согласно критерию (ошибка
первого рода, вероятность a).
4. Гипотеза H0 не верна, но её принимают согласно критерию
(ошибка второго рода, вероятность b).
Уровнем значимости a называют вероятность совершить ошибку
первого рода, то есть отклонение нулевой гипотезы, когда она верна.
Мощностью критерия называют вероятность правильного отклонения
нулевой гипотезы H0, т.е. вероятность 1-b не совершить ошибку 2 рода.
Проверка статистической гипотезы включает следующие этапы:
1. Выдвигается нулевая гипотеза H0.
2. Задаётся уровень значимости a
(в зависимости от необходимости).
3. Задаётся статистика критерия Z с известным
законом распределения.
4. Определяется критическая область (границы области).
5. Для данной выборки вычисляется значение статистики критерия.
Гипотеза принимается или отвергается.
Вообще говоря, для более эффективной проверки статистической гипотезы
может использоваться только часть статистики – то есть на статистику
налагается система отборов (cuts). Например, можно провести отборы с целью
подавления фона, если скажем нулевая гипотеза соответствует чистому фону,
а альтернативная – смесь сигнала и фона.
Базовая стратегия – выбрать фиксированное значение a, а затем
максимизировать мощность критерия.
Чтобы максимизировать мощность критерия простой гипотезы H0
относительно простой гипотезы H1, необходимо выбрать наилучшую
критическую область в пространстве значений X. Для этого критическая
область должна быть выбрана так, чтобы все X внутри критической
области удовлетворяли cоотношению:
l(x) =
f(x|H1)
f(x|H0)
=

f(xi |H1)

f(xi |H0)
≡
L (x|H1)
L (x|H0)
> Ca - лемма Неймана-Пирсона
При этом Ca выбирается таким образом, чтобы P( l(x) ≥ Ca | H0) = a
l(x) – оптимальная статистика (функция данных), КО определяется
отбором по одной переменной Ca .
Лемма Неймана-Пирсона говорит, что для простых гипотез отношение
функций правдоподобия максимизирует мощность критерия (при фикс. a).
Для случая всего одного измеренного значения х1
Предположим, что измеряется гемоглобин пациента. На основе
предыдущих данных надёжно известно распределение по вероятности
данного параметра для здоровых пациентов и больных пациентов.
Как поставить диагноз пациента на основе полученного анализа?
Ошибка первого рада - сказать здоровому пациенту, что он болен.
Ошибка второго рода – сказать больному пациенту, что он здоров.
Во-втором случае ошибка будет иметь намного более тяжёлые
последствия, хотя в первом случае тоже будет неприятно (ещё анализы).
В случае проверки двух сложных гипотез H0 и H1, функции распределения
которых зависят от параметров q0 и q1, можно определить отношение
максимального правдоподобия как
L=
max L (X, q0)
max L (X, q1)
и это отношение позволяет разделять две сложные гипотезы.
Значимость сигнала можно оценить как:
S = -2 ln ( L0 ⁄ Lmax)
где L0 и Lmax – это функция правдоподобия без сигнала и с сигналом.
На практике используются специальные методы, которые будут обсуждаться
на следующих лекциях: дискриминант Фишера, правдоподобие, нейронные
сети и др. Эти методы требуют “обучения” на соответсвующих образцах
данных.
Для определения значимости сигнала выполним фитирование гистограммы
суммой полинома (фон) и Гаусса (сигнал), а также только полиномом (фон).
Выбор между нулевой гипотезой (нет сигнала) и альтернативной (есть
cигнал) можно выполнить используя значения S или c2. Значимость
сигнала равна (предыдущий слайд) : S = 376 − 284 = 9.6 s.
Пример:
Для распределения Пуассона с гипотезой H0: l=lb (только фон)
и альтернативной гипотезой H1 : l = lb + ls (фон+сигнал) в частотном
подходе параметры равны:
a=
∞
= 
1- b =
 lb)
∞
= 
 lb + ls)
Continuum Suppression
To separate spherical BB events
from jet-like continuum events,
topological variables are used:
1) Second Fox-Wolfram moment
2) Super Fox-Wolfram
(six modified Fox-Wolfram
moments, Fisher discriminant)
3) Angle between B meson and
beam axis direction
4) Angle between thrusts of
selected B meson particles and
all other particles in event
Likelihood ratio includes all info.
A. Drutskoy
Meeting of the Division of Particles and Fields
August 26-31, 2004, Riverside
Для определения совместимости гипотезы с данными (при отсутствии
явной альтернативной гипотезы), нужно определить статистику Z таким
образом, чтобы она определяла уровень согласия между теорией и
данными.
Зная плотность распределения для статистики, можно определить
уровень согласия, как р-значение по формуле:
∞
p=
g( t | H0) dt

где t obs – это значение статистики полученное при измерении.
р-значение определяется как вероятность найти t в области равной
или меньшей совместимости с гипотезой H0, чем уровень совместимости,
полученный в эксперименте.
Наиболее широко используемая для определения согласия
статистика – это c2 (см предыдущие лекции).
~
~
2
c (q)
=

=
( yi – l (xi; q) )2
s i2
где имеется набор N измерений yi в известных точках xi. Измерения yi
имеют известные значения si и соответствуют Гауссовскому распределению
со средним значением l (xi ; q). Тогда статистика будет следовать
математическому c2 распределению с n числом степеней свободы,
которое равно n = Nmeas – Npar . Здесь Nmeas - это число измерений,
а Npar - число свободных параметров.
Критерий Пирсона или критерий c2 – получить р-значение из c2(n) - функции.
Можно также использовать для оценки согласия значение максимума
функции правдоподобия -2 ln L , однако в данном вычисление р-значения
представляет собой более сложную задачу.
Задача. Имеется случайная выборка из 36 измерений, описываемых
нормальным распределением. Полученное среднее равно  = 80.
Можно ли с надёжностью 95% подтвердить гипотезу о параметрах
нормального распределения N(75,12) ?
Задача. Имеется случайная выборка из 36 измерений, описываемых
нормальным распределением. Полученное среднее равно  = 80.
Можно ли с надёжностью 95% подтвердить гипотезу о параметрах
нормального распределения N(75,12) ?
Norm (0.975) = 1.96
Задача. Имеется случайная выборка из 36 измерений, описываемых
нормальным распределением. Полученное среднее равно  = 80.
Можно ли с надёжностью 95% подтвердить гипотезу о параметрах
нормального распределения N(75,12) ?
Norm (0.975) = 1.96
Z = (80 - 75) / (12 / 36 ) = 2.5
Поскольку 2.5 > 1.96 , то гипотеза отвергается.
Каким должно быть распределение по вероятности гипотез
H0 и H1 чтобы выбрать гипотезу H1 ?
0
1
0
1
0
1
0
1
0
1
0
1
P-values
Как видно из предыдущего слайда, р-значения могут быть
также использованы для выбора между гипотезами.
Что лучше – отношение функций правдоподобия или р-значение
для разделения гипотез?
Вообще говоря эти методы каждый имеет свои преимущества:
отношение функций правдоподобия лучше разделяет гипотезы
(то есть когда мы ожидаем, что одна из гипотез верна), а метод
р-значений позволяет оценить согласие гипотезы с данными
(при этом возможно, что ни одна из гипотез не соответствует
данным).
Как проводится выбор гипотезы в Байесовском подходе?
Применяя теорему Байеса:
P(A|B) = P(B|A) P(B) / P(A)
к теорическим параметрам и экспериментальным данным:
P(teor |data) = L(data|teor) p (teor) / P(data)
Вводим приор для гипотезы i :
p (teor) = p (Hi , qi ) = P(Hi ) p (qi , Hi )
где P(Hi ) – это априорная вероятность гипотезы, а p (qi , Hi ) – это
априорные вероятностные распределения для параметров. Тогда
P (Hi |x)
P (Hk |x)
=
∫ L ( x | qi , Hi ) p (qi , Hi ) dq i
∫ L ( x | qk , Hk ) p (qk , Hk ) dqk
˟
P(Hi )
P(Hk )
Обычно пренебрегают последним фактором (отношение априорных
вероятностей гипотез) и гипотезы разделяются используя отношение:
∫ L ( x | qi , Hi ) p (qi , Hi ) dq i
=
Bik
∫ L ( x | qk , Hk ) p (qk , Hk ) dqk
которое является отношением функций правдоподобия с учётом
априорных распределений вероятностей теоретических параметров.
1/--страниц
Пожаловаться на содержимое документа