close

Вход

Забыли?

вход по аккаунту

код для вставкиСкачать
Лекция 7
Основные темы лекции.
Доверительная вероятность и доверительный интервал. Способы выбора
интервала. Частотный подход Неймана. Доверительный интервал для
нормального распределения. Интервал доверия в распределении
Пуассона: частотный и Байесовский подходы. Доверительный интервал
для значений параметра вблизи физической границы.
Получение интервалов доверия из экспериментальных данных.
Имеется набор экспериментальных данных X = (x1, x2, . . . , xn) случайной
величины x, распределенной с известной плотностью вероятности f (x | θ ),
где θ = (θ1, θ2, … , θm) – параметры теории, описывающие распределение.
Задача состоит в том, чтобы на основе имеющегося набора данных оценить
значения параметров θ* = (θ1*, θ2*, … , θm* ) и получить интервалы доверия
параметров [θlow* ; qup*], соответствующие доверительной вероятности 1 – a.
Метод максимального правдоподобия и метод наименьших квадратов
рассматривались в предыдущих лекциях. Они позволяют получить
среднее m и среднестатистическое отклонение s, то есть сделать
оценку параметра и получить интервал, соответствующий ~ 68%
доверительной вероятности 1- a (можно получить оценку и для других a ).
Доверительный интервал во многих случаях может быть важнее, чем
оценка. Он позволяет делать выбор, строить стратегию, ограничить
потенциальные теории, получить информацию при отсутствии сигнала ...
Вообще говоря, интервал доверия несколько отличается по смыслу в
частотном и Байесовском подходах. В частотном подходе интервалы
доверия, полученные в бесконечном числе подобных экспериментов
накроют истинное значение параметра с вероятностью 1-a . В
Байесовском подходе интеграл плотности вероятности параметра
в доверительном интервале равен 1-a .
Обычно значение a выбирают равным 0.1 или 0.05, изредка 0.01
Как выбрать интервал? Вообще говоря, имеется значительная свобода
в способе выбора интервала. Наиболее распространены такие способы:
1.
2.
3.
4.
5.
Верхнее значение равно бесконечности – нижний предел.
Нижнее значение равно минус бесконечности (или 0) – верхний предел.
Интервал симметричен относительно среднего значения.
Вероятности вне интервала снизу и сверху равны a/2.
Интервал минимален.
Обычно желательно, чтобы среднее значение находилось внутри
интервала. Картина принципиально меняется вблизи физической
границы на параметр (например число событий не может быть
меньше нуля, модуль синуса всегда меньше единицы и т.д.).
В частотном подходе Неймана задача решается следующим образом. С
помощью функции распределения F(x|q) можно найти такие функции
x1 (q,a) и x2 (q,a) , что справедливо равенство:
P(x1 < X < x2 | q) = 1 – a =


Получая значения интервала для
фиксированных значений q в
некотором ожидаемом диапазоне
для q (рисунок), получаем
доверительную область
(confidence belt) D(a).
Измерив значение X получим
конкретное значение x0. Тогда
получаем интервал доверия для
параметра q, проведя вертикаль
через значение x0 и найдя область
пересечения с областью D(a).
f (x |q ) dx
Доверительный интервал для нормального распределения.
Нормальное распределение может быть получено при измерении
параметра (например массы частицы) или как результат подгонки
методом максимального правдоподобия или наименьших квадратов.
В данном случае мы хотим получить доверительный интервал для
центрального значения, соответствующий a = 0.1. Заметим, что
это значение соответствует s = 1.64. На рисунке показан двусторонний
интервал.
Как легко видеть, односторонний интервал
[-∞ , 1.64s ] будет соответствовать a = 0.05.
Это верхний предел для нормального
распределения для a = 0.05. Если мы
потребуем a = 0.1, то верхний предел
будет ниже.
Аналогично можно получить нижний
предел для данного распределения.
Интервал доверия в частотном подходе для распределения Пуассона
В частотном подходе получение верхнего и нижнего предела в
случае распределения Пуассона сводится к решению неравенств:
P(n ≤ nobs | l ) ≡
_
= (n
| l) ≥ a
Откуда получаем верхний предел l ≤ l up (nobs, a) .
Аналогично
P(n ≥ nobs | l ) ≡
∞
=_
(n | l) ≥ a
Откуда получаем нижний предел l ≥ l low (nobs, a) .
Отметим часто используемые пределы в частотном подходе с 1- a = 0.9 :
l low(0) = 0
l low(1) = 0.105
l up(0) = 2.30
l up(1) = 3.89
Существуют детальные таблицы, где все пределы посчитаны, см.
G. Feldman, R. Cousins, Phys.Rev. D57, 3873-3889,1998
Интервал доверия в Байесовском подходе для распределения Пуассона
В общем виде в Байесовском подходе можно использовать постериорную
функцию распределения вероятностей для получения интервала доверия:
1–a =
θ_
θ_
p (q | x ) dq
где в случае Пуассоновского распределения x = nobs
Байесовская постериорная вероятность p (q |nobs ) = P(nobs|q ) P(q )
должна быть отнормирована на единицу и включает приор P(q ).
Легко показать, что верхний предел в Байесовском подходе совпадает
с частотным пределом при P(q ) = const , а нижний предел совпадает
с частотным пределом при приоре P(q ) = const / q
Выбор Байесовского приора вносит существенную неоднозначность.
С другой стороны Байесовский приор легко интегрирует систематическую
погрешность (следующая лекция).
Как получить оценку верхнего предела в Байесовском подходе, для
значения 1- a = 0.9, предполагая плоский приор, если наблюдается
3 события, а распределение пуассоновское ?
Байесовская постериорная вероятность p (q |nobs ) = P(nobs|q ) P(q )
P (n | m) =
mn e- m
n!
Как получить оценку верхнего предела в Байесовском подходе, для
значения 1- a = 0.9, предполагая плоский приор, если наблюдается
3 события, а распределение пуассоновское ?
Байесовская постериорная вероятность p (q |nobs ) = P(nobs|q ) P(q )
P (n | m) =
mn e- m
n!
P (3 | m) =
m3 e- m
3!
1–a =
θ_
θ_
p (q | x ) d q
m* ≈ 6.6
Как получить оценку верхнего предела в Байесовском подходе, для
значения 1- a = 0.9, предполагая имеющийся приор, если наблюдается
3 события, а распределение пуассоновское ?
Приор - гауссовское распределение, параметр был измерен (m* = 4.0 ± 1.5).
Байесовская постериорная вероятность p (q |nobs ) = P(nobs|q ) P(q )
P (n | m) =
mn e- m
f (x | m, s 2) =
n!
Пуассон
n0=3
Гаусс
4.0 ;1.5
1
s 2p
e
-
1
2
(x – m ) 2
s2
F=P*G
m* ≈ 5.3
Доверительный интервал для значений параметра вблизи физической границы.
Важным моментом при построении доверительного интервала является
учёт разрешённой физической области параметра. В некоторых случаях
это будет значительно менять интервал при использовании Байесовского
подхода.
Предположим, методом максимального правдоподобия мы получили
оценку числа сигнальных событий N = 7 и значение погрешности s = 7.
Распределение нормальное. Найти верхний предел для a = 0.05.
Предположим, методом максимального правдоподобия мы получили
оценку числа сигнальных событий N = -7 и значение погрешности s = 7.
Распределение нормальное. Найти верхний предел для a = 0.05.
a
b
a
0.3137
4.55 x 10-2
2.7 x 10-3
6.3 x 10-5
5.7 x 10-7
2.0 x 10-9
1s
2s
3s
4s
5s
6s
0.2
0.1
0.05
0.01
0.001
0.0001
b
1.28s
1.64s
1.96s
2.58s
3.29s
3.89s
При измерении числа событий, распределённых по Пуассону,
получили 3 события. Оценка фона даёт 4 события. Как получить
верхний предел для сигнала, соответствующий a = 0.05. Предполагается,
что l = lb + ls (фон+сигнал), метод расчёта – Байесовский, приор –
константа.
Вообще говоря, учёт физической области и учёт систематической
погрешности для оценки значимости и построения интервала –
наиболее сложные (при этом часто встречающиеся) задачи при
обработке физических результатов.
Доверительный интервал и значимость сигнала также корректируются
при поиске сигнала с неизвестным средним в интервале – так
называемый “look elsewhere” эффект.
1/--страниц
Пожаловаться на содержимое документа