Формула Байеса

Зачем это нужно

Человек сдал анализ на редкую болезнь, и тест оказался положительным. Тест «точный на 90 %». Значит ли это, что человек болен с вероятностью 90 %? Нет — и правильный ответ удивляет даже многих врачей: всего около 15 %. Такие задачи о том, как пересмотреть свои оценки после получения новых данных, решает формула Байеса. На ней основаны медицинская диагностика, спам-фильтры, поиск пропавших кораблей и самолётов, распознавание речи и многие методы машинного обучения.

Априорные и апостериорные вероятности

Пусть $H_1, \ldots, H_n$ — полная группа гипотез, а $A$ — событие, которое мы наблюдали.

• $P(H_i)$ — априорная вероятность гипотезы (до наблюдения);
• $P(H_i \mid A)$ — апостериорная вероятность (после наблюдения).

Формула Байеса:

$P(H_i \mid A) = \frac{P(H_i)\,P(A \mid H_i)}{P(A)},$

где знаменатель $P(A)$ находится по формуле полной вероятности. Смысл простой: апостериорная вероятность гипотезы — это доля её пути на дереве среди всех путей, ведущих к наблюдённому событию.

Вывод. По правилу умножения $P(A \text{ и } H_i) = P(H_i)\,P(A \mid H_i) = P(A)\,P(H_i \mid A)$. Остаётся разделить на $P(A)$.

Медицинский тест

Разобранный пример 1

Болеет 1 % людей. У больного тест положителен с вероятностью 0,9, у здорового ошибочно положителен с вероятностью 0,05. Тест положителен. Какова вероятность болезни?

Способ «тысяча человек».

1. Из 1000 человек больны 10. Из них тест положителен у 9.
2. Здоровы 990. Ложноположительный тест у $990 \cdot 0{,}05 \approx 50$.
3. Положительных всего $9 + 50 = 59$, больных среди них 9: $P \approx \frac{9}{59} \approx 0{,}15$.

По формуле. $P(+) = 0{,}01 \cdot 0{,}9 + 0{,}99 \cdot 0{,}05 = 0{,}0585$, $P(\text{болен} \mid +) = \frac{0{,}009}{0{,}0585} \approx 0{,}154$.

Почему так мало? Здоровых в 99 раз больше, и даже редкие ошибки на них дают больше положительных тестов, чем все больные. Поэтому при положительном скрининге назначают повторный анализ.

Разобранный пример 2 (повторный тест)

Тот же человек сдаёт второй, независимый тест, и он снова положителен. Какова теперь вероятность болезни?

Теперь априорная вероятность — 0,154 (результат первого шага):

$P = \frac{0{,}154 \cdot 0{,}9}{0{,}154 \cdot 0{,}9 + 0{,}846 \cdot 0{,}05} \approx \frac{0{,}138}{0{,}181} \approx 0{,}77.$

Каждое новое наблюдение уточняет оценку: апостериорная вероятность одного шага становится априорной для следующего.

Разобранный пример 3 (заводы)

Заводы выпускают 50 %, 30 % и 20 % лампочек с браком 1 %, 2 % и 3 %. Купленная лампочка бракованная. Какова вероятность, что она с третьего завода?

$P(\text{брак}) = 0{,}017$ (формула полной вероятности), $P(H_3 \mid \text{брак}) = \frac{0{,}2 \cdot 0{,}03}{0{,}017} = \frac{0{,}006}{0{,}017} \approx 0{,}35$. Доля третьего завода среди бракованных ламп заметно больше, чем его доля в выпуске (20 %).

Разобранный пример 4 (две монеты)

В кармане обычная монета и монета с двумя орлами. Наугад достали одну, бросили — выпал орёл. Какова вероятность, что монета фальшивая?

$P = \frac{0{,}5 \cdot 1}{0{,}5 \cdot 1 + 0{,}5 \cdot 0{,}5} = \frac{0{,}5}{0{,}75} = \frac{2}{3}$.

Метод таблицы гипотез

Удобно оформлять решение таблицей:

Последний столбец всегда даёт в сумме 1 — это проверка.

Байес вокруг нас

Спам-фильтр. Слово «выигрыш» встречается в 40 % спам-писем и лишь в 1 % обычных. Пусть спамом является половина всей почты. Если в письме есть это слово, вероятность спама равна $\frac{0{,}5 \cdot 0{,}4}{0{,}5 \cdot 0{,}4 + 0{,}5 \cdot 0{,}01} \approx 0{,}98$. Фильтр учитывает сотни слов сразу и постоянно обновляет свои оценки на новых письмах.

Поиск пропавших. Когда ищут затонувший корабль или самолёт, район делят на квадраты и каждому приписывают вероятность. После безрезультатного обследования квадрата его вероятность по формуле Байеса уменьшается, а у остальных растёт. Так в 1968 году нашли американскую подводную лодку «Скорпион», а в 2011-м — обломки самолёта рейса Air France 447.

Суд и здравый смысл. Улика «подходит к подозреваемому» не означает, что он виновен с той же вероятностью: важно, сколько ещё людей подошли бы под эту улику. Путаницу между $P(\text{улика} \mid \text{невиновен})$ и $P(\text{невиновен} \mid \text{улика})$ называют «ошибкой прокурора».

Немного истории

Формулу нашёл английский священник и математик Томас Байес; его работа опубликована после смерти, в 1763 году. Пьер-Симон Лаплас развил идеи Байеса и применял их в астрономии и демографии.

Типичные ошибки

• Путать $P(A \mid H)$ («точность теста») и $P(H \mid A)$ («вероятность болезни при положительном тесте»).
• Игнорировать априорную вероятность (редкость болезни).
• Забывать считать знаменатель по формуле полной вероятности.
• Получать апостериорные вероятности, которые в сумме не дают 1.
• Считать, что повторный тест ничего не меняет.

Что дальше

• Формула полной вероятности — формула полной вероятности, нужная для знаменателя.