5  Элементы теории вероятности

Вероятность интуитивно

Мы будем много бросать монетки и кубики — это два главных «лабораторных животных» теории вероятности. И начнем с того, что интуитивно вероятность — штука простая. Проверьте себя, ответив на несколько вопросов про шестигранный кубик:

  • Каков шанс “выбросить” 1?
  • Каков шанс выбросить 1 или 2?
  • Каков шанс выбросить 1, 2, 3, 4, 5, или 6?
  • Каков шанс выбросить 7?
  • Каков шанс выбросить не 2?
  • При броске двух кубиков: каков шанс выбросить две 1?

Ответы:

  • Каков шанс “выбросить” 1? Ответ: \(1/6\)
  • Каков шанс выбросить 1 или 2? Ответ: \(1/3\)
  • Каков шанс выбросить 1, 2, 3, 4, 5, или 6? Ответ: \(1\)
  • Каков шанс выбросить 7? Ответ: \(0\)
  • Каков шанс выбросить не 2? Ответ: \(5/6\)
  • При броске двух кубиков: каков шанс выбросить две 1? Ответ: \(1/36\)

Скорее всего, вы ответили правильно на большинство вопросов, даже не зная формальных определений. Задача этой главы — превратить эту интуицию в аккуратный математический язык, на котором мы дальше будем строить всю статистику.

Вероятность - это здравый смысл, сведенный к исчислению (Лаплас)

Случайное событие и вероятностная модель

Кайрат каждый день заходит в кафе за кофе. Иногда ему приходится стоять в очереди. Число людей в очереди — пример случайного явления: их может быть 0, 1, 2, 3 и т.д., и заранее Кайрат этого не знает.

Случайное событие (random phenomenon) - это любая ситуация, в которой некий результат может произойти, но мы не знаем наверняка какой именно. Бросок монетки или кубика, случайно взятый ИИН из базы физических лиц, бросок дротика в мишень — все это случайные события. Теория вероятности дает математическое описание таких ситуаций, и это описание называется вероятностной моделью.

Вероятностная модель — это математическое описание случайного события. Состоит из трех основных элементов:

  1. Случайное событие. Результат случайного события называется наблюдением (observation) или испытанием (trial): “Мы бросили монетку два раза” = “У нас два наблюдения/испытания”
  2. Множество возможных результатов случайного события — Пространство исходов (Sample Space или Support). Обозначается \(\Omega\).
  3. Некое правило, которое каждому исходу назначает вероятность - Распределение вероятности

Разберем эти элементы по очереди.

Случайная переменная

Иногда, когда случайное событие выражено каким-нибудь численным результатом, мы будем говорить о случайной переменной (random variable). Настоящая разница между случайными событиями и случайными переменными более нюансирована, но нам, на первых порах, хватит и такого вот грубого разграничения. Случайные переменные обычно обозначают заглавными латинскими буквами, например \(X\) или \(Y\).

  • \(X\) может обозначать результат броска монеты

  • \(Y\) результат броска кубика

  • \(U\) может обозначать число ДТП в Астане в случайно выбранный день

  • \(X\) и \(Y\) могут быть координатами броска дротика в квадратную мишень

Пространство исходов

Случайная переменная, очевидно, может принимать какие-то значения. С точки зрения организации было бы удобно перечислить эти возможные значения явным образом (чтобы заранее было понятно, что может произойти, а что нет). Такой список возможных значений назвали Пространством исходов (Sample Space), и поскольку это ключевой элемент любой случайной переменной, ему еще выделили особый символ, греческую букву \(\Omega\) (Омега).

Технически, Пространство исходов - это множество (в математическом смысле), и для его описания используют специальный, церемониальный язык теории множеств. Нам не обязательно знать его детально, достаточно понимать несколько ключевых “фраз”. Например, если бы я хотел формально выразить, что бросок монетки может закончиться орлом или решкой, я бы написал что-то в духе

\(\Omega = \{Орел, Решка\}\), или чуть точнее, что \(X \in \{Орел, Решка\}\). В первом случае, я говорю, что мое пространство исходов равно множеству из двух элементов, “орла” и “решки”; фигурными скобками \(\{..\}\) принято обозначать множества. Во втором случае, я уточняю, что у меня есть случайная переменная, которая может принимать значения из множества \(\{Орел, Решка\}\). Символ \(\in\) на языке теории множеств значит “принадлежит”, т.е. является частью.

Пространства исходов прочих случайных событий и переменных мы могли бы выразить как-то так:

  • Для кубика: \(\Omega = \{1, 2, 3, 4, 5, 6\}\), или \(Y \in \{1, 2, 3, 4, 5, 6\}\)
  • Для числа ДТП в Астане в случайный день: \(\Omega = \mathbf{Z}^{+}\), или \(U \in \mathbf{Z}^{+}\)
  • Для броска дротика: \(\Omega = \{(x, y)| 0 \leq x,y \leq 1\}\), или \((X,Y) \in \{(x, y)| 0 \leq x,y \leq 1\}\)

Исход и событие

Дальше нам понадобится разграничение, которое поначалу кажется педантизмом, но быстро окупается.

  • Исходом (outcome) называется конкретное значение, которое может принять случайная переменная. Исход - это один элемент Пространства исходов (\(\Omega\)). Мы обозначаем их строчными буквами \(x\) или \(y\)
    • Например, для кубика \(X = 1\) значит, что при броске выпала единица
  • Событие (Event) - это любое подмножество Пространства исходов: \(A \subset \Omega\). События обозначаются заглавными буквами.

Событие может состоять из одного исхода, например \(A = \{Орел\}\), но может состоять и из множества исходов. Например, рассмотрим два броска монетки и событие \(A\): орел при первом броске. Это событие состоит из двух исходов: \(A = \{ОО, ОР\}\). Полезная метафора: исходы — как атомы (элементарные частицы), события — как молекулы (могут состоять из множества атомов).

Операции над событиями

Поскольку события - это множества, с ними можно делать все, что можно делать с множествами.

Объединением событий, \(\mathbf{A} \cup \mathbf{B}\), называется множество всех исходов, которые удовлетворяют либо \(A\), либо \(B\) — логическое ИЛИ:

\[A \cup B = \{x|x \in A \textrm{ ИЛИ } x \in B\}\]

Пересечением двух событий, \(\mathbf{A} \cap \mathbf{B}\), называется множество всех исходов, которые удовлетворяют одновременно и \(A\), и \(B\) — логическое И:

\[A \cap B = \{x|x \in A \textrm{ И } x \in B\}\]

Пример. Событие \(A\) - случайный пассажир автобуса оказался беременной женщиной; событие \(B\) - случайный пассажир оказался пенсионером. Тогда объединение \(A\cup B\) - это человек, которому можно сидеть на местах для беременных или пенсионеров. А пересечение \(A \cap B\) будет соответствовать беременному пенсионеру.

Нам также понадобится отрицание события, то есть событие, которое состоит в том, что некое изначальное событие не произошло. Его обозначают \(А^c\) и называют дополнением \(А\) — потому что \(А^c\) дополняет \(А\) до всего пространства исходов: \(А^c \cup A = \Omega\). Например, если \(A\) - в Астане утром идет снег, а \(B\) - пробки выше 8 баллов, то \(A^c \cup B\) - в городе нет снега ИЛИ есть пробки.

Пересекающиеся и непересекающиеся события

Бросаем монетку два раза и определим 3 события:

  • A: орел в первом броске: \(\{ОО, ОР\}\)
  • B: решка во втором броске: \(\{ОР, РР\}\)
  • C: решка в первом броске: \(\{РО, РР\}\)

Тогда \(A \cup B = \{ОО, ОР, РР\}\), а \(A \cap B = \{ОР\}\). Но вот \(A \cup C = \{ОО, ОР, РО, РР\}\), а \(A \cap C = \emptyset\): не существует исхода, в котором первый бросок одновременно орел и решка.

Два события называются непересекающимися (disjoint) или взаимно исключающими (mutually exclusive), если у них нет общих исходов. В примере выше \(A\) и \(C\) не пересекаются, потому что \(A \cap C = \emptyset\).

Зачем это разграничение? Оно определяет, как считать размеры объединений. (Число элементов множества принято обозначать вертикальными черточками: \(|A|\).)

Непересекающиеся события складываются просто:

  • 4 студента из Семея, множество \(A\); 10 студентов из Усть-Каменогорска, множество \(B\)
  • Как много студентов из ВКО? \(|A\cup B| = 4 + 10 = 14\)

С пересекающимися нужна осторожность:

  • У 5-и студентов есть кошки (\(A\)); у 3-х есть собаки (\(B\))
  • У 1-го студента есть и кошка, и собака: \(A \cap B\)
  • У скольких студентов есть домашнее животное? \(|A\cup B| = 5 + 3 - 1 = 7\)

Студента с кошкой и собакой мы посчитали дважды — по разу в каждом множестве — поэтому один раз его надо вычесть. Запомните этот прием: он сейчас вернется уже в виде правила для вероятностей.

Распределение вероятности

Остался третий элемент вероятностной модели. После того, как мы определили возможные исходы, мы должны назначить этим исходам вероятности \(P(X = x_i)\). Каким бы способом мы их ни назначали, распределение вероятности должно подчиняться трем правилам:

  1. \(P(\emptyset) = 0\) - вероятность невозможного события (пустого множества исходов) равна нулю
  2. \(P(\Omega) = 1\) - что-то из перечисленного в \(\Omega\) обязательно произойдет
  3. Если \(A\) и \(B\) не пересекаются (\(A\cap B = \emptyset\)), то \(P(A\cup B) = P(A) + P(B)\)

Примеры:

  • Монетка: \(P(X = Орел) = 1/2\) и \(P(X = Решка) = 1/2\)
    • при условии, что монетка честная
  • Кубик: \(P(Y = 1) = 1/6\), \(P(Y = 2) = 1/6\) и т.д.
  • Дротик и квадратная мишень: \(P(X = x, Y = y) = 0\). Почему?
    • Пространство исходов бесконечно: точек в квадрате бесконечно много, поэтому вероятность попасть в одну конкретную точку равна нулю
    • Именно поэтому мы ввели понятие события: у события уже может быть ненулевая вероятность, например \(P(X > 1/2, Y > 1/2) = 1/4\) (попасть в правый верхний квадрант)

Вернемся к кубику и потренируемся использовать правила.

  • Какова вероятность выкинуть не больше 2? \(P((X = 1) \cup (X = 2))\)
    • События не пересекаются, поэтому: \(P((X = 1) \cup (X = 2)) = P(X = 1) + P(X = 2) = 1/6 + 1/6 = 1/3\)
  • Какова вероятность выкинуть четное число?
    • \(P(X \in \{2, 4, 6\}) = 3*1/6 = 1/2\)
  • Какова вероятность выкинуть четное ИЛИ не больше двух? Вот здесь и пригодится прием со студентом-владельцем кошки и собаки:
    • \(A\): четное, \(\{2, 4, 6\}\)
    • \(B\): не больше двух, \(\{1, 2\}\)
    • \(A \cap B\): четное и не больше двух: \(\{2\}\) — двойку нельзя посчитать дважды!

\[\begin{align*} P(A \cup B) &= P(A) + P(B) - P(A \cap B) \\ P(A \cup B) &= 3/6 + 2/6 - 1/6 = 4/6 = 2/3 \end{align*}\]

Эта формула называется формулой включения-исключения и работает для любых событий: если события не пересекаются, \(P(A \cap B) = 0\), и она превращается в третье правило.

Теория вероятности и статистика

Напоследок — о том, зачем статистику вообще нужна теория вероятности. Это родственные дисциплины, примерно как две стороны одной медали, но смотрят они в противоположных направлениях.

  • Теория вероятности начинает с вероятностной модели и делает вывод о данных, которые модель производит
    • Модель \(\rightarrow\) Данные
    • Например: если у нас есть событие, вероятность которого \(p = 0.2\), сколько раз событие в среднем будет происходить при 100 испытаниях?
  • Статистика начинает с данных и делает вывод о модели, которая могла бы породить имеющиеся данные
    • Данные \(\rightarrow\) Модель
    • Например: мы наблюдали некое событие 20 раз в 100 испытаниях, какова вероятность события?

В следующих главах мы разовьем этот словарь: научимся пересчитывать вероятности при поступлении новой информации (условная вероятность), собирать вероятности сложных событий из простых (общая вероятность и формула Байеса) и, наконец, познакомимся со случайными переменными всерьез.

Задачи

Для самостоятельной практики: OpenIntro Statistics, задачи 3.8, 3.9, 3.10, 3.11.