Стохастическая зависимость

Совместная и условная вероятность <<	Оглавление	>> Линейная зависимость

---

$\textstyle \bullet$ Величины являются статистически независимыми, если их совместная плотность вероятности равна произведению функций, соответствующих распределениям каждой из величин:

$\;P(x,y)=P_{1}(x)\cdot P_{2}(y).$

Мы часто будем опускать индексы и использовать одну и ту же букву для обозначения различных функций, отличая их аргументами.

Для независимых событий условная плотность $\textstyle P(x\Rightarrow y)=P(y)$ зависит только от $\textstyle y$. Это соотношение может быть ещё одним определением независимости событий. Если вероятность события $\textstyle y$ не зависит от того, произошло или нет $\textstyle x$, то они независимы.

Среднее произведение независимых величин равно произведению их средних:

$\left\langle x\cdot y\right\rangle =\int \limits _{-\infty }^{\infty }x\cdot y\;P(x)P(y)\;dxdy=\left\langle x\right\rangle \cdot \left\langle y\right\rangle .$

Поэтому ковариация $\textstyle \mathrm {cov} (x,y)$:

$\mathrm {cov} (x,y)=\left\langle (x-{\bar {x}})(y-{\bar {y}})\right\rangle =\left\langle xy\right\rangle -\left\langle x\right\rangle \left\langle y\right\rangle$

(1.19)

независимых величин нулевая. Обратное может быть и неверным.

$\textstyle \bullet$ Функция $\textstyle z=f(x,y)$ двух случайных величин $\textstyle x$ и $\textstyle y$ также является случайной величиной с некоторым распределением $\textstyle P(z)$. Чтобы его найти, необходимо так преобразовать формулу для вычисления среднего от произвольной функции $\textstyle F(z)$, чтобы получился интеграл только по $\textstyle z$:

$\left\langle F(z)\right\rangle =\int \limits _{-\infty }^{\infty }F{\bigl (}f(x,y){\bigr )}P(x,y)\,dxdy=\int \limits _{-\infty }^{\infty }F(z)P(z)\,dz.$ | (1.20)

Например, если $\textstyle x$ и $\textstyle y$ — независимые гауссовы числа с произвольными волатильностями $\textstyle \sigma _{x}$, $\textstyle \sigma _{y}$, то величина $\textstyle z=x+y$ — тоже гауссова:

$\left\langle F(z)\right\rangle =\int \limits _{-\infty }^{\infty }F{\bigl (}x+y{\bigr )}\,e^{-x^{2}/2\sigma _{x}^{2}-y^{2}/2\sigma _{y}^{2}}\;{\frac {dxdy}{2\pi \sigma _{x}\sigma _{y}}}=\int \limits _{-\infty }^{\infty }F(z)e^{-z^{2}/2\sigma ^{2}}\,{\frac {dz}{\sigma {\sqrt {2\pi }}}},$

где $\textstyle \sigma ^{2}=\sigma _{x}^{2}+\sigma _{y}^{2}$. В двойном интеграле делается замена $\textstyle z=x+y$, $\textstyle u=x$, и проводится интегрирование по $\textstyle u$ при помощи гауссового интеграла. Таким образом, сумма двух нормальных чисел оказывается нормально распределённой величиной.

$\textstyle \bullet$ Пусть $\textstyle x$ и $\textstyle y$ — две случайные независимые величины с произвольным распределением. Рассмотрим $\textstyle z$, являющуюся их суммой $\textstyle z=x+y$. Очевидно, что среднее равно сумме средних $\textstyle {\bar {z}}={\bar {x}}+{\bar {y}}$. Найдём дисперсию:

$\sigma _{z}^{2}=\left\langle (z-{\overline {z}})^{2}\right\rangle =\left\langle (x-{\overline {x}}+y-{\overline {y}})^{2}\right\rangle =\sigma _{x}^{2}+\sigma _{y}^{2}+2\left\langle (x-{\overline {x}})\cdot (y-{\overline {y}})\right\rangle ,$

где под знаком среднего мы возвели в квадрат и ввели волатильности каждой величины, например, $\textstyle \sigma _{x}^{2}=\left\langle (x-{\bar {x}})^{2}\right\rangle$. Если (!) $\textstyle x$ и $\textstyle y$ независимы, то ковариация между ними (последнее слагаемое) равна нулю: $\textstyle \left\langle (x-{\overline {x}})\cdot (y-{\overline {y}})\right\rangle =\left\langle x-{\overline {x}}\right\rangle \left\langle y-{\overline {y}}\right\rangle =0$. Следовательно:

$\sigma _{z}^{2}=\sigma _{x}^{2}+\sigma _{y}^{2}.$

В общем случае для суммы $\textstyle n$ независимых величин:

$z=x_{1}+...+x_{n}\;\;\;\;\;\;\;\;\;\;\;=>\;\;\;\;\;\;\;\;\;\;\;\;\sigma _{z}^{2}=\sigma _{1}^{2}+...+\sigma _{n}^{2}.$

(1.3)

Для доказательства необходимо рассмотреть $\textstyle x_{1}+x_{2}$ как одну случайную величину и, добавив к ней $\textstyle x_{3}$, получить $\textstyle \sigma _{z}^{2}+\sigma _{3}^{2}=\sigma _{1}^{2}+\sigma _{2}^{2}+\sigma _{3}^{2}$, и т.д.

Если волатильности каждого $\textstyle x_{i}$ одинаковы и равны $\textstyle \sigma _{0}$, то волатильность их суммы будет увеличиваться с ростом числа слагаемых, как $\textstyle \sigma _{z}=\sigma _{0}{\sqrt {n}}$. Эта зависимость в виде корня исключительно важна и лежит в основе всех тех свойств шума Noise, который мы планируем добавлять к детерминированным дифференциальным уравнениям.

Обратим внимание, что полученный результат (1.21) не зависит от вида распределения величин $\textstyle x_{i}$. Они могут быть даже различными. Главное — они должны быть независимыми.

Аналогичный результат мы получили и для суммы двух независимых распределённых по Гауссу чисел. Однако при этом плотность вероятности суммы также оказалась гауссовой. Случайная величина $\textstyle z$ называется бесконечно делимой, если её можно представить в виде суммы независимых случайных чисел, имеющих такое же распределение, как и $\textstyle z$ (но возможно, с иными параметрами). Примером бесконечно делимого распределения является плотность вероятности Гаусса, а также распределения Коши и гамма - функции, рассматриваемые в следующем разделе.

На самом деле для бесконечной делимости достаточно, чтобы у всех трёх величин в $\textstyle z=x+y$ было одинаковое распределение. При этом, естественно, подразумевается одинаковая функциональная форма распределения. Его параметры (в частности, волатильность) будут различными. Вообще, для произвольно распределённых чисел их сумма имеет распределение, отличное от распределения каждого из слагаемых. Однако (1.21) для независимых величин выполняется в любом случае и является очень общим результатом.

---

Совместная и условная вероятность <<	Оглавление	>> Линейная зависимость

---

Стохастический мир - простое введение в стохастические дифференциальные уравнения