Стохастическая зависимость — различия между версиями

Материал из synset
Перейти к: навигация, поиск
Строка 2: Строка 2:
 
  | width="40%"|[[Совместная и условная вероятность]] <<  
 
  | width="40%"|[[Совместная и условная вероятность]] <<  
 
  ! width="20%"|[[Стохастический мир|Оглавление]]  
 
  ! width="20%"|[[Стохастический мир|Оглавление]]  
  | width="40%" align="right"| >> [[Характеристическая функция]]
+
  | width="40%" align="right"| >> [[Линейная зависимость]]
 
|}
 
|}
 
----
 
----
Строка 53: Строка 53:
 
Аналогичный результат мы получили и для суммы двух независимых распределённых по Гауссу чисел. Однако при этом плотность вероятности суммы также оказалась гауссовой. Случайная величина <math>\textstyle z</math> называется ''бесконечно делимой'', если её можно представить в виде суммы ''независимых'' случайных чисел, имеющих ''такое же'' распределение, как и <math>\textstyle z</math>. Примером бесконечно делимого распределения является плотность вероятности Гаусса, а также  распределения Коши и гамма - функции, рассматриваемые в следующем разделе.
 
Аналогичный результат мы получили и для суммы двух независимых распределённых по Гауссу чисел. Однако при этом плотность вероятности суммы также оказалась гауссовой. Случайная величина <math>\textstyle z</math> называется ''бесконечно делимой'', если её можно представить в виде суммы ''независимых'' случайных чисел, имеющих ''такое же'' распределение, как и <math>\textstyle z</math>. Примером бесконечно делимого распределения является плотность вероятности Гаусса, а также  распределения Коши и гамма - функции, рассматриваемые в следующем разделе.
  
На самом деле для ''бесконечной'' делимости достаточно, чтобы у всех ''трёх'' величин в <math>\textstyle z=x+y</math> было одинаковое распределение. При этом, естественно, подразумевается одинаковая ''функциональная'' форма распределения. Его параметры (в частности, волатильность) будут различными. Вообще, для произвольно распределённых чисел их сумма имеет распределение, отличное от распределения каждого из слагаемых. Однако () для независимых величин выполняется в любом случае и является очень общим результатом.
+
На самом деле для ''бесконечной'' делимости достаточно, чтобы у всех ''трёх'' величин в <math>\textstyle z=x+y</math> было одинаковое распределение. При этом, естественно, подразумевается одинаковая ''функциональная'' форма распределения. Его параметры (в частности, волатильность) будут различными. Вообще, для произвольно распределённых чисел их сумма имеет распределение, отличное от распределения каждого из слагаемых. Однако для независимых величин выполняется в любом случае и является очень общим результатом.
 
 
<math>\textstyle \bullet</math> Простейшая связь между двумя случайными величинами <math>\textstyle x</math> и <math>\textstyle y</math> &mdash; это линейная зависимость <math>\textstyle y=\alpha + \beta \, x</math>. В общем случае может существовать третья случайная величина <math>\textstyle \xi</math>, которую мы интерпретируем, как "внешний" ''случайный шум''. Результирующая модель с константами <math>\textstyle \alpha</math> и <math>\textstyle \beta</math> имеет вид:
 
 
 
:<center><math> y=\alpha+\beta\, x + \xi. </math></center>
 
 
 
С этого уравнения обычно начинается поиск связей между эмпирическими величинами.
 
 
 
Обычно считают, что среднее шума равно нулю <math>\textstyle \left\langle \xi\right\rangle =0</math>. В противном случае его можно включить в параметр <math>\textstyle \alpha</math>. Потребуем, чтобы дисперсия "шума" <math>\textstyle \xi</math> (ошибка модели) была минимальной:
 
 
 
:<center><math> \sigma^2_\xi = \left\langle \xi^2\right\rangle  = \left\langle (y-\alpha - \beta\, x)^2\right\rangle  = min. </math></center>
 
 
 
Взяв производные по <math>\textstyle \alpha</math> и <math>\textstyle \beta</math>, можно (<math>\textstyle \lessdot</math> H) найти уравнение ''регрессионной прямой''. Её наклон <math>\textstyle \beta</math> равен:
 
 
 
:<center><math> \beta = \frac{\left\langle xy\right\rangle -\left\langle x\right\rangle \left\langle y\right\rangle }{\left\langle x^2\right\rangle -\left\langle x\right\rangle ^2} = \frac{\left\langle (x-\bar{x})(y-\bar{y})\right\rangle }{\sigma^2_x}. </math></center>
 
 
 
Итоговое уравнение мы запишем  в симметричном виде пропорциональности безразмерных отклонений величин от своих средних:
 
 
 
:<center><math> \frac{y-\bar{y}}{\sigma_y} \;=\; \rho(x,y) \cdot \frac{x-\bar{x}}{\sigma_x} \;+\; \frac{\xi}{\sigma_y}. </math></center>
 
 
 
Коэффициент этой пропорциональности называется ''корреляцией'':
 
 
 
:<center><math> \rho_{xy}=\rho(x,y)=\frac{\mathrm{cov}(x,y)}{\sigma_x\sigma_y}. </math></center>
 
 
 
В его числителе находится ковариационный коэффициент ().
 
 
 
Корреляция <math>\textstyle (\rho\neq 0)</math> между двумя величинами <math>\textstyle x</math>, <math>\textstyle y</math> не всегда означает наличие ''причинной связи'' <math>\textstyle y=f(x)</math> или <math>\textstyle x=g(y)</math>. Например, может существовать третья величина <math>\textstyle z</math>, влияющая и на <math>\textstyle x</math>, и на <math>\textstyle y</math>, синхронизируя их поведение. Так, спад мировой экономики оказывает одинаковое воздействие на две не связанные друг с другом экспортно-ориентированные отрасли экономики. ''"Ложная" корреляция'' возникает также, если две величины имеют явно выраженный восходящий или нисходящий ''тренд'' (систематический рост или спад). В этом случае между ними будет появляться заметная корреляция. Эта корреляция характеризует наличие детерминированной составляющей роста (<math>\textstyle \lessdot</math> C).
 
 
 
<math>\textstyle \bullet</math> Корреляционный коэффициент определяет наклон регрессионной прямой. Однако важнее то, что он служит мерой прогностических возможностей линейной модели. Покажем это, подставив в значение наклона () исходное уравнение (). Учтём, что <math>\textstyle \left\langle \xi\right\rangle =0</math> и <math>\textstyle \bar{y}=\alpha+\beta\,\bar{x}</math>:
 
 
 
:<center><math>\beta = \frac{\left\langle (x-\bar{x})(\beta\cdot (x-\bar{x})+\xi)\right\rangle }{\sigma^2_x} = \beta + \frac{\left\langle x\xi\right\rangle }{\sigma^2_x}.</math></center>
 
 
 
Поэтому <math>\textstyle \left\langle x\xi\right\rangle =0</math>, что позволяет нам вычислить дисперсию <math>\textstyle y</math>:
 
 
 
:<center><math>\sigma^2_y = \left\langle (y-\bar{y})^2\right\rangle = \left\langle (\beta\cdot (x-\bar{x}) + \xi)^2\right\rangle  = \beta^2\sigma^2_x + \left\langle \xi^2 \right\rangle .</math></center>
 
 
 
Так как <math>\textstyle \beta=\rho(x,y)\sigma_y/\sigma_x</math>, получаем выражение для ''относительной ошибки'' модели:
 
 
 
:<center><math> E  = \frac{\sigma_\xi}{\sigma_y} = \sqrt{1-\rho^2(x,y)}. </math></center>
 
 
 
Значение волатильности шума <math>\textstyle \sigma^2_\xi=\left\langle \xi^2\right\rangle </math> можно рассматривать как ошибку линейной модели <math>\textstyle y=\alpha+\beta x</math>. Полезно сравнивать её  с волатильностью <math>\textstyle \sigma_y</math>, которая является типичной ошибкой тривиальной модели <math>\textstyle y=\bar{y}</math>. Мы видим, что такая относительная ошибка <math>\textstyle E</math> зависит от корреляционного коэффициента. Чем ближе к единице его квадрат, тем меньше ошибка. При нулевом <math>\textstyle \rho</math> относительная ошибка равна единице, и, следовательно, линейная модель имеет такую же предсказательную силу, как и тривиальное утверждение о том, что лучшим прогнозом <math>\textstyle y</math> будет его среднее значение. Часто говорят о ''коэффициенте детерминации'' <math>\textstyle R^2=1-E^2=\rho^2</math>. Заметим также, что коэффициент корреляции по модулю всегда меньше единицы <math>\textstyle |\rho|\leqslant 1</math>.
 
 
 
<math>\textstyle \bullet</math> Уравнение линейной модели () может интерпретироваться по-разному.
 
 
 
1) Прежде всего, это модель прогнозирования <math>\textstyle y</math>, если стало известно <math>\textstyle x</math> (в духе <math>\textstyle P(x\Rightarrow y)</math>). В этом случае <math>\textstyle \xi</math> &mdash; это внешний  шум или ошибка модели, когда "истинная" зависимость между <math>\textstyle x</math> и <math>\textstyle y</math> не такая простая. В результате шума <math>\textstyle y</math> всегда оказывается случайной величиной. В отношении <math>\textstyle x</math> возможны различные ситуации. Например, при изучении кривой спроса <math>\textstyle x</math> может быть контролируемой и задаваемой исследователем ценой товара (например, с равным шагом). В этом случае она детерминирована. Однако разброс в её значениях позволяет формально определить среднее <math>\textstyle \bar{x}</math> и волатильность <math>\textstyle \sigma_x</math>.
 
 
 
2) Часто бывает, что и <math>\textstyle x</math>, и <math>\textstyle y</math> выступают в качестве равноправных случайных величин. Например, на фондовом рынке ежедневные изменения цен акций двух компаний <math>\textstyle x</math> и <math>\textstyle y</math> стохастически связаны друг с другом. Обе величины случайны и не зависят от исследователя.
 
  
 
----
 
----
Строка 105: Строка 59:
 
  | width="40%"|[[Совместная и условная вероятность]] <<  
 
  | width="40%"|[[Совместная и условная вероятность]] <<  
 
  ! width="20%"|[[Стохастический мир|Оглавление]]  
 
  ! width="20%"|[[Стохастический мир|Оглавление]]  
  | width="40%" align="right"| >> [[Характеристическая функция]]
+
  | width="40%" align="right"| >> [[Линейная зависимость]]
 
|}
 
|}
  
 
----
 
----
 
[[Стохастический мир]] - простое введение в стохастические дифференциальные уравнения
 
[[Стохастический мир]] - простое введение в стохастические дифференциальные уравнения

Версия 15:19, 27 января 2010

Совместная и условная вероятность << Оглавление >> Линейная зависимость

Величины называются статистически независимыми, если их совместная плотность вероятности расщепляется на две функции, соответствующие распределениям каждой из величин:

Мы часто будем опускать индексы и использовать одну и ту же букву для обозначения различных функций, отличая их аргументами.

Для независимых событий условная плотность зависит только от . Это соотношение может быть ещё одним определением независимости событий. Если вероятность события не зависит от того, произошло или нет , то они независимы.

Среднее произведение независимых величин равно произведению их средних:

Поэтому ковариация :

независимых величин нулевая. Обратное может быть и неверным.

Функция двух случайных величин и также является случайной величиной с некоторым распределением . Чтобы его найти, необходимо так преобразовать формулу для вычисления среднего от произвольной функции , чтобы получился интеграл только по :

Например, если и независимые гауссовы числа с произвольными волатильностями , , то величина — тоже гауссова:

где . В двойном интеграле делается замена , , и проводится интегрирование по при помощи гауссового интеграла. Таким образом, сумма двух нормальных чисел оказывается нормально распределённой величиной.

Пусть и — две случайные независимые величины с произвольным распределением. Рассмотрим , являющуюся их суммой . Очевидно, что среднее равно сумме средних . Найдём дисперсию:

где под знаком среднего мы возвели в квадрат и ввели волатильности каждой величины, например, . Если (!) и независимы, то ковариация между ними (последнее слагаемое) равна нулю: . Следовательно:

В общем случае для суммы независимых величин:

Для доказательства необходимо рассмотреть как одну случайную величину и, добавив к ней , получить , и т.д.

Если волатильности каждого одинаковы и равны , то волатильность их суммы будет увеличиваться с ростом числа слагаемых, как . Эта зависимость в виде корня исключительно важна и лежит в основе всех тех свойств шума Noise, который мы планируем добавлять к детерминированным дифференциальным уравнениям.

Обратим внимание, что полученный результат не зависит от вида распределения величин . Они могут быть даже различными. Главное — они должны быть независимыми.

Аналогичный результат мы получили и для суммы двух независимых распределённых по Гауссу чисел. Однако при этом плотность вероятности суммы также оказалась гауссовой. Случайная величина называется бесконечно делимой, если её можно представить в виде суммы независимых случайных чисел, имеющих такое же распределение, как и . Примером бесконечно делимого распределения является плотность вероятности Гаусса, а также распределения Коши и гамма - функции, рассматриваемые в следующем разделе.

На самом деле для бесконечной делимости достаточно, чтобы у всех трёх величин в было одинаковое распределение. При этом, естественно, подразумевается одинаковая функциональная форма распределения. Его параметры (в частности, волатильность) будут различными. Вообще, для произвольно распределённых чисел их сумма имеет распределение, отличное от распределения каждого из слагаемых. Однако для независимых величин выполняется в любом случае и является очень общим результатом.


Совместная и условная вероятность << Оглавление >> Линейная зависимость

Стохастический мир - простое введение в стохастические дифференциальные уравнения