Линейная зависимость

Стохастическая зависимость <<	Оглавление	>> Характеристическая функция

---

$\textstyle \bullet$ Простейшая связь между двумя случайными величинами $\textstyle x$ и $\textstyle y$ — это линейная зависимость $\textstyle y=\alpha +\beta \,x$. В общем случае может существовать третья случайная величина $\textstyle \xi$, которую мы интерпретируем, как "внешний" случайный шум. Результирующая модель с константами $\textstyle \alpha$ и $\textstyle \beta$ имеет вид:

$y=\alpha +\beta \,x+\xi .$

С этого уравнения обычно начинается поиск связей между эмпирическими величинами.

Обычно считают, что среднее шума равно нулю $\textstyle \left\langle \xi \right\rangle =0$. В противном случае его можно включить в параметр $\textstyle \alpha$. Потребуем, чтобы дисперсия "шума" $\textstyle \xi$ (ошибка модели) была минимальной:

$\sigma _{\xi }^{2}=\left\langle \xi ^{2}\right\rangle =\left\langle (y-\alpha -\beta \,x)^{2}\right\rangle =min.$

Взяв производные по $\textstyle \alpha$ и $\textstyle \beta$, можно найти уравнение регрессионной прямой. Её наклон $\textstyle \beta$ равен:

$\beta ={\frac {\left\langle xy\right\rangle -\left\langle x\right\rangle \left\langle y\right\rangle }{\left\langle x^{2}\right\rangle -\left\langle x\right\rangle ^{2}}}={\frac {\left\langle (x-{\bar {x}})(y-{\bar {y}})\right\rangle }{\sigma _{x}^{2}}}.$

Итоговое уравнение мы запишем в симметричном виде пропорциональности безразмерных отклонений величин от своих средних:

${\frac {y-{\bar {y}}}{\sigma _{y}}}\;=\;\rho (x,y)\cdot {\frac {x-{\bar {x}}}{\sigma _{x}}}\;+\;{\frac {\xi }{\sigma _{y}}}.$

Коэффициент этой пропорциональности называется корреляцией:

$\rho _{xy}=\rho (x,y)={\frac {\mathrm {cov} (x,y)}{\sigma _{x}\sigma _{y}}}.$

В его числителе находится ковариационный коэффициент.

Корреляция $\textstyle (\rho \neq 0)$ между двумя величинами $\textstyle x$, $\textstyle y$ не всегда означает наличие причинной связи $\textstyle y=f(x)$ или $\textstyle x=g(y)$. Например, может существовать третья величина $\textstyle z$, влияющая и на $\textstyle x$, и на $\textstyle y$, синхронизируя их поведение. Так, спад мировой экономики оказывает одинаковое воздействие на две не связанные друг с другом экспортно-ориентированные отрасли экономики. "Ложная" корреляция возникает также, если две величины имеют явно выраженный восходящий или нисходящий тренд (систематический рост или спад). В этом случае между ними будет появляться заметная корреляция. Эта корреляция характеризует наличие детерминированной составляющей роста ($\textstyle \lessdot$ C).

$\textstyle \bullet$ Корреляционный коэффициент определяет наклон регрессионной прямой. Однако важнее то, что он служит мерой прогностических возможностей линейной модели. Покажем это, подставив в значение наклона () исходное уравнение (). Учтём, что $\textstyle \left\langle \xi \right\rangle =0$ и $\textstyle {\bar {y}}=\alpha +\beta \,{\bar {x}}$:

$\beta ={\frac {\left\langle (x-{\bar {x}})(\beta \cdot (x-{\bar {x}})+\xi )\right\rangle }{\sigma _{x}^{2}}}=\beta +{\frac {\left\langle x\xi \right\rangle }{\sigma _{x}^{2}}}.$

Поэтому $\textstyle \left\langle x\xi \right\rangle =0$, что позволяет нам вычислить дисперсию $\textstyle y$:

$\sigma _{y}^{2}=\left\langle (y-{\bar {y}})^{2}\right\rangle =\left\langle (\beta \cdot (x-{\bar {x}})+\xi )^{2}\right\rangle =\beta ^{2}\sigma _{x}^{2}+\left\langle \xi ^{2}\right\rangle .$

Так как $\textstyle \beta =\rho (x,y)\sigma _{y}/\sigma _{x}$, получаем выражение для относительной ошибки модели:

$E={\frac {\sigma _{\xi }}{\sigma _{y}}}={\sqrt {1-\rho ^{2}(x,y)}}.$

Значение волатильности шума $\textstyle \sigma _{\xi }^{2}=\left\langle \xi ^{2}\right\rangle$ можно рассматривать как ошибку линейной модели $\textstyle y=\alpha +\beta x$. Полезно сравнивать её с волатильностью $\textstyle \sigma _{y}$, которая является типичной ошибкой тривиальной модели $\textstyle y={\bar {y}}$. Мы видим, что такая относительная ошибка $\textstyle E$ зависит от корреляционного коэффициента. Чем ближе к единице его квадрат, тем меньше ошибка. При нулевом $\textstyle \rho$ относительная ошибка равна единице, и, следовательно, линейная модель имеет такую же предсказательную силу, как и тривиальное утверждение о том, что лучшим прогнозом $\textstyle y$ будет его среднее значение. Часто говорят о коэффициенте детерминации $\textstyle R^{2}=1-E^{2}=\rho ^{2}$. Заметим также, что коэффициент корреляции по модулю всегда меньше единицы $\textstyle |\rho |\leqslant 1$.

$\textstyle \bullet$ Уравнение линейной модели () может интерпретироваться по-разному.

1) Прежде всего, это модель прогнозирования $\textstyle y$, если стало известно $\textstyle x$ (в духе $\textstyle P(x\Rightarrow y)$). В этом случае $\textstyle \xi$ — это внешний шум или ошибка модели, когда "истинная" зависимость между $\textstyle x$ и $\textstyle y$ не такая простая. В результате шума $\textstyle y$ всегда оказывается случайной величиной. В отношении $\textstyle x$ возможны различные ситуации. Например, при изучении кривой спроса $\textstyle x$ может быть контролируемой и задаваемой исследователем ценой товара (например, с равным шагом). В этом случае она детерминирована. Однако разброс в её значениях позволяет формально определить среднее $\textstyle {\bar {x}}$ и волатильность $\textstyle \sigma _{x}$.

2) Часто бывает, что и $\textstyle x$, и $\textstyle y$ выступают в качестве равноправных случайных величин. Например, на фондовом рынке ежедневные изменения цен акций двух компаний $\textstyle x$ и $\textstyle y$ стохастически связаны друг с другом. Обе величины случайны и не зависят от исследователя.

---

Стохастическая зависимость <<	Оглавление	>> Характеристическая функция

---

Стохастический мир - простое введение в стохастические дифференциальные уравнения