Модель аддитивного блуждания — различия между версиями

Материал из synset
Перейти к: навигация, поиск
(Новая страница: «{| width="100%" | width="40%"|Многомерное распределение Гаусса << ! width="20%"|[[Стохастический мир|Огла…»)
 
 
(не показано 7 промежуточных версий этого же участника)
Строка 5: Строка 5:
 
|}
 
|}
 
----
 
----
$\bullet$ Координата броуновской частицы в воде или цена на финансовом рынке $x$ имеют
+
<math>\textstyle \bullet</math> Координата броуновской частицы в воде или цена на финансовом рынке <math>\textstyle x</math> имеют траекторию с очень нерегулярными изломами. Простейшим её описанием будет  модель ''аддитивного независимого  дискретного случайного блуждания''. Все четыре прилагательных в названии модели отражают базовые свойства процесса.
траекторию с очень нерегулярными изломами.
 
Простейшим её описанием будет  модель {\it аддитивного независимого  дискретного случайного блуждания}.
 
Все четыре прилагательных в названии модели отражают базовые свойства процесса.
 
  
Предположим, что начальное значение $x=x_0$. Далее $x$ испытывает $t=1,2,...$
+
Предположим, что начальное значение <math>\textstyle x=x_0</math>. Далее <math>\textstyle x</math> испытывает <math>\textstyle t=1,2,...</math> случайных независимых гауссовых изменений ("толчков"), каждое с волатильностью <math>\textstyle \sigma</math>. В результате <math>\textstyle x</math> окажется равным накопленной сумме таких изменений:
случайных независимых гауссовых изменений (''толчков''),
 
каждое с волатильностью $\sigma$. В результате $x$ окажется равным накопленной сумме таких изменений:
 
\begin{equation}\label{discret_winner}
 
  x_t=x_0 + \sigma\cdot(\varepsilon_1+...+\varepsilon_t),
 
\end{equation}
 
где $\varepsilon_i\sim N(0,1)$ -- гауссовы числа с нулевым средним и единичной дисперсией.
 
Индекс $t$ пока является целым числом, однако в дальнейшем мы перейдём к пределу непрерывного времени.
 
  
Удобно ввести {\it дискретную переменную Винера}:\index{винеровская переменная}
+
{| width="100%" 
\begin{equation}\label{winer_discret}
+
| width="90%" align="center"|<math> x_t=x_0 + \sigma\cdot(\varepsilon_1+...+\varepsilon_t), </math>
      W_t = \varepsilon_1+...+\varepsilon_t = \varepsilon\cdot\sqrt{t}.
+
<div width="10%" align="right" style="color:#0000CC">'''(1.38)'''</div>
\end{equation}
+
|}
Второе равенство мы записали, так как сумма $t$ гауссовых чисел снова равна гауссовому числу с волатильностью $\sqrt{t}$
 
(стр. \pageref{aver_fun_def}--\pageref{disper_eq_sum_disper})
 
Случайные числа, как с индексами $\varepsilon_i$, так и без них $\varepsilon$,
 
предполагаются нормированными: $\left<\varepsilon\right>=0$, $\left<\varepsilon^2\right>=1$, т.е.
 
как $\varepsilon\sim N(0,1)$.
 
Модель (\ref{discret_winner}) теперь выглядит следующим образом:  $x_t=x_0+\sigma\cdot W_t$.
 
  
Смоделируем такое блуждание  при помощи компьютера.
+
где <math>\textstyle \varepsilon_i\sim N(0,1)</math> &mdash; гауссовы числа с нулевым средним и единичной дисперсией. Индекс <math>\textstyle t</math> пока является целым числом, однако в дальнейшем мы перейдём к пределу непрерывного времени.
Начиная с $x_0=0$, будем генерить случайные числа $\varepsilon_1$, $\varepsilon_2$, ... и строить их накопленную
 
сумму (1-й рисунок):
 
\begin{center}
 
\includegraphics{pic/walk_winer.eps}\\
 
\end{center}
 
Так как изменения $\varepsilon_k$ будут каждый раз новыми,
 
то по-разному будут протекать и блуждания
 
траектории $x_t=x(t)$  (см. 2-й рисунок).
 
Различные реализации процесса блуждания пересекают вертикальную прямую $t=const$ в тех или иных значениях $x$.
 
Совокупность всех этих чисел является случайной величиной.
 
  
\vskip 1000mm
+
Удобно ввести ''дискретную переменную Винера'':
%\newpage
 
  
Поэтому, говоря о {\it процессе} $x(t)$, мы подразумеваем, что в данный момент времени
+
{| width="100%" 
$x=x(t)$ имеет определённое распределение $P(x)$. В некоторый другой
+
| width="90%" align="center"|<math> W_t = \varepsilon_1+...+\varepsilon_t = \varepsilon\cdot\sqrt{t}. </math>
момент времени распределение может оказаться иным.
+
|  <div width="10%" align="right" style="color:#0000CC">'''(1.39)'''</div>
Поэтому плотность вероятности $P(x,t)$, среднее $\bar{x}(t)$ и волатильность $\sigma(t)$ будут функциями
+
|}
времени.
 
  
Волатильность аддитивного блуждания увеличивается, как $\sqrt{t}$.
+
Второе равенство мы записали, так как сумма <math>\textstyle t</math> гауссовых чисел снова равна гауссовому числу с волатильностью <math>\textstyle \sqrt{t}</math>. Случайные числа, как с индексами <math>\textstyle \varepsilon_i</math>, так и без них <math>\textstyle \varepsilon</math>, предполагаются нормированными: <math>\textstyle \left\langle \varepsilon\right\rangle =0</math>, <math>\textstyle \left\langle \varepsilon^2\right\rangle =1</math>, т.е. как <math>\textstyle \varepsilon\sim N(0,1)</math>. Модель (1.38) теперь выглядит следующим образом:  <math>\textstyle x_t=x_0+\sigma\cdot W_t</math>.
Это наглядно видно на 2-м рисунке с несколькими реализациями $x_t$.
 
Их ''пучок'' постепенно расширяется.
 
В результате неопределённость будущего значения $x_t$ увеличивается.
 
Мы можем обнаружить $x_t$ достаточно далеко от начального значения $x_0=0$.
 
Это также проиллюстрировано на 3-м рисунке, где представлены плотности вероятности $P(x,t)$,
 
которые с течением времени постепенно ''расплываются''.
 
  
Блуждающие траектории начинаются с определённого начального значения $x_0=x(t_0)$ в момент времени $t_0$.
+
Смоделируем такое блуждание  при помощи компьютера. Начиная с <math>\textstyle x_0=0</math>, будем генерить случайные числа <math>\textstyle \varepsilon_1</math>, <math>\textstyle \varepsilon_2</math>, ... и строить их накопленную сумму (1-й рисунок)
Поэтому, говоря о вероятности,
+
<center>
мы имеем дело с условной плотностью $P(x_0, t_0 \Rightarrow x, t)$.
+
[[File:walk_winer.png]]
Пока моменты времени $t_0$ и $t$ являются целыми числами, соответствующими номеру скачка $\varepsilon_k$
+
</center>
на очередном этапе.
+
Так как изменения <math>\textstyle \varepsilon_k</math> будут каждый раз новыми, то по-разному будут протекать и блуждания траектории <math>\textstyle x_t=x(t)</math>  (см. 2-й рисунок). Различные реализации процесса блуждания пересекают вертикальную прямую <math>\textstyle t=const</math> в тех или иных значениях <math>\textstyle x</math>. Совокупность всех этих чисел является случайной величиной.
  
Важно понимать, что $x_t=x(t)$ не является конкретной траекторией.
+
Поэтому, говоря о ''процессе'' <math>\textstyle x(t)</math>, мы подразумеваем, что ''в данный момент времени'' <math>\textstyle x=x(t)</math> имеет определённое распределение <math>\textstyle P(x)</math>. В некоторый другой момент времени распределение может оказаться иным. Поэтому плотность вероятности <math>\textstyle P(x,t)</math>, среднее <math>\textstyle \bar{x}(t)</math> и волатильность <math>\textstyle \sigma(t)</math> будут функциями времени.
Это одновременная {\it совокупность} всех возможных траекторий случайного процесса.
 
Аналогично, случайное число $x$ не подразумевает конкретного значения,
 
а обозначает все возможные реализации, подчиняющиеся некоторому распределению $P(x)$.
 
Вероятность получить на $t$-ом шаге $x_t$ определяется вероятностями всех изменений $\varepsilon_i$.
 
Так, дискретный винеровский процесс $W_t$ определяется плотностью вероятности:
 
$$
 
P(\varepsilon_1,...,\varepsilon_t) =  P(\varepsilon_1)\cdot ...\cdot P(\varepsilon_t),
 
$$
 
где равенство отражает независимость всех $\varepsilon_i$.
 
Таким образом, $W_t$ -- фактически, многомерная случайная величина.
 
  
Обратим ещё раз внимание на смысл записи: $\varepsilon_1+...+\varepsilon_t = \varepsilon\cdot\sqrt{t}$.
+
Волатильность аддитивного блуждания увеличивается, как <math>\textstyle \sqrt{t}</math>. Это наглядно видно на 2-м рисунке с несколькими реализациями <math>\textstyle x_t</math>. Их "пучок" постепенно расширяется. В результате неопределённость будущего значения <math>\textstyle x_t</math> увеличивается. Мы можем обнаружить <math>\textstyle x_t</math> достаточно далеко от начального значения <math>\textstyle x_0=0</math>. Это также проиллюстрировано на 3-м рисунке, где представлены плотности вероятности <math>\textstyle P(x,t)</math>, которые с течением времени постепенно "расплываются".
Предположим, что в процессе моделирования мы генерим $t$ независимых гауссовых чисел
 
$\varepsilon_1, \varepsilon_2,...$ и складываем их.
 
Результат будет иметь {\it такие же статистические свойства}, как одно гауссово число $\varepsilon$
 
с единичной волатильностью, умноженное на фактор $\sqrt{t}$.
 
При вычислении х свойств накопленной суммы вполне достаточно пользоваться
 
величиной $\varepsilon$, а не полной плотностью $P(\varepsilon_1,...,\varepsilon_t)$.
 
В частности, если мы ищем  среднее значение, в котором участвует
 
сумма гауссовых чисел, его вычисление можно упростить, используя только одно случайное число.
 
Однако, если нас интересует связь сумм, получаемых в различные моменты времени, то необходимы  некоторые
 
ухищрения. Рассмотрим их подробнее.
 
  
\vskip 1000mm
+
Блуждающие траектории начинаются с определённого начального значения <math>\textstyle x_0=x(t_0)</math> в момент времени <math>\textstyle t_0</math>. Поэтому, говоря о вероятности, мы имеем дело с условной плотностью <math>\textstyle P(x_0, t_0 \Rightarrow x, t)</math>. Пока моменты времени <math>\textstyle t_0</math> и <math>\textstyle t</math> являются целыми числами, соответствующими номеру скачка <math>\textstyle \varepsilon_k</math> на очередном этапе.
%\newpage
 
  
$\bullet$ Для сравнения процесса блуждания с самим собой в различные моменты времени его необходимо
+
Важно понимать, что <math>\textstyle x_t=x(t)</math> не является конкретной траекторией. Это одновременная ''совокупность'' всех возможных траекторий случайного процесса. Аналогично, случайное число <math>\textstyle x</math> не подразумевает конкретного значения, а обозначает все возможные реализации, подчиняющиеся некоторому распределению <math>\textstyle P(x)</math>. Вероятность получить на <math>\textstyle t</math>-ом шаге <math>\textstyle x_t</math> определяется вероятностями всех изменений <math>\textstyle \varepsilon_i</math>. Так, дискретный винеровский процесс <math>\textstyle W_t</math> определяется плотностью вероятности:
разбивать на {\it неперекрывающиеся} участки времени.
 
Пусть процесс длится  $s$ шагов, а затем еще в течение $t-s$.
 
Сравним свойства траекторий в ''моменты времени'' $s$ и $t$ ($s<t$):
 
$$
 
\begin{array}{l}
 
  W_s= \varepsilon_1+...+\varepsilon_s,\\
 
  W_t= \varepsilon_1+...+\varepsilon_s+\varepsilon_{s+1}+...+\varepsilon_t.\\
 
\end{array}
 
$$
 
Вычитая уравнения, получим сумму $t-s$ случайных чисел:
 
$$
 
  W_t-W_s ~=~ \varepsilon_{s+1}+...+\varepsilon_t = \varepsilon\sqrt{t-s} = W_{t-s}.
 
$$
 
Второе равенство является отражением того, что суммарная волатильность $t-s$ независимых
 
гауссовых слагаемых будет равна $\sqrt{t-s}$.
 
Фактически, $W_s$ и $W_t$ можно представить в виде:
 
\begin{equation}\label{sys_W_s_t}
 
\begin{array}{l}
 
  W_s= \varepsilon_a\, \sqrt{s},  \\
 
  W_t= \varepsilon_a\, \sqrt{s} + \varepsilon_b\, \sqrt{t-s},
 
\end{array}
 
\end{equation}
 
где $\varepsilon_a$, $\varepsilon_b$, как и везде в наших лекциях, --  независимые гауссовые числа с нулевым
 
средним и единичной дисперсией.
 
Первое из них -- $\varepsilon_a$ -- эквивалентно накопленной сумме начальных $s$ приращений,
 
а второе -- $\varepsilon_b$ -- соответствует {\it независимым} от $\varepsilon_a$ последующим  $t-s$ приращениям.
 
  
Теперь можно найти ковариацию между $W_s$ и $W_t$. Так как $\overline{W_t}=0$, то:
+
:<center><math>P(\varepsilon_1,...,\varepsilon_t) = P(\varepsilon_1)\cdot ...\cdot P(\varepsilon_t),</math></center>
$$
 
\cov(s,t) = \left< W_sW_t\right>=\left<\varepsilon_a\, \sqrt{s} \cdot \bigl(\varepsilon_a\, \sqrt{s} + \varepsilon_b\, \sqrt{t-s}\bigr) \right> = s,
 
$$
 
в силу того, что $\left<\varepsilon_a^2\right>=1$ и $\left<\varepsilon_a\varepsilon_b\right>=0$.
 
Таким образом, ковариация зависит только от наименьшего числа $s=\min(s,t)$, представляющего собой длительность
 
общей для $W_s$ и $W_t$ истории.
 
Для прояснения смысла этого результата запишем регрессионную прямую (\ref{line_y_x}) между $W_s$ и $W_t$.
 
Их волатильности равны $\sqrt{s}$ и $\sqrt{t}$, а средние -- нулю, поэтому:
 
$$
 
    \frac{W_t}{\sqrt{t}} = \frac{\cov(s,t)}{\sqrt{s}\sqrt{t}}\cdot \frac{W_s}{\sqrt{s}}+\frac{\xi}{\sqrt{t}}14:40, 21 января 2010 (UTC)~~
 
=>14:40, 21 января 2010 (UTC)~W_t=W_s+\xi.
 
$$
 
Таким образом, если известно, что в момент времени $s$ сумма равна
 
$W_s$, то наилучшим прогнозом будущего значения $W_t$ будет уже известное $W_s$.
 
Из (\ref{sys_W_s_t}) следует, что линейная регрессионная модель оказывается в данном случае точной
 
($\lessdot$ C$_{\ref{c_cor_not_equal_line}}$).\label{bk_c_cor_not_equal_line}
 
При этом её ''шумом'' выступают накопленные после момента времени $s$
 
изменения: $\xi=\varepsilon_{s+1}+...+\varepsilon_{t}=\varepsilon_b\sqrt{t-s}$.
 
  
Мы будем часто усреднять гауссовы величины, поэтому в
+
где равенство отражает независимость всех <math>\textstyle \varepsilon_i</math>. Таким образом, <math>\textstyle W_t</math> &mdash; фактически, многомерная случайная величина.
качестве упражнения стоит проверить следующие соотношения ($i<j<k$):
 
$$
 
\left<W_iW_jW_k\right>=0,14:40, 21 января 2010 (UTC)~~\left<W^2_iW_jW_k\right>= 2i^2+ij14:40, 21 января 2010 (UTC)~\left<W_iW^2_jW_k\right>= 3ij.
 
$$
 
[Процесс $W_k$ необходимо разбить на три интервала ($\lessdot$ C$_{\ref{c_sum_gauss_cond}}$).]\label{bk_c_sum_gauss_cond}
 
\vskip 1000mm
 
%\newpage
 
  
$\bullet$ В заключение раздела ответим на следующий вопрос.
+
Обратим ещё раз внимание на смысл записи: <math>\textstyle \varepsilon_1+...+\varepsilon_t = \varepsilon\cdot\sqrt{t}</math>. Предположим, что в процессе моделирования мы генерим <math>\textstyle t</math> независимых гауссовых чисел <math>\textstyle \varepsilon_1, \varepsilon_2,...</math> и складываем их. Результат будет иметь ''такие же статистические свойства'', как одно гауссово число <math>\textstyle \varepsilon</math> с единичной волатильностью, умноженное на фактор <math>\textstyle \sqrt{t}</math>. При вычислении свойств накопленной суммы вполне достаточно пользоваться величиной <math>\textstyle \varepsilon</math>, а не совместной плотностью <math>\textstyle P(\varepsilon_1,...,\varepsilon_t)</math>. В частности, если мы ищем  среднее значение, в котором участвует сумма гауссовых чисел, его вычисление можно упростить, используя только одно случайное число. Однако, если нас интересует связь сумм, получаемых в различные моменты времени, то необходимы  некоторые ухищрения. Рассмотрим их подробнее.
{\it Если} $x=x_1$, то какова вероятность обнаружить его на следующем шаге в $x_2$?
 
Очевидно, что она равна вероятности изменения $x$:
 
$$
 
  P(x_1 \Rightarrow x_2)  = P(\varepsilon) = \frac{e^{-(x_2-x_1)^2/2}}{\sqrt{2\pi}}.
 
$$
 
Мы положили $\sigma=1$ и записали в явном виде гауссову плотность вероятности для $\varepsilon=x_2-x_1$.
 
В результате {\it условная вероятность} зависит от обоих аргументов, поэтому случайные
 
числа $x_1$ и $x_2$ являются зависимыми.
 
  
Дискретная траектория блуждания описывается множеством случайных величин $x_t=\{x_1,x_2,x_3,...\}$,
+
<math>\textstyle \bullet</math> Для сравнения процесса блуждания с самим собой в различные моменты времени его необходимо разбивать на ''неперекрывающиеся'' участки времени. Пусть процесс длится  <math>\textstyle s</math> шагов, а затем еще в течение <math>\textstyle t-s</math>. Сравним свойства траекторий в "моменты времени" <math>\textstyle s</math> и <math>\textstyle t</math> (<math>\textstyle s<t</math>):
задающих возможные значения $x$ на шаге $t$. Индекс можно записать в функциональной форме $x(t)$
 
и говорить о {\it случайной функции},\index{случайная!функция} которая пока определена только в дискретных  точках.
 
Таким образом, случайная функция -- это многомерная  величина.
 
Для задания свойств случайного процесса в общем случае необходимо определить плотность вероятности
 
$P(x_1,x_2,x_3,...)$ с бесконечным числом аргументов.
 
  
Для винеровского процесса ситуация существенно упрощается, так как каждое следующее $x_{t+1}$
+
:<center><math>\begin{array}{l} W_s= \varepsilon_1+...+\varepsilon_s,\ W_t= \varepsilon_1+...+\varepsilon_s+\varepsilon_{s+1}+...+\varepsilon_t.\ \end{array}</math></center>
определяется значением непосредственно предшествующего $x_t$ и никак не зависит от более длинной предыстории.
 
Этот факт мы будем записывать в следующем виде ($\lessdot$ C$_{\ref{c_n_cond_prob}}$): \label{bk_c_n_cond_prob}
 
\begin{equation}\label{stat_markov_cond_prob}
 
                P(x_1,...,x_{t} \Rightarrow x_{t+1})  ~=~ P(x_{t} \Rightarrow x_{t+1}).
 
\end{equation}
 
Если известно $x_t$, то $x_{t+1}$ будет определяться значением $x_t$
 
и случайным изменением $\varepsilon$, а не всей историей $x_1,...,x_{t-1}$.
 
Процессы с такой ''короткой памятью'' называются {\it марковскими процессами}.\index{марковские процессы}
 
Они представляют собой следующее  приближение после независимости случайных величин, для которых
 
$P(x_1,...,x_{t} \Rightarrow x_{t+1})=P(x_{t+1}).$
 
  
Марковские процессы позволяют представить совместную вероятность любой размерности в виде цепочки
+
Вычитая уравнения, получим сумму <math>\textstyle t-s</math> случайных чисел:
условных вероятностей. Например:
+
 
\begin{equation}\label{chain_markov}
+
:<center><math>W_t-W_s \;=\; \varepsilon_{s+1}+...+\varepsilon_t = \varepsilon\sqrt{t-s} = W_{t-s}.</math></center>
        P(x_1,x_2,x_3) =
+
 
        P(x_1) \cdot P(x_1 \Rightarrow x_2) \cdot P(x_2 \Rightarrow x_3).
+
Второе равенство является отражением того, что суммарная волатильность <math>\textstyle t-s</math> независимых гауссовых слагаемых будет равна <math>\textstyle \sqrt{t-s}</math>. Фактически, <math>\textstyle W_s</math> и <math>\textstyle W_t</math> можно представить в виде:
\end{equation}
+
 
Для этого сначала записываем $P(x_1,x_2, x_3)=P(x_1,x_2) \cdot P(x_1,x_2 \Rightarrow x_3)$
+
{| width="100%" 
по определению условной вероятности.
+
| width="90%" align="center"|<math> \begin{array}{l} W_s= \varepsilon_a\, \sqrt{s},  \ W_t= \varepsilon_a\, \sqrt{s} + \varepsilon_b\, \sqrt{t-s}, \end{array} </math>
Затем используем определение для
+
|  <div width="10%" align="right" style="color:#0000CC">'''(1.40)'''</div>
$P(x_1,x_2)=P(x_1)P(x_1\Rightarrow x_2)$ и марковское условие короткой памяти:
+
|}
$P(x_1,x_2\Rightarrow x_3)=P(x_2\Rightarrow x_3)$.
+
 
Таким образом, чтобы произошло  $x_1,x_2,x_3$, необходимо,
+
где <math>\textstyle \varepsilon_a</math>, <math>\textstyle \varepsilon_b</math>, как и везде в наших лекциях, &mdash;  независимые гауссовые числа с нулевым средним и единичной дисперсией. Первое из них &mdash; <math>\textstyle \varepsilon_a</math> &mdash; эквивалентно накопленной сумме начальных <math>\textstyle s</math> приращений, а второе &mdash; <math>\textstyle \varepsilon_b</math> &mdash; соответствует ''независимым'' от <math>\textstyle \varepsilon_a</math> последующим  <math>\textstyle t-s</math> приращениям.
чтобы свершилось $x_1$. {\it При условии}, что это произошло,
+
 
далее реализовалось $x_2$, и т.д.
+
Теперь можно найти ковариацию между <math>\textstyle W_s</math> и <math>\textstyle W_t</math>. Так как <math>\textstyle \overline{W_t}=0</math>, то:
 +
 
 +
:<center><math>\mathrm{cov}(s,t) = \left\langle  W_sW_t\right\rangle =\left\langle \varepsilon_a\, \sqrt{s} \cdot \bigl(\varepsilon_a\, \sqrt{s} + \varepsilon_b\, \sqrt{t-s}\bigr) \right\rangle  = s,</math></center>
 +
 
 +
в силу того, что <math>\textstyle \left\langle \varepsilon_a^2\right\rangle =1</math> и <math>\textstyle \left\langle \varepsilon_a\varepsilon_b\right\rangle =0</math>. Таким образом, ковариация зависит только от наименьшего числа <math>\textstyle s=\min(s,t)</math>, представляющего собой длительность общей для <math>\textstyle W_s</math> и <math>\textstyle W_t</math> истории. Для прояснения смысла этого результата запишем регрессионную прямую (1.25) между <math>\textstyle W_s</math> и <math>\textstyle W_t</math>. Их волатильности равны <math>\textstyle \sqrt{s}</math> и <math>\textstyle \sqrt{t}</math>, а средние &mdash; нулю, поэтому:
 +
 
 +
:<center><math>\frac{W_t}{\sqrt{t}} = \frac{\mathrm{cov}(s,t)}{\sqrt{s}\sqrt{t}}\cdot \frac{W_s}{\sqrt{s}}+\frac{\xi}{\sqrt{t}}\;\;\;\;\;\;\; =>\;\;\;\;\;\;W_t=W_s+\xi.</math></center>
 +
 
 +
Таким образом, если известно, что в момент времени <math>\textstyle s</math> сумма равна <math>\textstyle W_s</math>, то наилучшим прогнозом будущего значения <math>\textstyle W_t</math> будет уже известное <math>\textstyle W_s</math>. Из (1.40) следует, что линейная регрессионная модель оказывается в данном случае точной. При этом её "шумом" выступают накопленные после момента времени <math>\textstyle s</math> изменения: <math>\textstyle \xi=\varepsilon_{s+1}+...+\varepsilon_{t}=\varepsilon_b\sqrt{t-s}</math>.
 +
 
 +
Мы будем часто усреднять гауссовы величины, поэтому в качестве упражнения стоит проверить следующие соотношения (<math>\textstyle i<j<k</math>):
 +
 
 +
:<center><math>\left\langle W_iW_jW_k\right\rangle =0,\;\;\;\;\;\;\;\left\langle W^2_iW_jW_k\right\rangle = 2i^2+ij\;\;\;\;\;\;\left\langle W_iW^2_jW_k\right\rangle = 3ij.</math></center>
 +
 
 +
[Процесс <math>\textstyle W_k</math> необходимо разбить на три интервала.]
 +
 
 +
<math>\textstyle \bullet</math> В заключение раздела ответим на следующий вопрос. ''Если'' <math>\textstyle x=x_1</math>, то какова вероятность обнаружить его на следующем шаге в <math>\textstyle x_2</math>? Очевидно, что она равна вероятности изменения <math>\textstyle x</math>:
 +
 
 +
:<center><math>P(x_1 \Rightarrow x_2)  = P(\varepsilon) = \frac{e^{-(x_2-x_1)^2/2}}{\sqrt{2\pi}}.</math></center>
 +
 
 +
Мы положили <math>\textstyle \sigma=1</math> и записали в явном виде гауссову плотность вероятности для <math>\textstyle \varepsilon=x_2-x_1</math>. В результате ''условная вероятность'' зависит от обоих аргументов, поэтому случайные числа <math>\textstyle x_1</math> и <math>\textstyle x_2</math> являются зависимыми.
 +
 
 +
Дискретная траектория блуждания описывается множеством случайных величин <math>\textstyle x_t=\{x_1,x_2,x_3,...\}</math>, задающих возможные значения <math>\textstyle x</math> на шаге <math>\textstyle t</math>. Индекс можно записать в функциональной форме <math>\textstyle x(t)</math> и говорить о ''случайной функции'', которая пока определена только в дискретных  точках. Таким образом, случайная функция &mdash; это многомерная  величина. Для задания свойств случайного процесса в общем случае необходимо определить плотность вероятности <math>\textstyle P(x_1,x_2,x_3,...)</math> с бесконечным числом аргументов.
 +
 
 +
Для винеровского процесса ситуация существенно упрощается, так как каждое следующее <math>\textstyle x_{t+1}</math> определяется значением непосредственно предшествующего <math>\textstyle x_t</math> и никак не зависит от более длинной предыстории. Этот факт мы будем записывать в следующем виде:
 +
 
 +
{| width="100%" 
 +
| width="90%" align="center"|<math> P(x_1,...,x_{t} \Rightarrow x_{t+1})  \;=\; P(x_{t} \Rightarrow x_{t+1}). </math>
 +
|  <div width="10%" align="right" style="color:#0000CC">'''(1.41)'''</div>
 +
|}
 +
 
 +
Если известно <math>\textstyle x_t</math>, то <math>\textstyle x_{t+1}</math> будет определяться значением <math>\textstyle x_t</math> и случайным изменением <math>\textstyle \varepsilon</math>, а не всей историей <math>\textstyle x_1,...,x_{t-1}</math>. Процессы с такой "короткой памятью" называются ''марковскими процессами''. Они представляют собой следующее  приближение после независимости случайных величин, для которых <math>\textstyle P(x_1,...,x_{t} \Rightarrow x_{t+1})=P(x_{t+1}).</math>
 +
 
 +
Марковские процессы позволяют представить совместную вероятность любой размерности в виде цепочки условных вероятностей. Например:
 +
 
 +
{| width="100%" 
 +
| width="90%" align="center"|<math> P(x_1,x_2,x_3) = P(x_1) \cdot P(x_1 \Rightarrow x_2) \cdot P(x_2 \Rightarrow x_3). </math>
 +
|  <div width="10%" align="right" style="color:#0000CC">'''(1.42)'''</div>
 +
|}
 +
 
 +
Для этого сначала записываем <math>\textstyle P(x_1,x_2, x_3)=P(x_1,x_2) \cdot P(x_1,x_2 \Rightarrow x_3)</math> по определению условной вероятности. Затем используем определение для <math>\textstyle P(x_1,x_2)=P(x_1)P(x_1\Rightarrow x_2)</math> и марковское условие короткой памяти: <math>\textstyle P(x_1,x_2\Rightarrow x_3)=P(x_2\Rightarrow x_3)</math>. Таким образом, чтобы произошло  <math>\textstyle x_1,x_2,x_3</math>, необходимо, чтобы свершилось <math>\textstyle x_1</math>. ''При условии'', что это произошло, далее реализовалось <math>\textstyle x_2</math>, и т.д.
  
 
----
 
----

Текущая версия на 15:29, 17 февраля 2010

Многомерное распределение Гаусса << Оглавление >> Случайные процессы

Координата броуновской частицы в воде или цена на финансовом рынке имеют траекторию с очень нерегулярными изломами. Простейшим её описанием будет модель аддитивного независимого дискретного случайного блуждания. Все четыре прилагательных в названии модели отражают базовые свойства процесса.

Предположим, что начальное значение . Далее испытывает случайных независимых гауссовых изменений ("толчков"), каждое с волатильностью . В результате окажется равным накопленной сумме таких изменений:

(1.38)

где — гауссовы числа с нулевым средним и единичной дисперсией. Индекс пока является целым числом, однако в дальнейшем мы перейдём к пределу непрерывного времени.

Удобно ввести дискретную переменную Винера:

(1.39)

Второе равенство мы записали, так как сумма гауссовых чисел снова равна гауссовому числу с волатильностью . Случайные числа, как с индексами , так и без них , предполагаются нормированными: , , т.е. как . Модель (1.38) теперь выглядит следующим образом: .

Смоделируем такое блуждание при помощи компьютера. Начиная с , будем генерить случайные числа , , ... и строить их накопленную сумму (1-й рисунок):

Walk winer.png

Так как изменения будут каждый раз новыми, то по-разному будут протекать и блуждания траектории (см. 2-й рисунок). Различные реализации процесса блуждания пересекают вертикальную прямую в тех или иных значениях . Совокупность всех этих чисел является случайной величиной.

Поэтому, говоря о процессе , мы подразумеваем, что в данный момент времени имеет определённое распределение . В некоторый другой момент времени распределение может оказаться иным. Поэтому плотность вероятности , среднее и волатильность будут функциями времени.

Волатильность аддитивного блуждания увеличивается, как . Это наглядно видно на 2-м рисунке с несколькими реализациями . Их "пучок" постепенно расширяется. В результате неопределённость будущего значения увеличивается. Мы можем обнаружить достаточно далеко от начального значения . Это также проиллюстрировано на 3-м рисунке, где представлены плотности вероятности , которые с течением времени постепенно "расплываются".

Блуждающие траектории начинаются с определённого начального значения в момент времени . Поэтому, говоря о вероятности, мы имеем дело с условной плотностью . Пока моменты времени и являются целыми числами, соответствующими номеру скачка на очередном этапе.

Важно понимать, что не является конкретной траекторией. Это одновременная совокупность всех возможных траекторий случайного процесса. Аналогично, случайное число не подразумевает конкретного значения, а обозначает все возможные реализации, подчиняющиеся некоторому распределению . Вероятность получить на -ом шаге определяется вероятностями всех изменений . Так, дискретный винеровский процесс определяется плотностью вероятности:

где равенство отражает независимость всех . Таким образом, — фактически, многомерная случайная величина.

Обратим ещё раз внимание на смысл записи: . Предположим, что в процессе моделирования мы генерим независимых гауссовых чисел и складываем их. Результат будет иметь такие же статистические свойства, как одно гауссово число с единичной волатильностью, умноженное на фактор . При вычислении свойств накопленной суммы вполне достаточно пользоваться величиной , а не совместной плотностью . В частности, если мы ищем среднее значение, в котором участвует сумма гауссовых чисел, его вычисление можно упростить, используя только одно случайное число. Однако, если нас интересует связь сумм, получаемых в различные моменты времени, то необходимы некоторые ухищрения. Рассмотрим их подробнее.

Для сравнения процесса блуждания с самим собой в различные моменты времени его необходимо разбивать на неперекрывающиеся участки времени. Пусть процесс длится шагов, а затем еще в течение . Сравним свойства траекторий в "моменты времени" и ():

Вычитая уравнения, получим сумму случайных чисел:

Второе равенство является отражением того, что суммарная волатильность независимых гауссовых слагаемых будет равна . Фактически, и можно представить в виде:

(1.40)

где , , как и везде в наших лекциях, — независимые гауссовые числа с нулевым средним и единичной дисперсией. Первое из них — — эквивалентно накопленной сумме начальных приращений, а второе — — соответствует независимым от последующим приращениям.

Теперь можно найти ковариацию между и . Так как , то:

в силу того, что и . Таким образом, ковариация зависит только от наименьшего числа , представляющего собой длительность общей для и истории. Для прояснения смысла этого результата запишем регрессионную прямую (1.25) между и . Их волатильности равны и , а средние — нулю, поэтому:

Таким образом, если известно, что в момент времени сумма равна , то наилучшим прогнозом будущего значения будет уже известное . Из (1.40) следует, что линейная регрессионная модель оказывается в данном случае точной. При этом её "шумом" выступают накопленные после момента времени изменения: .

Мы будем часто усреднять гауссовы величины, поэтому в качестве упражнения стоит проверить следующие соотношения ():

[Процесс необходимо разбить на три интервала.]

В заключение раздела ответим на следующий вопрос. Если , то какова вероятность обнаружить его на следующем шаге в ? Очевидно, что она равна вероятности изменения :

Мы положили и записали в явном виде гауссову плотность вероятности для . В результате условная вероятность зависит от обоих аргументов, поэтому случайные числа и являются зависимыми.

Дискретная траектория блуждания описывается множеством случайных величин , задающих возможные значения на шаге . Индекс можно записать в функциональной форме и говорить о случайной функции, которая пока определена только в дискретных точках. Таким образом, случайная функция — это многомерная величина. Для задания свойств случайного процесса в общем случае необходимо определить плотность вероятности с бесконечным числом аргументов.

Для винеровского процесса ситуация существенно упрощается, так как каждое следующее определяется значением непосредственно предшествующего и никак не зависит от более длинной предыстории. Этот факт мы будем записывать в следующем виде:

(1.41)

Если известно , то будет определяться значением и случайным изменением , а не всей историей . Процессы с такой "короткой памятью" называются марковскими процессами. Они представляют собой следующее приближение после независимости случайных величин, для которых

Марковские процессы позволяют представить совместную вероятность любой размерности в виде цепочки условных вероятностей. Например:

(1.42)

Для этого сначала записываем по определению условной вероятности. Затем используем определение для и марковское условие короткой памяти: . Таким образом, чтобы произошло , необходимо, чтобы свершилось . При условии, что это произошло, далее реализовалось , и т.д.


Многомерное распределение Гаусса << Оглавление >> Случайные процессы

Стохастический мир - простое введение в стохастические дифференциальные уравнения