Автокорреляция и спектр — различия между версиями

Материал из synset
Перейти к: навигация, поиск
(Новая страница: «{| width="100%" | width="40%"|Представление стохастических решений << ! width="20%"|[[Стохастический мир|…»)
 
Строка 5: Строка 5:
 
|}
 
|}
 
----
 
----
 +
<math>\textstyle \bullet</math> В первой главе (стр. \pageref{ACF_def}) мы говорили о том, что важной характеристикой стохастического процесса является связь "прошлого" и "будущего". Она определяется ''автоковариацией'' между двумя моментами времени <math>\textstyle t_1<t_2</math> ''при условии'', что при <math>\textstyle t=t_0</math> наблюдалось значение <math>\textstyle x_0=x(t_0)</math>:
 +
 +
:<center><math> \cov_{t_0}( t_1, t_2) = \left\langle \bigl(x_{t_1}-\bar{x}_{t_1}\bigr)\cdot\bigl(x_{t_2}-\bar{x}_{t_2}\bigr)\right\rangle , </math></center>
 +
 +
где <math>\textstyle \bar{x}_t=\left\langle x(t)\right\rangle </math> &mdash; среднее значение в момент времени <math>\textstyle t</math>, а <math>\textstyle x_{t_i}=x(t_i)</math>.
 +
 +
Если решение стохастического дифференциального уравнения выражено через гауссову случайную переменную <math>\textstyle \varepsilon</math>, то вычисление автоковариации становится несложной задачей. Рассмотрим, например, винеровское блуждание с начальным значением <math>\textstyle x_0=x(t_0)</math>:
 +
 +
:<center><math>x(t) = x_0 + \mu\cdot (t-t_0) + \sigma\sqrt{t-t_0}\cdot \varepsilon.</math></center>
 +
 +
Удобно положить <math>\textstyle t_0=0</math>, <math>\textstyle t_1=t</math> и <math>\textstyle t_2=t+\tau</math>. При вычислении автоковариации предполагается, что <math>\textstyle x</math>, прежде чем достигнуть <math>\textstyle x_{t+\tau}=x(t+\tau)</math>, проходит через <math>\textstyle x_t=x(t)</math>. Поэтому решение необходимо разбить на два интервала времени <math>\textstyle [0...t]</math> и <math>\textstyle [t...t+\tau]</math>. Считая <math>\textstyle x_t</math> начальным условием при <math>\textstyle \tau=0</math> для <math>\textstyle x_{t+\tau}</math> запишем:
 +
 +
:<center><math> x_{t+\tau}=x_t + \mu\, \tau + \sigma\,\sqrt{\tau} \, \varepsilon.\\ </math></center>
 +
 +
Если будущее блуждание <math>\textstyle \varepsilon</math> не зависит от ''случайной'' величины процесса <math>\textstyle x_t</math> в момент времени <math>\textstyle t</math>, то <math>\textstyle \left\langle x_t\varepsilon\right\rangle =\left\langle x_t\right\rangle \left\langle \varepsilon\right\rangle =0</math>, и:
 +
 +
:<center><math>\left\langle x_{t+\tau}x_t\right\rangle =\left\langle x^2_t\right\rangle + \mu\tau\,\left\langle x_t\right\rangle .</math></center>
 +
 +
Так как:
 +
 +
:<center><math>\left\langle x_t\right\rangle = x_0+\mu t,\;\;\;\;\;\;\left\langle x^2_t\right\rangle - \left\langle x_t\right\rangle ^2= \sigma^2 \, t,</math></center>
 +
 +
легко найти автоковариационную функцию:
 +
 +
:<center><math>\mathrm{cov}\,(t,t+\tau) = \left\langle x_{t+\tau}x_t\right\rangle - \left\langle x_{t+\tau}\right\rangle \left\langle x_t\right\rangle =\sigma^2\, t.</math></center>
 +
 +
Она зависит только от ближайшего к <math>\textstyle t_0=0</math> времени <math>\textstyle t</math> и не зависит от <math>\textstyle \tau</math>. Смысл этого факта мы обсуждали при описании дискретного винеровского процесса (стр. \pageref{sys_W_s_t}).
 +
 +
Аналогично вычисляются автоковариации для других стохастических процессов. В качестве упражнения имеет смысл найти автоковариацию для логарифмического блуждания (<math>\textstyle \lessdot</math> H) и броуновского моста (<math>\textstyle \lessdot</math> H).
 +
 +
<math>\textstyle \bullet</math> Для процесса Орнштейна-Уленбека решение:
 +
 +
:<center><math> x(t) = \alpha + \bigl(x_0-\alpha\bigr) e^{-\beta\cdot(t-t_0)} + \frac{\sigma}{\sqrt{2\beta}}\, \sqrt{1-e^{-2\beta\cdot(t-t_0)}}\cdot \; \varepsilon </math></center>
 +
 +
при вычислении автоковариации также необходимо разбить на два интервала (<math>\textstyle \lessdot</math> H). В результате (<math>\textstyle t_0=0</math>):
 +
 +
:<center><math> \mathrm{cov}\,(t, t+\tau)= \sigma^2(t) \,e^{-\beta\tau} = \frac{\sigma^2}{2\beta} \, \left[1- e^{-2\beta\,t} \right] \, e^{-\beta\tau}. </math></center>
 +
 +
Если мы рассмотрим большое <math>\textstyle t</math>, но ''конечное'' <math>\textstyle \tau</math>, то автоковариация () будет стремиться к выражению, зависящему только от ''разности времён'' <math>\textstyle \tau=t_2-t_1</math>:
 +
 +
:<center><math> \mathrm{cov}\,(t, t+\tau) \;\to\; \frac{\sigma^2}{2\beta} \cdot e^{-\beta\, \tau}. </math></center>
 +
 +
''Стационарным'' случайным процессом называется процесс, свойства которого не зависят от выбора начала отсчёта времени. Стационарность в ''широком смысле'' означает, что среднее значение и волатильность не зависят от времени <math>\textstyle \bar{x}(t)=const</math>, <math>\textstyle \sigma(t)=const</math>, а корреляционная функция является только функцией разности времён <math>\textstyle \mathrm{cov}\,(t_1,t_2)=\mathrm{cov}\,(t_2-t_1)</math>. По этому определению винеровское и логарифмическое блуждания не являются стационарными в широком смысле. В частности, для винеровского процесса волатильность увеличивается со временем, а автокорреляционная функция зависит только от первого времени <math>\textstyle t_1</math>. В то же время, эти процессы являются стационарными в ''узком смысле''. Их среднее и волатильность зависят от <math>\textstyle t-t_0</math> и не изменяются при сдвиге времени. Процесс Орнштейна-Уленбека становится стационарным в широком смысле в асимптотическом пределе <math>\textstyle t\to \infty</math>. При задании произвольного <math>\textstyle x_0</math>, сильно отличающегося от <math>\textstyle \alpha</math>, процесс будет стремиться к <math>\textstyle \alpha</math> (большой снос). При попадании в окрестности этого равновесного уровня начинается блуждание, статистические свойства которого не зависят от того, какое значение <math>\textstyle x_0</math> было в начальный момент времени. Происходит "забывание" начальных условий.
 +
 +
Если коэффициенты сноса и волатильности в стохастическом дифференциальном уравнении Ито не зависят от времени, то его решение не должно зависеть от выбора начала отсчёта <math>\textstyle x=f(x_0, t-t_0, \varepsilon)</math>. Оно является стационарным в узком смысле. Но только в достаточно простых ситуациях среднее и волатильность постоянны и, следовательно, стационарны в широком смысле.
 +
 +
<math>\textstyle \bullet</math> Представим случайную функцию <math>\textstyle x(t)</math> в следующем виде:
 +
 +
:<center><math>x(t)=\bar{x}(t) + \sum_k \xi_k \,\phi_k(t),</math></center>
 +
 +
где <math>\textstyle \xi_k</math> &mdash; случайные нескоррелированные величины с нулевым средним и единичной дисперсией. В общем случае они имеют ''не'' гауссово распределение. Функции <math>\textstyle \phi_k(t)</math> являются обычными неслучайными функциями времени, а <math>\textstyle \bar{x}(t)</math> &mdash; среднее значение стационарного процесса. Подобное представление называют ''каноническим разложением''.
 +
 +
Автоковариационная функция и волатильность, в силу независимости <math>\textstyle \left\langle \xi_i\xi_j\right\rangle =\delta_{ij}</math> случайных величин <math>\textstyle \xi_i</math>, выражаются через функции <math>\textstyle \phi_k(t)</math>:
 +
 +
:<center><math>\mathrm{cov}\,(t_1, t_2) = \sum_k \phi_k(t_1) \phi_k(t_2),\;\;\;\;\;\;\;\;\;\sigma^2(t)=\sum_k \phi_k^2(t).</math></center>
 +
 +
В случае стационарных в широком смысле случайных процессов в качестве базиса <math>\textstyle \phi_k(t)</math> удобно выбрать гармоники Фурье. Рассмотрим симметричный интервал времени <math>\textstyle [-T/2..T/2]</math> и введём частоты <math>\textstyle \omega_k=2\pi k/T</math>. Тогда стохастическим аналогом детерминированного фурье &mdash; разложения (стр. \pageref{math_cont_fourie}) будет следующее представление:
 +
 +
:<center><math>x(t) = \bar{x} + \sum^{\infty}_{k=0} \left\{\xi_k \cdot a_k \,\cos(\omega_k t) + \eta_k\cdot b_k \sin(\omega_k t)\right\},</math></center>
 +
 +
где <math>\textstyle \xi_k</math>, <math>\textstyle \eta_k</math> &mdash; независимые случайные числа с нулевым средним и единичной волатильностью. Найдём ковариацию:
 +
 +
:<center><math>\mathrm{cov}\,(t_1, t_2) = \sum^\infty_{k=0} \left\{ a_k^2 \cos(\omega_k t_1) \cos(\omega_k t_2) + b_k^2 \sin(\omega_k t_1)\sin(\omega_k t_2)\right\}.</math></center>
 +
 +
Для стационарного процесса ковариация зависит только от разности времён <math>\textstyle \tau=t_2-t_1</math>. Это произойдёт, если <math>\textstyle a^2_k=b^2_k</math>:
 +
 +
:<center><math>\mathrm{cov}\,(t_1, t_2) = \mathrm{cov}\,(\tau) = \sum^\infty_{k=0} a_k^2 \cos(\omega_k \tau),</math></center>
 +
 +
или в силу ортогональности косинусов:
 +
 +
:<center><math>a^2_k = \frac{2}{T}\,\int\limits^{T/2}_{-T/2} \mathrm{cov}\,(\tau) \cos(\omega_k\tau)\, d\tau.</math></center>
 +
 +
Коэффициенты <math>\textstyle a^2_k</math> являются квадратами амплитуд и характеризуют вклад той или иной гармоники с частотой <math>\textstyle \omega_k</math> в случайный процесс. Чем они больше, тем типичнее случайные колебания с этой частотой.
 +
 +
Введём ''спектральную функцию'' <math>\textstyle \mathcal S(\omega)=a^2_k/\Delta \omega=a^2_k\cdot T/2\pi</math> и устремим <math>\textstyle T</math> к бесконечности. Так как ковариационная функция, в силу определения, симметрична: <math>\textstyle \mathrm{cov}\,(t_1, t_2)=\mathrm{cov}\,(t_2, t_1)</math>, то стационарная ковариация будет чётной: <math>\textstyle \mathrm{cov}\,(-\tau)=\mathrm{cov}\,(\tau)</math>. Поэтому:
 +
 +
:<center><math>\mathcal S(\omega) = \frac{1}{\pi} \int\limits^\infty_{-\infty} \mathrm{cov}\,(\tau) \, \cos(\omega \tau) \,d\tau = \frac{1}{\pi} \int\limits^\infty_{-\infty} \mathrm{cov}\,(\tau) \,e^{i\omega \tau} \,d\tau.</math></center>
 +
 +
В стационарном случае случайный процесс совершает некоторые нерегулярные колебания вокруг среднего значения. Иногда эти колебания обладают свойством квазипериодичности, когда наблюдается некоторая изменяющаяся, но всё же в среднем стабильная частота колебаний. Инструментом изучения подобных явлений служит спектральная функция, являющаяся фурье &mdash; образом стационарной ковариационной функции <math>\textstyle \mathrm{cov}\,(\tau)=\mathrm{cov}\,(t_2-t_1)</math>:
 +
 +
Для процесса Орнштейна - Уленбека:
 +
 +
:<center><math>\mathcal S(\omega) = \frac{\sigma^2}{2\beta\pi} \cdot \int\limits^\infty_{-\infty} e^{i\omega \tau -\beta\, |\tau|} \,d\tau = \frac{\sigma^2/\pi}{\omega^2+\beta^2}.</math></center>
 +
 +
Это монотонно убывающая функция с максимумом при <math>\textstyle \omega=0</math>. Чем параметр <math>\textstyle \beta</math> меньше, тем более типичными будут маленькие частоты колебания (большие периоды). В этом случае притяжение к равновесному уровню слабое, поэтому возможны блуждания, уходящие далеко и надолго вверх или вниз от положения равновесия.
 +
 +
<math>\textstyle \bullet</math> До сих пор мы предполагали, что начальное условие для случайного процесса зафиксировано абсолютно точно. Иногда удобно рассматривать некоторый набор начальных условий, задаваемый плотностью вероятности <math>\textstyle P(x_0)</math>. В этом случае величина <math>\textstyle x_0</math> в наших решениях будет не константой, а случайной величиной. Обычно предполагается, что она не зависит от свойств блуждания в последующие моменты времени и <math>\textstyle \left\langle x_0\varepsilon\right\rangle =\left\langle x_0\right\rangle \left\langle \varepsilon\right\rangle =0</math>. Следовательно, дисперсия винеровского блуждания:
 +
 +
:<center><math>\left\langle (x(t)-\bar{x})^2\right\rangle = \left\langle (x_0-\bar{x}_0 + \sigma\sqrt{t-t_0}\,\varepsilon)^2\right\rangle = \left\langle (x_0-\bar{x}_0)^2 \right\rangle + \sigma^2\cdot (t-t_0)</math></center>
 +
 +
равна сумме неопределённости начальных условий и неопределённости процесса блуждания <math>\textstyle \sigma^2_x = \sigma^2_{x_0} + \sigma^2\cdot (t-t_0)</math>. Аналогичным образом подправляются и выражения для автоковариации.
  
 
----
 
----

Версия 16:18, 27 января 2010

Представление стохастических решений << Оглавление >> Порождающий процесс Винера

В первой главе (стр. \pageref{ACF_def}) мы говорили о том, что важной характеристикой стохастического процесса является связь "прошлого" и "будущего". Она определяется автоковариацией между двумя моментами времени при условии, что при наблюдалось значение :

Невозможно разобрать выражение (неизвестная функция «\cov»): {\displaystyle \cov_{t_0}( t_1, t_2) = \left\langle \bigl(x_{t_1}-\bar{x}_{t_1}\bigr)\cdot\bigl(x_{t_2}-\bar{x}_{t_2}\bigr)\right\rangle , }

где — среднее значение в момент времени , а .

Если решение стохастического дифференциального уравнения выражено через гауссову случайную переменную , то вычисление автоковариации становится несложной задачей. Рассмотрим, например, винеровское блуждание с начальным значением :

Удобно положить , и . При вычислении автоковариации предполагается, что , прежде чем достигнуть , проходит через . Поэтому решение необходимо разбить на два интервала времени и . Считая начальным условием при для запишем:

Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle x_{t+\tau}=x_t + \mu\, \tau + \sigma\,\sqrt{\tau} \, \varepsilon.\\ }

Если будущее блуждание не зависит от случайной величины процесса в момент времени , то , и:

Так как:

легко найти автоковариационную функцию:

Она зависит только от ближайшего к времени и не зависит от . Смысл этого факта мы обсуждали при описании дискретного винеровского процесса (стр. \pageref{sys_W_s_t}).

Аналогично вычисляются автоковариации для других стохастических процессов. В качестве упражнения имеет смысл найти автоковариацию для логарифмического блуждания ( H) и броуновского моста ( H).

Для процесса Орнштейна-Уленбека решение:

при вычислении автоковариации также необходимо разбить на два интервала ( H). В результате ():

Если мы рассмотрим большое , но конечное , то автоковариация () будет стремиться к выражению, зависящему только от разности времён :

Стационарным случайным процессом называется процесс, свойства которого не зависят от выбора начала отсчёта времени. Стационарность в широком смысле означает, что среднее значение и волатильность не зависят от времени , , а корреляционная функция является только функцией разности времён . По этому определению винеровское и логарифмическое блуждания не являются стационарными в широком смысле. В частности, для винеровского процесса волатильность увеличивается со временем, а автокорреляционная функция зависит только от первого времени . В то же время, эти процессы являются стационарными в узком смысле. Их среднее и волатильность зависят от и не изменяются при сдвиге времени. Процесс Орнштейна-Уленбека становится стационарным в широком смысле в асимптотическом пределе . При задании произвольного , сильно отличающегося от , процесс будет стремиться к (большой снос). При попадании в окрестности этого равновесного уровня начинается блуждание, статистические свойства которого не зависят от того, какое значение было в начальный момент времени. Происходит "забывание" начальных условий.

Если коэффициенты сноса и волатильности в стохастическом дифференциальном уравнении Ито не зависят от времени, то его решение не должно зависеть от выбора начала отсчёта . Оно является стационарным в узком смысле. Но только в достаточно простых ситуациях среднее и волатильность постоянны и, следовательно, стационарны в широком смысле.

Представим случайную функцию в следующем виде:

где — случайные нескоррелированные величины с нулевым средним и единичной дисперсией. В общем случае они имеют не гауссово распределение. Функции являются обычными неслучайными функциями времени, а — среднее значение стационарного процесса. Подобное представление называют каноническим разложением.

Автоковариационная функция и волатильность, в силу независимости случайных величин , выражаются через функции :

В случае стационарных в широком смысле случайных процессов в качестве базиса удобно выбрать гармоники Фурье. Рассмотрим симметричный интервал времени и введём частоты . Тогда стохастическим аналогом детерминированного фурье — разложения (стр. \pageref{math_cont_fourie}) будет следующее представление:

где , — независимые случайные числа с нулевым средним и единичной волатильностью. Найдём ковариацию:

Для стационарного процесса ковариация зависит только от разности времён . Это произойдёт, если :

или в силу ортогональности косинусов:

Коэффициенты являются квадратами амплитуд и характеризуют вклад той или иной гармоники с частотой в случайный процесс. Чем они больше, тем типичнее случайные колебания с этой частотой.

Введём спектральную функцию и устремим к бесконечности. Так как ковариационная функция, в силу определения, симметрична: , то стационарная ковариация будет чётной: . Поэтому:

В стационарном случае случайный процесс совершает некоторые нерегулярные колебания вокруг среднего значения. Иногда эти колебания обладают свойством квазипериодичности, когда наблюдается некоторая изменяющаяся, но всё же в среднем стабильная частота колебаний. Инструментом изучения подобных явлений служит спектральная функция, являющаяся фурье — образом стационарной ковариационной функции :

Для процесса Орнштейна - Уленбека:

Это монотонно убывающая функция с максимумом при . Чем параметр меньше, тем более типичными будут маленькие частоты колебания (большие периоды). В этом случае притяжение к равновесному уровню слабое, поэтому возможны блуждания, уходящие далеко и надолго вверх или вниз от положения равновесия.

До сих пор мы предполагали, что начальное условие для случайного процесса зафиксировано абсолютно точно. Иногда удобно рассматривать некоторый набор начальных условий, задаваемый плотностью вероятности . В этом случае величина в наших решениях будет не константой, а случайной величиной. Обычно предполагается, что она не зависит от свойств блуждания в последующие моменты времени и . Следовательно, дисперсия винеровского блуждания:

равна сумме неопределённости начальных условий и неопределённости процесса блуждания . Аналогичным образом подправляются и выражения для автоковариации.


Представление стохастических решений << Оглавление >> Порождающий процесс Винера

Стохастический мир - простое введение в стохастические дифференциальные уравнения