Автокорреляция и спектр

Представление стохастических решений <<	Оглавление	>> Порождающий процесс Винера

---

$\textstyle \bullet$ В первой главе (стр. \pageref{ACF_def}) мы говорили о том, что важной характеристикой стохастического процесса является связь "прошлого" и "будущего". Она определяется автоковариацией между двумя моментами времени $\textstyle t_{1}<t_{2}$ при условии, что при $\textstyle t=t_{0}$ наблюдалось значение $\textstyle x_{0}=x(t_{0})$:

$\mathrm {cov} _{t_{0}}(t_{1},t_{2})=\left\langle {\bigl (}x_{t_{1}}-{\bar {x}}_{t_{1}}{\bigr )}\cdot {\bigl (}x_{t_{2}}-{\bar {x}}_{t_{2}}{\bigr )}\right\rangle ,$

где $\textstyle {\bar {x}}_{t}=\left\langle x(t)\right\rangle$ — среднее значение в момент времени $\textstyle t$, а $\textstyle x_{t_{i}}=x(t_{i})$.

Если решение стохастического дифференциального уравнения выражено через гауссову случайную переменную $\textstyle \varepsilon$, то вычисление автоковариации становится несложной задачей. Рассмотрим, например, винеровское блуждание с начальным значением $\textstyle x_{0}=x(t_{0})$:

$x(t)=x_{0}+\mu \cdot (t-t_{0})+\sigma {\sqrt {t-t_{0}}}\cdot \varepsilon .$

Удобно положить $\textstyle t_{0}=0$, $\textstyle t_{1}=t$ и $\textstyle t_{2}=t+\tau$. При вычислении автоковариации предполагается, что $\textstyle x$, прежде чем достигнуть Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle x_{t+\tau}=x(t+\tau)} , проходит через $\textstyle x_{t}=x(t)$. Поэтому решение необходимо разбить на два интервала времени $\textstyle [0...t]$ и $\textstyle [t...t+\tau ]$. Считая $\textstyle x_{t}$ начальным условием при $\textstyle \tau =0$ для $\textstyle x_{t+\tau }$ запишем:

$x_{t+\tau }=x_{t}+\mu \,\tau +\sigma \,{\sqrt {\tau }}\,\varepsilon .$

Если будущее блуждание $\textstyle \varepsilon$ не зависит от случайной величины процесса $\textstyle x_{t}$ в момент времени $\textstyle t$, то $\textstyle \left\langle x_{t}\varepsilon \right\rangle =\left\langle x_{t}\right\rangle \left\langle \varepsilon \right\rangle =0$, и:

$\left\langle x_{t+\tau }x_{t}\right\rangle =\left\langle x_{t}^{2}\right\rangle +\mu \tau \,\left\langle x_{t}\right\rangle .$

Так как:

$\left\langle x_{t}\right\rangle =x_{0}+\mu t,\;\;\;\;\;\;\left\langle x_{t}^{2}\right\rangle -\left\langle x_{t}\right\rangle ^{2}=\sigma ^{2}\,t,$

легко найти автоковариационную функцию:

$\mathrm {cov} \,(t,t+\tau )=\left\langle x_{t+\tau }x_{t}\right\rangle -\left\langle x_{t+\tau }\right\rangle \left\langle x_{t}\right\rangle =\sigma ^{2}\,t.$

Она зависит только от ближайшего к $\textstyle t_{0}=0$ времени $\textstyle t$ и не зависит от $\textstyle \tau$. Смысл этого факта мы обсуждали при описании дискретного винеровского процесса.

Аналогично вычисляются автоковариации для других стохастических процессов. В качестве упражнения имеет смысл найти автоковариацию для логарифмического блуждания и броуновского моста.

$\textstyle \bullet$ Для процесса Орнштейна-Уленбека решение:

$x(t)=\alpha +{\bigl (}x_{0}-\alpha {\bigr )}e^{-\beta \cdot (t-t_{0})}+{\frac {\sigma }{\sqrt {2\beta }}}\,{\sqrt {1-e^{-2\beta \cdot (t-t_{0})}}}\cdot \;\varepsilon$

при вычислении автоковариации также необходимо разбить на два интервала. В результате ($\textstyle t_{0}=0$):

$\mathrm {cov} \,(t,t+\tau )=\sigma ^{2}(t)\,e^{-\beta \tau }={\frac {\sigma ^{2}}{2\beta }}\,\left[1-e^{-2\beta \,t}\right]\,e^{-\beta \tau }.$

Если мы рассмотрим большое $\textstyle t$, но конечное $\textstyle \tau$, то автоковариация () будет стремиться к выражению, зависящему только от разности времён $\textstyle \tau =t_{2}-t_{1}$:

$\mathrm {cov} \,(t,t+\tau )\;\to \;{\frac {\sigma ^{2}}{2\beta }}\cdot e^{-\beta \,\tau }.$

Стационарным случайным процессом называется процесс, свойства которого не зависят от выбора начала отсчёта времени. Стационарность в широком смысле означает, что среднее значение и волатильность не зависят от времени $\textstyle {\bar {x}}(t)=const$, $\textstyle \sigma (t)=const$, а корреляционная функция является только функцией разности времён $\textstyle \mathrm {cov} \,(t_{1},t_{2})=\mathrm {cov} \,(t_{2}-t_{1})$. По этому определению винеровское и логарифмическое блуждания не являются стационарными в широком смысле. В частности, для винеровского процесса волатильность увеличивается со временем, а автокорреляционная функция зависит только от первого времени $\textstyle t_{1}$. В то же время, эти процессы являются стационарными в узком смысле. Их среднее и волатильность зависят от $\textstyle t-t_{0}$ и не изменяются при сдвиге времени. Процесс Орнштейна-Уленбека становится стационарным в широком смысле в асимптотическом пределе $\textstyle t\to \infty$. При задании произвольного $\textstyle x_{0}$, сильно отличающегося от $\textstyle \alpha$, процесс будет стремиться к $\textstyle \alpha$ (большой снос). При попадании в окрестности этого равновесного уровня начинается блуждание, статистические свойства которого не зависят от того, какое значение Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle x_0} было в начальный момент времени. Происходит "забывание" начальных условий.

Если коэффициенты сноса и волатильности в стохастическом дифференциальном уравнении Ито не зависят от времени, то его решение не должно зависеть от выбора начала отсчёта Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle x=f(x_0, t-t_0, \varepsilon)} . Оно является стационарным в узком смысле. Но только в достаточно простых ситуациях среднее и волатильность постоянны и, следовательно, стационарны в широком смысле.

Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \bullet} Представим случайную функцию Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle x(t)} в следующем виде:

Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle x(t)=\bar{x}(t) + \sum_k \xi_k \,\phi_k(t),}

где Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \xi_k} — случайные нескоррелированные величины с нулевым средним и единичной дисперсией. В общем случае они имеют не гауссово распределение. Функции Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \phi_k(t)} являются обычными неслучайными функциями времени, а Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \bar{x}(t)} — среднее значение стационарного процесса. Подобное представление называют каноническим разложением.

Автоковариационная функция и волатильность, в силу независимости Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \left\langle \xi_i\xi_j\right\rangle =\delta_{ij}} случайных величин Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \xi_i} , выражаются через функции Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \phi_k(t)} :

Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \mathrm{cov}\,(t_1, t_2) = \sum_k \phi_k(t_1) \phi_k(t_2),\;\;\;\;\;\;\;\;\;\sigma^2(t)=\sum_k \phi_k^2(t).}

В случае стационарных в широком смысле случайных процессов в качестве базиса Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \phi_k(t)} удобно выбрать гармоники Фурье. Рассмотрим симметричный интервал времени Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle [-T/2..T/2]} и введём частоты Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \omega_k=2\pi k/T} . Тогда стохастическим аналогом детерминированного фурье — разложения (стр. \pageref{math_cont_fourie}) будет следующее представление:

Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle x(t) = \bar{x} + \sum^{\infty}_{k=0} \left\{\xi_k \cdot a_k \,\cos(\omega_k t) + \eta_k\cdot b_k \sin(\omega_k t)\right\},}

где Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \xi_k} , $\textstyle \eta _{k}$ — независимые случайные числа с нулевым средним и единичной волатильностью. Найдём ковариацию:

Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \mathrm{cov}\,(t_1, t_2) = \sum^\infty_{k=0} \left\{ a_k^2 \cos(\omega_k t_1) \cos(\omega_k t_2) + b_k^2 \sin(\omega_k t_1)\sin(\omega_k t_2)\right\}.}

Для стационарного процесса ковариация зависит только от разности времён Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \tau=t_2-t_1} . Это произойдёт, если Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle a^2_k=b^2_k} :

Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \mathrm{cov}\,(t_1, t_2) = \mathrm{cov}\,(\tau) = \sum^\infty_{k=0} a_k^2 \cos(\omega_k \tau),}

или в силу ортогональности косинусов:

Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle a^2_k = \frac{2}{T}\,\int\limits^{T/2}_{-T/2} \mathrm{cov}\,(\tau) \cos(\omega_k\tau)\, d\tau.}

Коэффициенты Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle a^2_k} являются квадратами амплитуд и характеризуют вклад той или иной гармоники с частотой $\textstyle \omega _{k}$ в случайный процесс. Чем они больше, тем типичнее случайные колебания с этой частотой.

Введём спектральную функцию Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \mathcal S(\omega)=a^2_k/\Delta \omega=a^2_k\cdot T/2\pi} и устремим Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle T} к бесконечности. Так как ковариационная функция, в силу определения, симметрична: Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \mathrm{cov}\,(t_1, t_2)=\mathrm{cov}\,(t_2, t_1)} , то стационарная ковариация будет чётной: Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \mathrm{cov}\,(-\tau)=\mathrm{cov}\,(\tau)} . Поэтому:

Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \mathcal S(\omega) = \frac{1}{\pi} \int\limits^\infty_{-\infty} \mathrm{cov}\,(\tau) \, \cos(\omega \tau) \,d\tau = \frac{1}{\pi} \int\limits^\infty_{-\infty} \mathrm{cov}\,(\tau) \,e^{i\omega \tau} \,d\tau.}

В стационарном случае случайный процесс совершает некоторые нерегулярные колебания вокруг среднего значения. Иногда эти колебания обладают свойством квазипериодичности, когда наблюдается некоторая изменяющаяся, но всё же в среднем стабильная частота колебаний. Инструментом изучения подобных явлений служит спектральная функция, являющаяся фурье — образом стационарной ковариационной функции Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \mathrm{cov}\,(\tau)=\mathrm{cov}\,(t_2-t_1)} :

Для процесса Орнштейна - Уленбека:

${\mathcal {S}}(\omega )={\frac {\sigma ^{2}}{2\beta \pi }}\cdot \int \limits _{-\infty }^{\infty }e^{i\omega \tau -\beta \,|\tau |}\,d\tau ={\frac {\sigma ^{2}/\pi }{\omega ^{2}+\beta ^{2}}}.$

Это монотонно убывающая функция с максимумом при Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \omega=0} . Чем параметр Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \beta} меньше, тем более типичными будут маленькие частоты колебания (большие периоды). В этом случае притяжение к равновесному уровню слабое, поэтому возможны блуждания, уходящие далеко и надолго вверх или вниз от положения равновесия.

Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \bullet} До сих пор мы предполагали, что начальное условие для случайного процесса зафиксировано абсолютно точно. Иногда удобно рассматривать некоторый набор начальных условий, задаваемый плотностью вероятности Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle P(x_0)} . В этом случае величина Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle x_0} в наших решениях будет не константой, а случайной величиной. Обычно предполагается, что она не зависит от свойств блуждания в последующие моменты времени и Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \left\langle x_0\varepsilon\right\rangle =\left\langle x_0\right\rangle \left\langle \varepsilon\right\rangle =0} . Следовательно, дисперсия винеровского блуждания:

$\left\langle (x(t)-{\bar {x}})^{2}\right\rangle =\left\langle (x_{0}-{\bar {x}}_{0}+\sigma {\sqrt {t-t_{0}}}\,\varepsilon )^{2}\right\rangle =\left\langle (x_{0}-{\bar {x}}_{0})^{2}\right\rangle +\sigma ^{2}\cdot (t-t_{0})$

равна сумме неопределённости начальных условий и неопределённости процесса блуждания Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \sigma^2_x = \sigma^2_{x_0} + \sigma^2\cdot (t-t_0)} . Аналогичным образом подправляются и выражения для автоковариации.

---

Представление стохастических решений <<	Оглавление	>> Порождающий процесс Винера

---

Стохастический мир - простое введение в стохастические дифференциальные уравнения