Многомерное распределение Гаусса

Характеристическая функция <<	Оглавление	>> Модель аддитивного блуждания

---

$\textstyle \bullet$ При изучении систем стохастических уравнений мы будем активно использовать матричные и тензорные обозначения. Для сокращения операции умножения матриц используется два типа соглашений:

$\eta _{\alpha }=\sum _{i=1}^{n}S_{\alpha i}\;\varepsilon _{i}\;=\;S_{\alpha i}\;\varepsilon _{i}=(\mathbf {S} \cdot \mathbf {\epsilon } )_{\alpha }.$

По повторяющемуся индексу всегда подразумевается суммирование, и знак суммы опускается. Выше таковым является индекс "$i$" во втором равенстве. Повторяющиеся индексы, по которым проводится суммирование, называют "немыми". В процессе вычислений их можно переобозначить в любую букву, которая ещё не используется в выражении. Третье равенство в уравнении () — это матричная форма той же суммы, в которой матрица $\mathbf {S} =S_{\alpha \beta }$ и вектор $\textstyle \epsilon =\{\varepsilon _{1},...,\varepsilon _{n}\}$ перемножаются вообще без упоминания индексов и знака суммирования.

Рассмотрим $n$ независимых гауссовых случайных величин, имеющих нулевое среднее и единичную дисперсию. Среднее значение их произведения

Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle \left<\varepsilon_i \varepsilon_j\right>}

равно единице для совпадающих индексов и нулю — для различных. Подобная матрица будет обозначаться символом Кронекера:

$\left\langle \varepsilon _{i}\varepsilon _{j}\right\rangle =\delta _{ij}=\left\{{\begin{array}{ll}1&i=j\ 0&i\neq j.\end{array}}\right.$

Вычислим, например, ковариационную матрицу случайных величин $\textstyle \eta _{\alpha }$:

Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle \bigl<\eta_\alpha\eta_\beta\bigr> = S_{\alpha i} S_{\beta j} \bigl<\varepsilon_i\varepsilon_j\bigr> = S_{\alpha i} S_{\beta j} \delta_{ij} = S_{\alpha i} S_{\beta i} = S_{\alpha i} S^{T}_{i\beta} = (\mathbf{S}\mathbf{S}^T)_{\alpha\beta}. }

При суммировании с символом Кронекера $\textstyle \delta _{ij}$ в сумме остаются только слагаемые с $\textstyle i=j$. Поэтому одна из сумм (по $\textstyle j$) и символ Кронекера исчезают, и остаётся только суммационный индекс $\textstyle i$. Затем вводится новая матрица $\textstyle S_{i\beta }^{T}=S_{\beta i}$ с переставленными индексами. Подобная операция называется транспонированием. В табличном представлении она соответствует перестановке местами строк и столбцов матрицы.

Матрица $\textstyle \mathbf {S}$ может имеет обратную $\textstyle \mathbf {S} ^{-1}$, если выполняется уравнение:

$\mathbf {S} \cdot \mathbf {S} ^{-1}=\mathbf {S} ^{-1}\cdot \mathbf {S} =\mathbf {1} ,$

где $\textstyle \mathbf {1} =\delta _{ij}$ — единичная матрица (символ Кронекера). Так, для определённого выше вектора $\textstyle \eta =(\eta _{1},...,\eta _{n})$ можно записать:

$\eta =\mathbf {S} \cdot \epsilon \;\;\;\;\;\;\;\;=>\;\;\;\;\;\;\;\;\epsilon =\mathbf {S} ^{-1}\cdot \eta ,$

где мы умножили левую и правую части на $\textstyle \mathbf {S} ^{-1}$.

$\textstyle \bullet$ Пусть $\textstyle \epsilon =(\varepsilon _{1},...,\varepsilon _{n})$ — стандартные независимые гауссовые случайные величины $\textstyle \varepsilon _{i}\sim N(0,1)$, а величины $\textstyle \eta =(\eta _{1},...,\eta _{n})$ получены из них () при помощи перемешивающих коэффициентов $\textstyle S_{\alpha \beta }$. Среднее значение произведения $\textstyle \eta _{\alpha }\eta _{\beta }$ определяется матрицей дисперсий ():

Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle D_{\alpha\beta}=\bigl<\eta_\alpha\eta_\beta\bigr>,\;\;\;\;\;\;\;\;\;\;\;\;\;\;\mathbf{D} = \mathbf{S}\cdot \mathbf{S}^{T},}

которая является симметричной: $\textstyle D_{\alpha \beta }=D_{\beta \alpha }$.

Найдём производящую функцию для случайных величин $\textstyle \eta$. Для этого введём вектор $\textstyle \mathbf {b} =(b_{1},...,b_{n})$ и вычислим среднее экспоненты от скалярного произведения $\textstyle \mathbf {b} \cdot \eta =b_{1}\eta _{1}+...+b_{n}\eta _{n}$ (по $\textstyle n$ нет суммы!):

$\left\langle e^{\mathbf {b} \cdot \eta }\right\rangle =\left\langle e^{\mathbf {b} \cdot \mathbf {S} \cdot \varepsilon }\right\rangle =\left\langle e^{b_{i}S_{i1}\varepsilon _{1}}\right\rangle \cdot ...\cdot \left\langle e^{b_{i}S_{in}\varepsilon _{n}}\right\rangle =e^{{\frac {1}{2}}\{(b_{i}S_{i1})^{2}+...+(b_{i}S_{in})^{2}\}}.$

Мы воспользовались независимостью величин $\textstyle \varepsilon _{i}$, разбив среднее произведения на произведение средних, и формулой (), стр. \pageref{aver_exp_gauss}. В показателе экспоненты стоит матричное выражение вида:

$(b_{i}S_{i1})^{2}+...+(b_{i}S_{in})^{2}=b_{i}S_{ik}\,b_{j}S_{jk}=b_{i}\,S_{ik}\,S_{kj}^{T}\,b_{j}=\mathbf {b} \cdot \mathbf {S} \cdot \mathbf {S} ^{T}\cdot \mathbf {b} .$

Поэтому окончательно производящая функция равна:

$\phi (\mathbf {b} )=\left\langle e^{\mathbf {b} \cdot \eta }\right\rangle =e^{{\frac {1}{2}}\,\mathbf {b} \cdot \mathbf {D} \cdot \mathbf {b} }.$

Взяв частные производные по $\textstyle b_{\alpha }$, несложно найти среднее от любого произведения $\textstyle \eta _{\alpha }$. Проверим, что среднее Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle \textstyle \bigl<\eta_\alpha\eta_\beta\bigr>} равно $\textstyle D_{\alpha \beta }$. Возьмём производную производящей функции по $\textstyle b_{\alpha }$. Учитывая, что $\textstyle \mathbf {b} \cdot \mathbf {D} \cdot \mathbf {b}$ равно $\textstyle b_{i}D_{ij}b_{j}$, имеем:

${\frac {\partial \phi (\mathbf {b} )}{\partial b_{\alpha }}}={\frac {1}{2}}\,(D_{\alpha j}b_{j}+b_{i}D_{i\alpha })\,\phi (\mathbf {b} )=D_{\alpha i}b_{i}\,\phi (\mathbf {b} ),$

где во втором равенстве мы воспользовались тем, что $\textstyle D_{\alpha \beta }=D_{\beta \alpha }$. Аналогично берётся вторая производная:

${\frac {\partial ^{2}\phi (\mathbf {b} )}{\partial b_{\alpha }\partial b_{\beta }}}=D_{\alpha \beta }\,\phi (\mathbf {b} )+D_{\alpha i}b_{i}\,D_{\beta j}b_{j}\,\phi (\mathbf {b} ).$

Полагая $\textstyle \mathbf {b} =0$ и учитывая, что

Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle \frac{\partial^2 \left\langle e^{\mathbf{b}\cdot \eta}\right\rangle }{\partial b_\alpha \partial b_\beta }\Big|_{\mathbf{b}=0} = \bigl<\eta_\alpha\eta_\beta\bigr>,}

приходим к соотношению Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle \textstyle D_{\alpha\beta}=\bigl<\eta_\alpha\eta_\beta\bigr>} . В качестве упражнения предлагается проверить следующее тензорное выражение:

Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle \bigl<\eta_\alpha\eta_\beta\eta_\gamma\eta_k\bigr> =D_{\alpha\beta}D_{\gamma k} + D_{\alpha\gamma}D_{\beta k} + D_{\alpha k}D_{\beta \gamma}.}

Таким образом, среднее любых степеней $\textstyle \eta$ полностью определяется матрицей дисперсии \mathbf{D}.

$\textstyle \bullet$ Найдём теперь явный вид совместной плотности вероятности для величин $\textstyle \eta _{1},...,\eta _{n}$. Запишем сначала плотность вероятности для $\textstyle \varepsilon _{1},...,\varepsilon _{n}$:

$P(\varepsilon _{1},...,\varepsilon _{n})=P(\varepsilon _{1})\cdot ...\cdot P(\varepsilon _{n})={\frac {e^{-{\frac {1}{2}}\,(\varepsilon _{1}^{2}+...+\varepsilon _{n}^{2})}}{(2\pi )^{n/2}}}.$

При замене переменных $\textstyle \eta _{\alpha }=S_{\alpha \beta }\varepsilon _{\beta }$ в интеграле необходимо изменить элемент объёма интегрирования $\textstyle d^{n}\varepsilon =d\varepsilon _{1}...d\varepsilon _{n}$, умножив его на якобиан:

$d^{n}\eta =\det \left|{\frac {\partial \eta _{\alpha }}{\partial \varepsilon _{\beta }}}\right|\,d^{n}\varepsilon =(\det \mathbf {S} )\,d^{n}\varepsilon .$

Так как при транспонировании матрицы её определитель не изменяется, а определитель произведения матриц равен произведению их определителей, то $\textstyle \det \mathbf {D} =(\det \mathbf {S} )^{2}$ и, следовательно:

$P(\eta _{1},...,\eta _{n})={\frac {e^{-{\frac {1}{2}}\,\eta \cdot \mathbf {D} ^{-1}\cdot \eta }}{(2\pi )^{n/2}{\sqrt {\det \mathbf {D} }}}},$

где в показателе экспоненты подставлены $\textstyle \epsilon =\mathbf {S} ^{-1}\cdot \eta$:

$\epsilon ^{2}=S_{i\alpha }^{-1}\eta _{\alpha }\,S_{i\beta }^{-1}\eta _{\beta }=\eta _{\alpha }{S^{-1}}_{\alpha i}^{T}\,S_{i\beta }^{-1}\eta _{\beta }=\eta \cdot {\mathbf {S} ^{-1}}^{T}\cdot \mathbf {S} ^{-1}\cdot \eta =\eta \cdot (\mathbf {S} \cdot \mathbf {S} ^{T})^{-1}\cdot \eta$

и использовано свойство обратных матриц $\textstyle (\mathbf {A} \cdot \mathbf {b} )^{-1}=\mathbf {b} ^{-1}\cdot \mathbf {A} ^{-1}$ (см. стр. \pageref{math_mat_tensor}). Как и любая плотность вероятности, $\textstyle P(\eta _{1},...,\eta _{n})$ нормирована на единицу, поэтому, учитывая выражение для производящей функции Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle \textstyle \bigl<e^{\mathbf{b}\cdot \eta}\bigr>} , можно записать значение следующего $\textstyle n$-мерного гауссового интеграла:

$\int \limits _{-\infty }^{\infty }e^{\mathbf {b} \cdot \eta -{\frac {1}{2}}\eta \cdot \mathbf {D} ^{-1}\cdot \eta }\,d^{n}\eta =(2\pi )^{n/2}\,{\sqrt {\det \mathbf {D} }}\;e^{{\frac {1}{2}}\,\mathbf {b} \cdot \mathbf {D} \cdot \mathbf {b} }.$

До сих пор мы работали с перемешанными величинами, имеющими нулевое среднее: Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle \textstyle \bigl<\eta\bigr>=\mathbf{S}\cdot \bigl<\epsilon\bigr>=0} . Можно к ним прибавить некоторый постоянный вектор $\textstyle {\bar {\eta }}_{\alpha }$, который будет иметь смысл средних значений $\textstyle \eta _{\alpha }$:

$\eta _{\alpha }={\bar {\eta }}_{\alpha }+S_{\alpha \beta }\varepsilon _{\beta }.$

Тогда общее $\textstyle n$-мерное гауссово распределение принимает вид:

$P(\eta _{1},...,\eta _{n})={\frac {e^{-{\frac {1}{2}}\,(\eta -{\bar {\eta }})\cdot \mathbf {D} ^{-1}\cdot (\eta -{\bar {\eta }})}}{(2\pi )^{n/2}{\sqrt {\det \mathbf {D} }}}},$

где в плотность вероятности $\textstyle P(\varepsilon _{1},...,\varepsilon _{n})$ подставлено $\textstyle \epsilon =\mathbf {S} ^{-1}\cdot (\eta -{\bar {\eta }})$.

$\textstyle \bullet$ Рассмотрим в качестве примера случай $\textstyle n=2$. Запишем элементы симметричной матрицы $\textstyle D_{\alpha \beta }$ при помощи трёх независимых констант $\textstyle \sigma _{1}$, $\textstyle \sigma _{2}$ и $\textstyle \rho$:

$\mathbf {D} ={\begin{pmatrix}\sigma _{1}^{2}&\rho \,\sigma _{1}\sigma _{2}\ \rho \,\sigma _{1}\sigma _{2}&\sigma _{2}^{2}\ \end{pmatrix}}.$

Несложно проверить, что определитель $\textstyle \mathbf {D}$ равен

$\det \mathbf {D} =\sigma _{1}^{2}\sigma _{2}^{2}(1-\rho ^{2}),$

а обратная к $\textstyle \mathbf {D}$ матрица имеет вид:

$\mathbf {D} ^{-1}={\frac {1}{\det \mathbf {D} }}\,{\begin{pmatrix}\sigma _{2}^{2}&-\rho \,\sigma _{1}\sigma _{2}\ -\rho \,\sigma _{1}\sigma _{2}&\sigma _{1}^{2}\ \end{pmatrix}}.$

В результате совместная плотность вероятности для $\textstyle \eta _{1},\eta _{2}$ может быть записана следующим образом:

$P(\eta _{1},\eta _{2})={\frac {\exp\{-(x_{1}^{2}-2\rho \,x_{1}x_{2}+x_{2}^{2})/2(1-\rho ^{2})\}}{2\pi \sigma _{1}\sigma _{2}{\sqrt {1-\rho ^{2}}}}},$

где $\textstyle x_{i}=(\eta _{i}-{\bar {\eta }}_{i})/\sigma _{i}$ — относительные отклонения $\textstyle \eta _{i}$ от своих средних $\textstyle {\bar {\eta }}_{i}$. Параметры $\textstyle \sigma _{i}$ являются волатильностями: Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \bigl<(\eta_1-\bar{\eta}_1)^2\bigr>=D_{11}=\sigma^2_1} , а $\textstyle \rho$ — коэффициент корреляции: $\textstyle \rho =\left\langle x_{1}x_{2}\right\rangle$.

Матрица $\textstyle \mathbf {D}$ является симметричной, тогда как $\textstyle \mathbf {S}$ в общем случае — нет. Поэтому $\textstyle \mathbf {D}$ зависит от трёх параметров, а $\textstyle \mathbf {S}$ — от четырёх, и одной и той же матрице дисперсии может соответствовать несколько различных матриц $\textstyle \mathbf {S}$. Так, можно записать:

$\mathbf {S} ={\begin{pmatrix}\sigma _{1}\cos \alpha &\sigma _{1}\sin \alpha \ \sigma _{2}\sin \beta &\sigma _{2}\cos \beta \ \end{pmatrix}},$

где $\textstyle \rho =\sin(\alpha +\beta )$. Понятно, что возможны различные комбинации "углов" $\textstyle \alpha$ и $\textstyle \beta$, дающие один и тот же корреляционный коэффициент $\textstyle \rho$.

Если $\textstyle \alpha =-\beta$, то $\textstyle \rho =0$, и $\textstyle \mathbf {D} =\mathbf {S} \mathbf {S} ^{T}$ является диагональной, а при $\textstyle \sigma _{1}=\sigma _{2}=1$ — единичной. Матрицу $\textstyle \mathbf {S}$, удовлетворяющую уравнению $\textstyle \mathbf {S} \mathbf {S} ^{T}=\mathbf {1}$, называют ортогональной.

Если $\textstyle \alpha =0$, $\textstyle \rho =\sin \beta$, $\textstyle \sigma _{1}=\sigma _{2}=1$, то

$\mathbf {S} ={\begin{pmatrix}1&0\ \rho &{\sqrt {1-\rho ^{2}}}\ \end{pmatrix}},\;\;\;\;\;\;\;\;\;\;\;\;\;\mathbf {D} ={\begin{pmatrix}1&\rho \ \rho &1\ \end{pmatrix}}.$

Подобная смесь переводит независимые стандартные случайные величины $\textstyle \varepsilon _{1},\varepsilon _{2}\sim N(0,1)$ в скоррелированные, так что $\textstyle \eta _{1},\eta _{2}\sim N(0,1)$ :

Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle \left\{ \begin{array}{l} \eta_1 =\;\; \varepsilon_1\ \eta_2 = \rho\,\varepsilon_1+ \sqrt{1-\rho^2}\;\varepsilon_2\ \end{array} \right. \;\;\;\;\;=>\;\;\;\;\; \bigl<\eta_1\cdot\eta_2\bigr> = \rho,\;\;\;\;\;\;\bigl<\eta^2_1\bigr>=\bigl<\eta^2_2\bigr>=1.}

Это позволяет, например, при компьютерном моделировании генерить скоррелированные величины при помощи нескоррелированных.

---

Характеристическая функция <<	Оглавление	>> Модель аддитивного блуждания

---

Стохастический мир - простое введение в стохастические дифференциальные уравнения