Многомерное распределение Гаусса

Характеристическая функция <<	Оглавление	>> Модель аддитивного блуждания

---

$\textstyle \bullet$ При изучении систем стохастических уравнений мы будем активно использовать матричные и тензорные обозначения. Для сокращения операции умножения матриц используется два типа соглашений:

$\eta _{\alpha }=\sum _{i=1}^{n}S_{\alpha i}\;\varepsilon _{i}\;=\;S_{\alpha i}\;\varepsilon _{i}=(\mathbf {S} \cdot \mathbf {\epsilon } )_{\alpha }.$

По повторяющемуся индексу всегда подразумевается суммирование, и знак суммы опускается. Выше таковым является индекс "$i$" во втором равенстве. Повторяющиеся индексы, по которым проводится суммирование, называют "немыми". В процессе вычислений их можно переобозначить в любую букву, которая ещё не используется в выражении. Третье равенство в уравнении () — это матричная форма той же суммы, в которой матрица $\mathbf {S} =S_{\alpha \beta }$ и вектор $\textstyle \epsilon =\{\varepsilon _{1},...,\varepsilon _{n}\}$ перемножаются вообще без упоминания индексов и знака суммирования.

Рассмотрим $n$ независимых гауссовых случайных величин, имеющих нулевое среднее и единичную дисперсию. Среднее значение их произведения $\left\langle \varepsilon _{i}\varepsilon _{j}\right\rangle$ равно единице для совпадающих индексов и нулю — для различных. Подобная матрица будет обозначаться символом Кронекера:

$\left\langle \varepsilon _{i}\varepsilon _{j}\right\rangle =\delta _{ij}=\left\{{\begin{array}{ll}1&i=j\\0&i\neq j.\end{array}}\right.$

Вычислим, например, ковариационную матрицу случайных величин $\textstyle \eta _{\alpha }$:

${\bigl \langle }\eta _{\alpha }\eta _{\beta }{\bigr \rangle }=S_{\alpha i}S_{\beta j}{\bigl \langle }\varepsilon _{i}\varepsilon _{j}{\bigr \rangle }=S_{\alpha i}S_{\beta j}\delta _{ij}=S_{\alpha i}S_{\beta i}=S_{\alpha i}S_{i\beta }^{T}=(\mathbf {S} \mathbf {S} ^{T})_{\alpha \beta }.$

При суммировании с символом Кронекера $\textstyle \delta _{ij}$ в сумме остаются только слагаемые с Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle i=j} . Поэтому одна из сумм (по $\textstyle j$) и символ Кронекера исчезают, и остаётся только суммационный индекс $\textstyle i$. Затем вводится новая матрица $\textstyle S_{i\beta }^{T}=S_{\beta i}$ с переставленными индексами. Подобная операция называется транспонированием. В табличном представлении она соответствует перестановке местами строк и столбцов матрицы.

Матрица $\textstyle \mathbf {S}$ может имеет обратную $\textstyle \mathbf {S} ^{-1}$, если выполняется уравнение:

$\mathbf {S} \cdot \mathbf {S} ^{-1}=\mathbf {S} ^{-1}\cdot \mathbf {S} =\mathbf {1} ,$

где $\textstyle \mathbf {1} =\delta _{ij}$ — единичная матрица (символ Кронекера). Так, для определённого выше вектора $\textstyle \eta =(\eta _{1},...,\eta _{n})$ можно записать:

$\eta =\mathbf {S} \cdot \epsilon \;\;\;\;\;\;\;\;=>\;\;\;\;\;\;\;\;\epsilon =\mathbf {S} ^{-1}\cdot \eta ,$

где мы умножили левую и правую части на $\textstyle \mathbf {S} ^{-1}$.

$\textstyle \bullet$ Пусть $\textstyle \epsilon =(\varepsilon _{1},...,\varepsilon _{n})$ — стандартные независимые гауссовые случайные величины $\textstyle \varepsilon _{i}\sim N(0,1)$, а величины $\textstyle \eta =(\eta _{1},...,\eta _{n})$ получены из них () при помощи перемешивающих коэффициентов $\textstyle S_{\alpha \beta }$. Среднее значение произведения $\textstyle \eta _{\alpha }\eta _{\beta }$ определяется матрицей дисперсий ():

$D_{\alpha \beta }={\bigl \langle }\eta _{\alpha }\eta _{\beta }{\bigr \rangle },\;\;\;\;\;\;\;\;\;\;\;\;\;\;\mathbf {D} =\mathbf {S} \cdot \mathbf {S} ^{T},$

которая является симметричной: $\textstyle D_{\alpha \beta }=D_{\beta \alpha }$.

Найдём производящую функцию для случайных величин $\textstyle \eta$. Для этого введём вектор $\textstyle \mathbf {b} =(b_{1},...,b_{n})$ и вычислим среднее экспоненты от скалярного произведения $\textstyle \mathbf {b} \cdot \eta =b_{1}\eta _{1}+...+b_{n}\eta _{n}$ (по $\textstyle n$ нет суммы!):

$\left\langle e^{\mathbf {b} \cdot \eta }\right\rangle =\left\langle e^{\mathbf {b} \cdot \mathbf {S} \cdot \varepsilon }\right\rangle =\left\langle e^{b_{i}S_{i1}\varepsilon _{1}}\right\rangle \cdot ...\cdot \left\langle e^{b_{i}S_{in}\varepsilon _{n}}\right\rangle =e^{{\frac {1}{2}}\{(b_{i}S_{i1})^{2}+...+(b_{i}S_{in})^{2}\}}.$

Мы воспользовались независимостью величин $\textstyle \varepsilon _{i}$, разбив среднее произведения на произведение средних, и формулой. В показателе экспоненты стоит матричное выражение вида:

$(b_{i}S_{i1})^{2}+...+(b_{i}S_{in})^{2}=b_{i}S_{ik}\,b_{j}S_{jk}=b_{i}\,S_{ik}\,S_{kj}^{T}\,b_{j}=\mathbf {b} \cdot \mathbf {S} \cdot \mathbf {S} ^{T}\cdot \mathbf {b} .$

Поэтому окончательно производящая функция равна:

$\phi (\mathbf {b} )=\left\langle e^{\mathbf {b} \cdot \eta }\right\rangle =e^{{\frac {1}{2}}\,\mathbf {b} \cdot \mathbf {D} \cdot \mathbf {b} }.$

Взяв частные производные по $\textstyle b_{\alpha }$, несложно найти среднее от любого произведения $\textstyle \eta _{\alpha }$. Проверим, что среднее $\textstyle {\bigl \langle }\eta _{\alpha }\eta _{\beta }{\bigr \rangle }$ равно $\textstyle D_{\alpha \beta }$. Возьмём производную производящей функции по $\textstyle b_{\alpha }$. Учитывая, что $\textstyle \mathbf {b} \cdot \mathbf {D} \cdot \mathbf {b}$ равно $\textstyle b_{i}D_{ij}b_{j}$, имеем:

${\frac {\partial \phi (\mathbf {b} )}{\partial b_{\alpha }}}={\frac {1}{2}}\,(D_{\alpha j}b_{j}+b_{i}D_{i\alpha })\,\phi (\mathbf {b} )=D_{\alpha i}b_{i}\,\phi (\mathbf {b} ),$

где во втором равенстве мы воспользовались тем, что $\textstyle D_{\alpha \beta }=D_{\beta \alpha }$. Аналогично берётся вторая производная:

${\frac {\partial ^{2}\phi (\mathbf {b} )}{\partial b_{\alpha }\partial b_{\beta }}}=D_{\alpha \beta }\,\phi (\mathbf {b} )+D_{\alpha i}b_{i}\,D_{\beta j}b_{j}\,\phi (\mathbf {b} ).$

Полагая $\textstyle \mathbf {b} =0$ и учитывая, что

${\frac {\partial ^{2}\left\langle e^{\mathbf {b} \cdot \eta }\right\rangle }{\partial b_{\alpha }\partial b_{\beta }}}{\Big |}_{\mathbf {b} =0}={\bigl \langle }\eta _{\alpha }\eta _{\beta }{\bigr \rangle },$

приходим к соотношению $\textstyle D_{\alpha \beta }={\bigl \langle }\eta _{\alpha }\eta _{\beta }{\bigr \rangle }$. В качестве упражнения предлагается проверить следующее тензорное выражение:

${\bigl \langle }\eta _{\alpha }\eta _{\beta }\eta _{\gamma }\eta _{k}{\bigr \rangle }=D_{\alpha \beta }D_{\gamma k}+D_{\alpha \gamma }D_{\beta k}+D_{\alpha k}D_{\beta \gamma }.$

Таким образом, среднее любых степеней $\textstyle \eta$ полностью определяется матрицей дисперсии $\mathbf {D}$.

$\textstyle \bullet$ Найдём теперь явный вид совместной плотности вероятности для величин $\textstyle \eta _{1},...,\eta _{n}$. Запишем сначала плотность вероятности для $\textstyle \varepsilon _{1},...,\varepsilon _{n}$:

$P(\varepsilon _{1},...,\varepsilon _{n})=P(\varepsilon _{1})\cdot ...\cdot P(\varepsilon _{n})={\frac {e^{-{\frac {1}{2}}\,(\varepsilon _{1}^{2}+...+\varepsilon _{n}^{2})}}{(2\pi )^{n/2}}}.$

При замене переменных $\textstyle \eta _{\alpha }=S_{\alpha \beta }\varepsilon _{\beta }$ в интеграле необходимо изменить элемент объёма интегрирования $\textstyle d^{n}\varepsilon =d\varepsilon _{1}...d\varepsilon _{n}$, умножив его на якобиан:

$d^{n}\eta =\det \left|{\frac {\partial \eta _{\alpha }}{\partial \varepsilon _{\beta }}}\right|\,d^{n}\varepsilon =(\det \mathbf {S} )\,d^{n}\varepsilon .$

Так как при транспонировании матрицы её определитель не изменяется, а определитель произведения матриц равен произведению их определителей, то $\textstyle \det \mathbf {D} =(\det \mathbf {S} )^{2}$ и, следовательно:

$P(\eta _{1},...,\eta _{n})={\frac {e^{-{\frac {1}{2}}\,\eta \cdot \mathbf {D} ^{-1}\cdot \eta }}{(2\pi )^{n/2}{\sqrt {\det \mathbf {D} }}}},$

где в показателе экспоненты подставлены $\textstyle \epsilon =\mathbf {S} ^{-1}\cdot \eta$:

$\epsilon ^{2}=S_{i\alpha }^{-1}\eta _{\alpha }\,S_{i\beta }^{-1}\eta _{\beta }=\eta _{\alpha }{S^{-1}}_{\alpha i}^{T}\,S_{i\beta }^{-1}\eta _{\beta }=\eta \cdot {\mathbf {S} ^{-1}}^{T}\cdot \mathbf {S} ^{-1}\cdot \eta =\eta \cdot (\mathbf {S} \cdot \mathbf {S} ^{T})^{-1}\cdot \eta$

и использовано свойство обратных матриц $\textstyle (\mathbf {A} \cdot \mathbf {b} )^{-1}=\mathbf {b} ^{-1}\cdot \mathbf {A} ^{-1}$. Как и любая плотность вероятности, $\textstyle P(\eta _{1},...,\eta _{n})$ нормирована на единицу, поэтому, учитывая выражение для производящей функции $\textstyle {\bigl \langle }e^{\mathbf {b} \cdot \eta }{\bigr \rangle }$, можно записать значение следующего $\textstyle n$-мерного гауссового интеграла:

$\int \limits _{-\infty }^{\infty }e^{\mathbf {b} \cdot \eta -{\frac {1}{2}}\eta \cdot \mathbf {D} ^{-1}\cdot \eta }\,d^{n}\eta =(2\pi )^{n/2}\,{\sqrt {\det \mathbf {D} }}\;e^{{\frac {1}{2}}\,\mathbf {b} \cdot \mathbf {D} \cdot \mathbf {b} }.$

До сих пор мы работали с перемешанными величинами, имеющими нулевое среднее: $\textstyle {\bigl \langle }\eta {\bigr \rangle }=\mathbf {S} \cdot {\bigl \langle }\epsilon {\bigr \rangle }=0$. Можно к ним прибавить некоторый постоянный вектор $\textstyle {\bar {\eta }}_{\alpha }$, который будет иметь смысл средних значений $\textstyle \eta _{\alpha }$:

$\eta _{\alpha }={\bar {\eta }}_{\alpha }+S_{\alpha \beta }\varepsilon _{\beta }.$

Тогда общее $\textstyle n$-мерное гауссово распределение принимает вид:

$P(\eta _{1},...,\eta _{n})={\frac {e^{-{\frac {1}{2}}\,(\eta -{\bar {\eta }})\cdot \mathbf {D} ^{-1}\cdot (\eta -{\bar {\eta }})}}{(2\pi )^{n/2}{\sqrt {\det \mathbf {D} }}}},$

где в плотность вероятности $\textstyle P(\varepsilon _{1},...,\varepsilon _{n})$ подставлено $\textstyle \epsilon =\mathbf {S} ^{-1}\cdot (\eta -{\bar {\eta }})$.

$\textstyle \bullet$ Рассмотрим в качестве примера случай $\textstyle n=2$. Запишем элементы симметричной матрицы $\textstyle D_{\alpha \beta }$ при помощи трёх независимых констант $\textstyle \sigma _{1}$, $\textstyle \sigma _{2}$ и $\textstyle \rho$:

$\mathbf {D} ={\begin{pmatrix}\sigma _{1}^{2}&\rho \,\sigma _{1}\sigma _{2}\\\rho \,\sigma _{1}\sigma _{2}&\sigma _{2}^{2}\\\end{pmatrix}}.$

Несложно проверить, что определитель $\textstyle \mathbf {D}$ равен

$\det \mathbf {D} =\sigma _{1}^{2}\sigma _{2}^{2}(1-\rho ^{2}),$

а обратная к $\textstyle \mathbf {D}$ матрица имеет вид:

$\mathbf {D} ^{-1}={\frac {1}{\det \mathbf {D} }}\,{\begin{pmatrix}\sigma _{2}^{2}&-\rho \,\sigma _{1}\sigma _{2}\\-\rho \,\sigma _{1}\sigma _{2}&\sigma _{1}^{2}\\\end{pmatrix}}.$

В результате совместная плотность вероятности для $\textstyle \eta _{1},\eta _{2}$ может быть записана следующим образом:

$P(\eta _{1},\eta _{2})={\frac {\exp\{-(x_{1}^{2}-2\rho \,x_{1}x_{2}+x_{2}^{2})/2(1-\rho ^{2})\}}{2\pi \sigma _{1}\sigma _{2}{\sqrt {1-\rho ^{2}}}}},$

где $\textstyle x_{i}=(\eta _{i}-{\bar {\eta }}_{i})/\sigma _{i}$ — относительные отклонения $\textstyle \eta _{i}$ от своих средних $\textstyle {\bar {\eta }}_{i}$. Параметры $\textstyle \sigma _{i}$ являются волатильностями: $\textstyle {\bigl \langle }(\eta _{1}-{\bar {\eta }}_{1})^{2}{\bigr \rangle }=D_{11}=\sigma _{1}^{2}$, а $\textstyle \rho$ — коэффициент корреляции: $\textstyle \rho =\left\langle x_{1}x_{2}\right\rangle$.

Матрица $\textstyle \mathbf {D}$ является симметричной, тогда как $\textstyle \mathbf {S}$ в общем случае — нет. Поэтому $\textstyle \mathbf {D}$ зависит от трёх параметров, а $\textstyle \mathbf {S}$ — от четырёх, и одной и той же матрице дисперсии может соответствовать несколько различных матриц $\textstyle \mathbf {S}$. Так, можно записать:

$\mathbf {S} ={\begin{pmatrix}\sigma _{1}\cos \alpha &\sigma _{1}\sin \alpha \\\sigma _{2}\sin \beta &\sigma _{2}\cos \beta \\\end{pmatrix}},$

где $\textstyle \rho =\sin(\alpha +\beta )$. Понятно, что возможны различные комбинации "углов" $\textstyle \alpha$ и $\textstyle \beta$, дающие один и тот же корреляционный коэффициент $\textstyle \rho$.

Если $\textstyle \alpha =-\beta$, то $\textstyle \rho =0$, и $\textstyle \mathbf {D} =\mathbf {S} \mathbf {S} ^{T}$ является диагональной, а при $\textstyle \sigma _{1}=\sigma _{2}=1$ — единичной. Матрицу $\textstyle \mathbf {S}$, удовлетворяющую уравнению $\textstyle \mathbf {S} \mathbf {S} ^{T}=\mathbf {1}$, называют ортогональной.

Если $\textstyle \alpha =0$, $\textstyle \rho =\sin \beta$, $\textstyle \sigma _{1}=\sigma _{2}=1$, то

$\mathbf {S} ={\begin{pmatrix}1&0\\\rho &{\sqrt {1-\rho ^{2}}}\\\end{pmatrix}},\;\;\;\;\;\;\;\;\;\;\;\;\;\mathbf {D} ={\begin{pmatrix}1&\rho \\\rho &1\\\end{pmatrix}}.$

Подобная смесь переводит независимые стандартные случайные величины $\textstyle \varepsilon _{1},\varepsilon _{2}\sim N(0,1)$ в скоррелированные, так что $\textstyle \eta _{1},\eta _{2}\sim N(0,1)$ :

$\left\{{\begin{array}{l}\eta _{1}=\;\;\varepsilon _{1}\\\eta _{2}=\rho \,\varepsilon _{1}+{\sqrt {1-\rho ^{2}}}\;\varepsilon _{2}\\\end{array}}\right.\;\;\;\;\;=>\;\;\;\;\;{\bigl \langle }\eta _{1}\cdot \eta _{2}{\bigr \rangle }=\rho ,\;\;\;\;\;\;{\bigl \langle }\eta _{1}^{2}{\bigr \rangle }={\bigl \langle }\eta _{2}^{2}{\bigr \rangle }=1.$

Это позволяет, например, при компьютерном моделировании генерить скоррелированные величины при помощи нескоррелированных.

---

Характеристическая функция <<	Оглавление	>> Модель аддитивного блуждания

---

Стохастический мир - простое введение в стохастические дифференциальные уравнения