Многомерное распределение Гаусса

Характеристическая функция <<	Оглавление	>> Модель аддитивного блуждания

---

$\textstyle \bullet$ При изучении систем стохастических уравнений мы будем активно использовать матричные и тензорные обозначения. Для сокращения операции умножения матриц используется два типа соглашений:

$\eta _{\alpha }=\sum _{i=1}^{n}S_{\alpha i}\;\varepsilon _{i}\;=\;S_{\alpha i}\;\varepsilon _{i}=(\mathbf {S} \cdot \mathbf {\epsilon } )_{\alpha }.$

По повторяющемуся индексу всегда подразумевается суммирование, и знак суммы опускается. Выше таковым является индекс "$\textstyle i$" во втором равенстве. Повторяющиеся индексы, по которым проводится суммирование, называют "немыми". В процессе вычислений их можно переобозначить в любую букву, которая ещё не используется в выражении. Третье равенство в уравнении () — это матричная форма той же суммы, в которой матрица $\textstyle '''S'''=S_{\alpha \beta }$ и вектор $\textstyle \epsilon =\{\varepsilon _{1},...,\varepsilon _{n}\}$ перемножаются вообще без упоминания индексов и знака суммирования.

Рассмотрим $\textstyle n$ независимых гауссовых случайных величин, имеющих нулевое среднее и единичную дисперсию. Среднее значение их произведения Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle \bigl<\varepsilon_i \varepsilon_j\bigr>} равно единице для совпадающих индексов и нулю — для различных. Подобная матрица будет обозначаться символом Кронекера:

$\left\langle \varepsilon _{i}\varepsilon _{j}\right\rangle =\delta _{ij}=\left\{{\begin{array}{ll}1&i=j\ 0&i\neq j.\end{array}}\right.$

Вычислим, например, ковариационную матрицу случайных величин $\textstyle \eta _{\alpha }$:

Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle \bigl<\eta_\alpha\eta_\beta\bigr> = S_{\alpha i} S_{\beta j} \bigl<\varepsilon_i\varepsilon_j\bigr> = S_{\alpha i} S_{\beta j} \delta_{ij} = S_{\alpha i} S_{\beta i} = S_{\alpha i} S^{T}_{i\beta} = ('''S''''''S'''^T)_{\alpha\beta}. }

При суммировании с символом Кронекера $\textstyle \delta _{ij}$ в сумме остаются только слагаемые с $\textstyle i=j$. Поэтому одна из сумм (по $\textstyle j$) и символ Кронекера исчезают, и остаётся только суммационный индекс $\textstyle i$. Затем вводится новая матрица $\textstyle S_{i\beta }^{T}=S_{\beta i}$ с переставленными индексами. Подобная операция называется транспонированием. В табличном представлении она соответствует перестановке местами строк и столбцов матрицы.

Матрица $\textstyle '''S'''$ может имеет обратную $\textstyle '''S'''^{-1}$, если выполняется уравнение:

$'''S'''\cdot '''S'''^{-1}='''S'''^{-1}\cdot '''S'''='''1''',$

где $\textstyle '''1'''=\delta _{ij}$ — единичная матрица (символ Кронекера). Так, для определённого выше вектора $\textstyle \eta =(\eta _{1},...,\eta _{n})$ можно записать:

$\eta ='''S'''\cdot \epsilon \;\;\;\;\;\;\;\;=>\;\;\;\;\;\;\;\;\epsilon ='''S'''^{-1}\cdot \eta ,$

где мы умножили левую и правую части на $\textstyle '''S'''^{-1}$.

$\textstyle \bullet$ Пусть $\textstyle \epsilon =(\varepsilon _{1},...,\varepsilon _{n})$ — стандартные независимые гауссовые случайные величины $\textstyle \varepsilon _{i}\sim N(0,1)$, а величины $\textstyle \eta =(\eta _{1},...,\eta _{n})$ получены из них () при помощи перемешивающих коэффициентов $\textstyle S_{\alpha \beta }$. Среднее значение произведения $\textstyle \eta _{\alpha }\eta _{\beta }$ определяется матрицей дисперсий ():

Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle D_{\alpha\beta}=\bigl<\eta_\alpha\eta_\beta\bigr>,\;\;\;\;\;\;\;\;\;\;\;\;\;\;'''D''' = '''S'''\cdot '''S'''^{T},}

которая является симметричной: $\textstyle D_{\alpha \beta }=D_{\beta \alpha }$.

Найдём производящую функцию для случайных величин $\textstyle \eta$. Для этого введём вектор $\textstyle '''b'''=(b_{1},...,b_{n})$ и вычислим среднее экспоненты от скалярного произведения $\textstyle '''b'''\cdot \eta =b_{1}\eta _{1}+...+b_{n}\eta _{n}$ (по $\textstyle n$ нет суммы!):

$\left\langle e^{'''b'''\cdot \eta }\right\rangle =\left\langle e^{'''b'''\cdot '''S'''\cdot \varepsilon }\right\rangle =\left\langle e^{b_{i}S_{i1}\varepsilon _{1}}\right\rangle \cdot ...\cdot \left\langle e^{b_{i}S_{in}\varepsilon _{n}}\right\rangle =e^{{\frac {1}{2}}\{(b_{i}S_{i1})^{2}+...+(b_{i}S_{in})^{2}\}}.$

Мы воспользовались независимостью величин $\textstyle \varepsilon _{i}$, разбив среднее произведения на произведение средних, и формулой (), стр. \pageref{aver_exp_gauss}. В показателе экспоненты стоит матричное выражение вида:

$(b_{i}S_{i1})^{2}+...+(b_{i}S_{in})^{2}=b_{i}S_{ik}\,b_{j}S_{jk}=b_{i}\,S_{ik}\,S_{kj}^{T}\,b_{j}='''b'''\cdot '''S'''\cdot '''S'''^{T}\cdot '''b'''.$

Поэтому окончательно производящая функция равна:

$\phi ('''b''')=\left\langle e^{'''b'''\cdot \eta }\right\rangle =e^{{\frac {1}{2}}\,'''b'''\cdot '''D'''\cdot '''b'''}.$

Взяв частные производные по $\textstyle b_{\alpha }$, несложно найти среднее от любого произведения $\textstyle \eta _{\alpha }$. Проверим, что среднее Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle \textstyle \bigl<\eta_\alpha\eta_\beta\bigr>} равно $\textstyle D_{\alpha \beta }$. Возьмём производную производящей функции по $\textstyle b_{\alpha }$. Учитывая, что $\textstyle '''b'''\cdot '''D'''\cdot '''b'''$ равно $\textstyle b_{i}D_{ij}b_{j}$, имеем:

${\frac {\partial \phi ('''b''')}{\partial b_{\alpha }}}={\frac {1}{2}}\,(D_{\alpha j}b_{j}+b_{i}D_{i\alpha })\,\phi ('''b''')=D_{\alpha i}b_{i}\,\phi ('''b'''),$

где во втором равенстве мы воспользовались тем, что $\textstyle D_{\alpha \beta }=D_{\beta \alpha }$. Аналогично берётся вторая производная:

${\frac {\partial ^{2}\phi ('''b''')}{\partial b_{\alpha }\partial b_{\beta }}}=D_{\alpha \beta }\,\phi ('''b''')+D_{\alpha i}b_{i}\,D_{\beta j}b_{j}\,\phi ('''b''').$

Полагая $\textstyle '''b'''=0$ и учитывая, что

Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle \frac{\partial^2 \left\langle e^{'''b'''\cdot \eta}\right\rangle }{\partial b_\alpha \partial b_\beta }\Big|_{'''b'''=0} = \bigl<\eta_\alpha\eta_\beta\bigr>,}

приходим к соотношению Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle \textstyle D_{\alpha\beta}=\bigl<\eta_\alpha\eta_\beta\bigr>} . В качестве упражнения предлагается проверить следующее тензорное выражение:

Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle \bigl<\eta_\alpha\eta_\beta\eta_\gamma\eta_k\bigr> =D_{\alpha\beta}D_{\gamma k} + D_{\alpha\gamma}D_{\beta k} + D_{\alpha k}D_{\beta \gamma}.}

Таким образом, среднее любых степеней $\textstyle \eta$ полностью определяется матрицей дисперсии D.

$\textstyle \bullet$ Найдём теперь явный вид совместной плотности вероятности для величин $\textstyle \eta _{1},...,\eta _{n}$. Запишем сначала плотность вероятности для $\textstyle \varepsilon _{1},...,\varepsilon _{n}$:

$P(\varepsilon _{1},...,\varepsilon _{n})=P(\varepsilon _{1})\cdot ...\cdot P(\varepsilon _{n})={\frac {e^{-{\frac {1}{2}}\,(\varepsilon _{1}^{2}+...+\varepsilon _{n}^{2})}}{(2\pi )^{n/2}}}.$

При замене переменных $\textstyle \eta _{\alpha }=S_{\alpha \beta }\varepsilon _{\beta }$ в интеграле необходимо изменить элемент объёма интегрирования $\textstyle d^{n}\varepsilon =d\varepsilon _{1}...d\varepsilon _{n}$, умножив его на якобиан:

$d^{n}\eta =\det \left|{\frac {\partial \eta _{\alpha }}{\partial \varepsilon _{\beta }}}\right|\,d^{n}\varepsilon =(\det '''S''')\,d^{n}\varepsilon .$

Так как при транспонировании матрицы её определитель не изменяется, а определитель произведения матриц равен произведению их определителей, то $\textstyle \det '''D'''=(\det '''S''')^{2}$ и, следовательно:

$P(\eta _{1},...,\eta _{n})={\frac {e^{-{\frac {1}{2}}\,\eta \cdot '''D'''^{-1}\cdot \eta }}{(2\pi )^{n/2}{\sqrt {\det '''D'''}}}},$

где в показателе экспоненты подставлены $\textstyle \epsilon ='''S'''^{-1}\cdot \eta$:

$\epsilon ^{2}=S_{i\alpha }^{-1}\eta _{\alpha }\,S_{i\beta }^{-1}\eta _{\beta }=\eta _{\alpha }{S^{-1}}_{\alpha i}^{T}\,S_{i\beta }^{-1}\eta _{\beta }=\eta \cdot {'''S'''^{-1}}^{T}\cdot '''S'''^{-1}\cdot \eta =\eta \cdot ('''S'''\cdot '''S'''^{T})^{-1}\cdot \eta$

и использовано свойство обратных матриц $\textstyle ('''A'''\cdot '''B''')^{-1}='''B'''^{-1}\cdot '''A'''^{-1}$ (см. стр. \pageref{math_mat_tensor}). Как и любая плотность вероятности, $\textstyle P(\eta _{1},...,\eta _{n})$ нормирована на единицу, поэтому, учитывая выражение для производящей функции Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle \textstyle \bigl<e^{'''b'''\cdot \eta}\bigr>} , можно записать значение следующего $\textstyle n$-мерного гауссового интеграла:

$\int \limits _{-\infty }^{\infty }e^{'''b'''\cdot \eta -{\frac {1}{2}}\eta \cdot '''D'''^{-1}\cdot \eta }\,d^{n}\eta =(2\pi )^{n/2}\,{\sqrt {\det '''D'''}}\;e^{{\frac {1}{2}}\,'''b'''\cdot '''D'''\cdot '''b'''}.$

До сих пор мы работали с перемешанными величинами, имеющими нулевое среднее: Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle \textstyle \bigl<\eta\bigr>='''S'''\cdot \bigl<\epsilon\bigr>=0} . Можно к ним прибавить некоторый постоянный вектор $\textstyle {\bar {\eta }}_{\alpha }$, который будет иметь смысл средних значений $\textstyle \eta _{\alpha }$:

$\eta _{\alpha }={\bar {\eta }}_{\alpha }+S_{\alpha \beta }\varepsilon _{\beta }.$

Тогда общее $\textstyle n$-мерное гауссово распределение принимает вид:

$P(\eta _{1},...,\eta _{n})={\frac {e^{-{\frac {1}{2}}\,(\eta -{\bar {\eta }})\cdot '''D'''^{-1}\cdot (\eta -{\bar {\eta }})}}{(2\pi )^{n/2}{\sqrt {\det '''D'''}}}},$

где в плотность вероятности $\textstyle P(\varepsilon _{1},...,\varepsilon _{n})$ подставлено $\textstyle \epsilon ='''S'''^{-1}\cdot (\eta -{\bar {\eta }})$.

$\textstyle \bullet$ Рассмотрим в качестве примера случай $\textstyle n=2$. Запишем элементы симметричной матрицы $\textstyle D_{\alpha \beta }$ при помощи трёх независимых констант $\textstyle \sigma _{1}$, $\textstyle \sigma _{2}$ и $\textstyle \rho$:

$'''D'''={\begin{pmatrix}\sigma _{1}^{2}&\rho \,\sigma _{1}\sigma _{2}\ \rho \,\sigma _{1}\sigma _{2}&\sigma _{2}^{2}\ \end{pmatrix}}.$

Несложно проверить, что определитель $\textstyle '''D'''$ равен

$\det '''D'''=\sigma _{1}^{2}\sigma _{2}^{2}(1-\rho ^{2}),$

а обратная к $\textstyle '''D'''$ матрица имеет вид:

$'''D'''^{-1}={\frac {1}{\det '''D'''}}\,{\begin{pmatrix}\sigma _{2}^{2}&-\rho \,\sigma _{1}\sigma _{2}\ -\rho \,\sigma _{1}\sigma _{2}&\sigma _{1}^{2}\ \end{pmatrix}}.$

В результате совместная плотность вероятности для $\textstyle \eta _{1},\eta _{2}$ может быть записана следующим образом:

$P(\eta _{1},\eta _{2})={\frac {\exp\{-(x_{1}^{2}-2\rho \,x_{1}x_{2}+x_{2}^{2})/2(1-\rho ^{2})\}}{2\pi \sigma _{1}\sigma _{2}{\sqrt {1-\rho ^{2}}}}},$

где $\textstyle x_{i}=(\eta _{i}-{\bar {\eta }}_{i})/\sigma _{i}$ — относительные отклонения $\textstyle \eta _{i}$ от своих средних $\textstyle {\bar {\eta }}_{i}$. Параметры $\textstyle \sigma _{i}$ являются волатильностями: Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle \textstyle \bigl<(\eta_1-\bar{\eta}_1)^2\bigr>=D_{11}=\sigma^2_1} , а $\textstyle \rho$ — коэффициент корреляции: $\textstyle \rho =\left\langle x_{1}x_{2}\right\rangle$.

Матрица $\textstyle '''D'''$ является симметричной, тогда как $\textstyle '''S'''$ в общем случае — нет. Поэтому $\textstyle '''D'''$ зависит от трёх параметров, а $\textstyle '''S'''$ — от четырёх, и одной и той же матрице дисперсии может соответствовать несколько различных матриц $\textstyle '''S'''$. Так, можно записать:

$'''S'''={\begin{pmatrix}\sigma _{1}\cos \alpha &\sigma _{1}\sin \alpha \ \sigma _{2}\sin \beta &\sigma _{2}\cos \beta \ \end{pmatrix}},$

где $\textstyle \rho =\sin(\alpha +\beta )$. Понятно, что возможны различные комбинации "углов" $\textstyle \alpha$ и $\textstyle \beta$, дающие один и тот же корреляционный коэффициент $\textstyle \rho$.

Если $\textstyle \alpha =-\beta$, то $\textstyle \rho =0$, и $\textstyle '''D'''='''S''''''S'''^{T}$ является диагональной, а при $\textstyle \sigma _{1}=\sigma _{2}=1$ — единичной. Матрицу $\textstyle '''S'''$, удовлетворяющую уравнению $\textstyle '''S''''''S'''^{T}='''1'''$, называют ортогональной.

Если $\textstyle \alpha =0$, $\textstyle \rho =\sin \beta$, $\textstyle \sigma _{1}=\sigma _{2}=1$, то

$'''S'''={\begin{pmatrix}1&0\ \rho &{\sqrt {1-\rho ^{2}}}\ \end{pmatrix}},\;\;\;\;\;\;\;\;\;\;\;\;\;'''D'''={\begin{pmatrix}1&\rho \ \rho &1\ \end{pmatrix}}.$

Подобная смесь переводит независимые стандартные случайные величины $\textstyle \varepsilon _{1},\varepsilon _{2}\sim N(0,1)$ в скоррелированные, так что $\textstyle \eta _{1},\eta _{2}\sim N(0,1)$ :

Невозможно разобрать выражение (синтаксическая ошибка): {\displaystyle \left\{ \begin{array}{l} \eta_1 =\;\; \varepsilon_1\ \eta_2 = \rho\,\varepsilon_1+ \sqrt{1-\rho^2}\;\varepsilon_2\ \end{array} \right. \;\;\;\;\;=>\;\;\;\;\; \bigl<\eta_1\cdot\eta_2\bigr> = \rho,\;\;\;\;\;\;\bigl<\eta^2_1\bigr>=\bigl<\eta^2_2\bigr>=1.}

Это позволяет, например, при компьютерном моделировании генерить скоррелированные величины при помощи нескоррелированных.

---

Характеристическая функция <<	Оглавление	>> Модель аддитивного блуждания

---

Стохастический мир - простое введение в стохастические дифференциальные уравнения