Многомерное распределение Гаусса

Материал из Synset

Характеристическая функция <<	Оглавление	>> Модель аддитивного блуждания

$\textstyle \bullet$ При изучении систем стохастических уравнений мы будем активно использовать матричные и тензорные обозначения. Для сокращения операции умножения матриц используется два типа соглашений:

$\eta_\alpha = \sum^n_{i=1} S_{\alpha i} \;\varepsilon_i \;=\; S_{\alpha i} \;\varepsilon_i = (\mathbf{S}\cdot \mathbf{\epsilon})_{\alpha}.$

(1.34)

По повторяющемуся индексу всегда подразумевается суммирование, и знак суммы опускается. Выше таковым является индекс " $i$ " во втором равенстве. Повторяющиеся индексы, по которым проводится суммирование, называют "немыми". В процессе вычислений их можно переобозначить в любую букву, которая ещё не используется в выражении. Третье равенство в уравнении (1.34) — это матричная форма той же суммы, в которой матрица $\mathbf{S} = S_{\alpha\beta}$ и вектор $\textstyle \epsilon = \{\varepsilon_1,...,\varepsilon_n\}$ перемножаются вообще без упоминания индексов и знака суммирования.

Рассмотрим $n$ независимых гауссовых случайных величин, имеющих нулевое среднее и единичную дисперсию. Среднее значение их произведения $\left\langle \varepsilon_i \varepsilon_j \right\rangle$ равно единице для совпадающих индексов и нулю — для различных. Подобная матрица будет обозначаться символом Кронекера:

$\left\langle \varepsilon_i\varepsilon_j\right\rangle = \delta_{ij} = \left\{ \begin{array}{ll} 1 & i=j\\ 0 & i\neq j. \end{array} \right.$

Вычислим, например, ковариационную матрицу случайных величин $\textstyle \eta_\alpha$ :

$\bigl\langle\eta_\alpha\eta_\beta\bigr\rangle = S_{\alpha i} S_{\beta j} \bigl\langle\varepsilon_i\varepsilon_j\bigr\rangle = S_{\alpha i} S_{\beta j} \delta_{ij} = S_{\alpha i} S_{\beta i} = S_{\alpha i} S^{T}_{i\beta} = (\mathbf{S}\mathbf{S}^T)_{\alpha\beta}.$

(1.35)

При суммировании с символом Кронекера $\textstyle \delta_{ij}$ в сумме остаются только слагаемые с $\textstyle i=j$ . Поэтому одна из сумм (по $\textstyle j$ ) и символ Кронекера исчезают, и остаётся только суммационный индекс $\textstyle i$ . Затем вводится новая матрица $\textstyle S^T_{i\beta}=S_{\beta i}$ с переставленными индексами. Подобная операция называется транспонированием. В табличном представлении она соответствует перестановке местами строк и столбцов матрицы.

Матрица $\textstyle \mathbf{S}$ может имеет обратную $\textstyle \mathbf{S}^{-1}$ , если выполняется уравнение:

$\mathbf{S}\cdot \mathbf{S}^{-1} = \mathbf{S}^{-1} \cdot \mathbf{S} = \mathbf{1},$

где $\textstyle \mathbf{1}=\delta_{ij}$ — единичная матрица (символ Кронекера). Так, для определённого выше вектора $\textstyle \eta=(\eta_1,...,\eta_n)$ можно записать:

$\eta =\mathbf{S}\cdot \epsilon\;\;\;\;\;\;\;\;=>\;\;\;\;\;\;\;\;\epsilon=\mathbf{S}^{-1}\cdot \eta,$

где мы умножили левую и правую части на $\textstyle \mathbf{S}^{-1}$ .

$\textstyle \bullet$ Пусть $\textstyle \epsilon = (\varepsilon_1,...,\varepsilon_n)$ — стандартные независимые гауссовые случайные величины $\textstyle \varepsilon_i\sim N(0,1)$ , а величины $\textstyle \eta=(\eta_1,...,\eta_n)$ получены из них (1.34) при помощи перемешивающих коэффициентов $\textstyle S_{\alpha\beta}$ . Среднее значение произведения $\textstyle \eta_\alpha\eta_\beta$ определяется матрицей дисперсий (1.35):

$D_{\alpha\beta}=\bigl\langle\eta_\alpha\eta_\beta\bigr\rangle,\;\;\;\;\;\;\;\;\;\;\;\;\;\;\mathbf{D} = \mathbf{S}\cdot \mathbf{S}^{T},$

которая является симметричной: $\textstyle D_{\alpha\beta}=D_{\beta\alpha}$ .

Найдём производящую функцию для случайных величин $\textstyle \eta$ . Для этого введём вектор $\textstyle \mathbf{b}=(b_1,...,b_n)$ и вычислим среднее экспоненты от скалярного произведения $\textstyle \mathbf{b}\cdot \eta=b_1\eta_1+...+b_n\eta_n$ (по $\textstyle n$ нет суммы!):

$\left\langle e^{\mathbf{b}\cdot \eta}\right\rangle = \left\langle e^{\mathbf{b}\cdot \mathbf{S}\cdot \varepsilon}\right\rangle = \left\langle e^{ b_{i} S_{i1} \varepsilon_1}\right\rangle \cdot ...\cdot\left\langle e^{b_{i} S_{in} \varepsilon_n}\right\rangle = e^{\frac{1}{2}\{(b_{i} S_{i1})^2+...+(b_{i} S_{in})^2\}}.$

Мы воспользовались независимостью величин $\textstyle \varepsilon_i$ , разбив среднее произведения на произведение средних, и формулой. В показателе экспоненты стоит матричное выражение вида:

$(b_{i} S_{i1})^2+...+(b_{i} S_{in})^2 = b_{i} S_{ik}\, b_{j} S_{jk} = b_i \,S_{ik}\, S^T_{kj}\,b_j = \mathbf{b}\cdot \mathbf{S}\cdot \mathbf{S}^T\cdot \mathbf{b}.$

Поэтому окончательно производящая функция равна:

$\phi(\mathbf{b})=\left\langle e^{\mathbf{b}\cdot \eta}\right\rangle = e^{\frac{1}{2}\,\mathbf{b}\cdot \mathbf{D}\cdot \mathbf{b}}.$

Взяв частные производные по $\textstyle b_\alpha$ , несложно найти среднее от любого произведения $\textstyle \eta_\alpha$ . Проверим, что среднее $\textstyle \bigl\langle\eta_\alpha\eta_\beta\bigr\rangle$ равно $\textstyle D_{\alpha\beta}$ . Возьмём производную производящей функции по $\textstyle b_\alpha$ . Учитывая, что $\textstyle \mathbf{b}\cdot \mathbf{D}\cdot \mathbf{b}$ равно $\textstyle b_i D_{ij} b_j$ , имеем:

$\frac{\partial \phi(\mathbf{b}) }{\partial b_\alpha} = \frac{1}{2}\, (D_{\alpha j} b_j + b_i D_{i\alpha} ) \, \phi(\mathbf{b}) = D_{\alpha i} b_i \, \phi(\mathbf{b}),$

где во втором равенстве мы воспользовались тем, что $\textstyle D_{\alpha\beta}=D_{\beta\alpha}$ . Аналогично берётся вторая производная:

$\frac{\partial^2 \phi(\mathbf{b}) }{\partial b_\alpha \partial b_\beta} = D_{\alpha \beta} \, \phi(\mathbf{b}) + D_{\alpha i} b_i \, D_{\beta j} b_j \,\phi(\mathbf{b}).$

Полагая $\textstyle \mathbf{b}=0$ и учитывая, что

$\frac{\partial^2 \left\langle e^{\mathbf{b}\cdot \eta}\right\rangle }{\partial b_\alpha \partial b_\beta }\Big|_{\mathbf{b}=0} = \bigl\langle\eta_\alpha\eta_\beta\bigr\rangle,$

приходим к соотношению $\textstyle D_{\alpha\beta}=\bigl\langle\eta_\alpha\eta_\beta\bigr\rangle$ . В качестве упражнения предлагается проверить следующее тензорное выражение:

$\bigl\langle\eta_\alpha\eta_\beta\eta_\gamma\eta_k\bigr\rangle =D_{\alpha\beta}D_{\gamma k} + D_{\alpha\gamma}D_{\beta k} + D_{\alpha k}D_{\beta \gamma}.$

Таким образом, среднее любых степеней $\textstyle \eta$ полностью определяется матрицей дисперсии $\mathbf{D}$ .

$\textstyle \bullet$ Найдём теперь явный вид совместной плотности вероятности для величин $\textstyle \eta_1,...,\eta_n$ . Запишем сначала плотность вероятности для $\textstyle \varepsilon_1,...,\varepsilon_n$ :

$P(\varepsilon_1,...,\varepsilon_n) = P(\varepsilon_1)\cdot...\cdot P(\varepsilon_n) = \frac{e^{-\frac{1}{2}\,(\varepsilon^2_1+...+\varepsilon^2_n)}}{(2\pi)^{n/2}}.$

При замене переменных $\textstyle \eta_\alpha = S_{\alpha\beta}\varepsilon_\beta$ в интеграле необходимо изменить элемент объёма интегрирования $\textstyle d^n\varepsilon=d\varepsilon_1...d\varepsilon_n$ , умножив его на якобиан:

$d^n \eta = \det \left|\frac{\partial \eta_\alpha}{\partial \varepsilon_\beta}\right|\,d^n\varepsilon = (\det\mathbf{S})\, d^n\varepsilon.$

Так как при транспонировании матрицы её определитель не изменяется, а определитель произведения матриц равен произведению их определителей, то $\textstyle \det\mathbf{D}=(\det\mathbf{S})^2$ и, следовательно:

$P(\eta_1,...,\eta_n) = \frac{e^{-\frac{1}{2}\,\eta\cdot \mathbf{D}^{-1}\cdot \eta}}{(2\pi)^{n/2}\sqrt{\det\mathbf{D}}},$

где в показателе экспоненты подставлены $\textstyle \epsilon=\mathbf{S}^{-1}\cdot \eta$ :

$\epsilon^2 = S^{-1}_{i\alpha}\eta_\alpha\,S^{-1}_{i\beta}\eta_\beta = \eta_\alpha {S^{-1}}^{T}_{\alpha i}\,S^{-1}_{i\beta}\eta_\beta =\eta\cdot {\mathbf{S}^{-1}}^{T}\cdot\mathbf{S}^{-1}\cdot \eta = \eta \cdot (\mathbf{S}\cdot \mathbf{S}^T)^{-1}\cdot \eta$

и использовано свойство обратных матриц $\textstyle (\mathbf{A}\cdot \mathbf{b})^{-1}= \mathbf{b}^{-1}\cdot \mathbf{A}^{-1}$ . Как и любая плотность вероятности, $\textstyle P(\eta_1,...,\eta_n)$ нормирована на единицу, поэтому, учитывая выражение для производящей функции $\textstyle \bigl\langle e^{\mathbf{b}\cdot \eta}\bigr\rangle$ , можно записать значение следующего $\textstyle n$ -мерного гауссового интеграла:

$\int\limits^{\infty}_{-\infty} e^{\mathbf{b}\cdot \eta - \frac{1}{2}\eta\cdot \mathbf{D}^{-1}\cdot \eta} \,d^n\eta = (2\pi)^{n/2} \,\sqrt{\det\mathbf{D}}\; e^{\frac{1}{2}\,\mathbf{b}\cdot \mathbf{D}\cdot \mathbf{b}}.$

(1.36)

До сих пор мы работали с перемешанными величинами, имеющими нулевое среднее: $\textstyle \bigl\langle\eta\bigr\rangle=\mathbf{S}\cdot \bigl\langle\epsilon\bigr\rangle=0$ . Можно к ним прибавить некоторый постоянный вектор $\textstyle \bar{\eta}_\alpha$ , который будет иметь смысл средних значений $\textstyle \eta_\alpha$ :

$\eta_\alpha = \bar{\eta}_\alpha + S_{\alpha\beta}\varepsilon_\beta.$

Тогда общее $\textstyle n$ -мерное гауссово распределение принимает вид:

$P(\eta_1,...,\eta_n) = \frac{e^{-\frac{1}{2}\,(\eta-\bar{\eta})\cdot \mathbf{D}^{-1}\cdot (\eta-\bar{\eta})}}{(2\pi)^{n/2}\sqrt{\det\mathbf{D}}},$

где в плотность вероятности $\textstyle P(\varepsilon_1,...,\varepsilon_n)$ подставлено $\textstyle \epsilon=\mathbf{S}^{-1}\cdot (\eta-\bar{\eta})$ .

$\textstyle \bullet$ Рассмотрим в качестве примера случай $\textstyle n=2$ . Запишем элементы симметричной матрицы $\textstyle D_{\alpha\beta}$ при помощи трёх независимых констант $\textstyle \sigma_1$ , $\textstyle \sigma_2$ и $\textstyle \rho$ :

$\mathbf{D} = \begin{pmatrix} \sigma^2_1 & \rho\,\sigma_1\sigma_2 \\ \rho\,\sigma_1\sigma_2 & \sigma^2_2 \\ \end{pmatrix}.$

Несложно проверить, что определитель $\textstyle \mathbf{D}$ равен

$\det\mathbf{D} = \sigma^2_1\sigma^2_2 (1-\rho^2),$

а обратная к $\textstyle \mathbf{D}$ матрица имеет вид:

$\mathbf{D}^{-1} = \frac{1}{\det \mathbf{D}}\, \begin{pmatrix} \sigma^2_2 & -\rho\,\sigma_1\sigma_2 \\ -\rho\,\sigma_1\sigma_2 & \sigma^2_1 \\ \end{pmatrix}.$

В результате совместная плотность вероятности для $\textstyle \eta_1,\eta_2$ может быть записана следующим образом:

$P(\eta_1,\eta_2)=\frac{\exp\{-(x_1^2-2\rho\, x_1 x_2 + x^2_2)/2(1-\rho^2)\}}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}},$

где $\textstyle x_i=(\eta_i-\bar{\eta}_i)/\sigma_i$ — относительные отклонения $\textstyle \eta_i$ от своих средних $\textstyle \bar{\eta}_i$ . Параметры $\textstyle \sigma_i$ являются волатильностями: $\textstyle \bigl\langle(\eta_1-\bar{\eta}_1)^2\bigr\rangle=D_{11}=\sigma^2_1$ , а $\textstyle \rho$ — коэффициент корреляции: $\textstyle \rho=\left\langle x_1 x_2 \right\rangle$ .

Матрица $\textstyle \mathbf{D}$ является симметричной, тогда как $\textstyle \mathbf{S}$ в общем случае — нет. Поэтому $\textstyle \mathbf{D}$ зависит от трёх параметров, а $\textstyle \mathbf{S}$ — от четырёх, и одной и той же матрице дисперсии может соответствовать несколько различных матриц $\textstyle \mathbf{S}$ . Так, можно записать:

$\mathbf{S} = \begin{pmatrix} \sigma_1\cos \alpha & \sigma_1\sin\alpha \\ \sigma_2\sin \beta & \sigma_2\cos\beta \\ \end{pmatrix},$

где $\textstyle \rho=\sin(\alpha+\beta)$ . Понятно, что возможны различные комбинации "углов" $\textstyle \alpha$ и $\textstyle \beta$ , дающие один и тот же корреляционный коэффициент $\textstyle \rho$ .

Если $\textstyle \alpha=-\beta$ , то $\textstyle \rho=0$ , и $\textstyle \mathbf{D}=\mathbf{S}\mathbf{S}^{T}$ является диагональной, а при $\textstyle \sigma_1=\sigma_2=1$ — единичной. Матрицу $\textstyle \mathbf{S}$ , удовлетворяющую уравнению $\textstyle \mathbf{S}\mathbf{S}^{T}=\mathbf{1}$ , называют ортогональной.

Если $\textstyle \alpha=0$ , $\textstyle \rho=\sin\beta$ , $\textstyle \sigma_1=\sigma_2=1$ , то

$\mathbf{S} = \begin{pmatrix} 1 & 0 \\ \rho & \sqrt{1-\rho^2} \\ \end{pmatrix}, \;\;\;\;\;\;\;\;\;\;\;\;\; \mathbf{D} = \begin{pmatrix} 1 & \rho \\ \rho & 1 \\ \end{pmatrix}.$

(1.37)

Подобная смесь переводит независимые стандартные случайные величины $\textstyle \varepsilon_1,\varepsilon_2\sim N(0,1)$ в скоррелированные, так что $\textstyle \eta_1,\eta_2\sim N(0,1)$ :

$\left\{ \begin{array}{l} \eta_1 =\;\; \varepsilon_1\\ \eta_2 = \rho\,\varepsilon_1+ \sqrt{1-\rho^2}\;\varepsilon_2\\ \end{array} \right. \;\;\;\;\;=>\;\;\;\;\; \bigl\langle\eta_1\cdot\eta_2\bigr\rangle = \rho,\;\;\;\;\;\;\bigl\langle\eta^2_1 \bigr\rangle=\bigl\langle\eta^2_2\bigr\rangle=1.$

Это позволяет, например, при компьютерном моделировании генерить скоррелированные величины при помощи нескоррелированных.

Характеристическая функция <<	Оглавление	>> Модель аддитивного блуждания

Стохастический мир - простое введение в стохастические дифференциальные уравнения

Многомерное распределение Гаусса

Материал из Synset

Просмотры

Личные инструменты

Навигация

почитай

Поиск

Инструменты