Многомерное распределение Гаусса — различия между версиями
WikiSysop (обсуждение | вклад) |
WikiSysop (обсуждение | вклад) |
||
Строка 44: | Строка 44: | ||
<math>\textstyle \bullet</math> Пусть <math>\textstyle \epsilon = (\varepsilon_1,...,\varepsilon_n)</math> — стандартные независимые гауссовые случайные величины <math>\textstyle \varepsilon_i\sim N(0,1)</math>, а величины <math>\textstyle \eta=(\eta_1,...,\eta_n)</math> получены из них () при помощи перемешивающих коэффициентов <math>\textstyle S_{\alpha\beta}</math>. Среднее значение произведения <math>\textstyle \eta_\alpha\eta_\beta</math> определяется ''матрицей дисперсий'' (): | <math>\textstyle \bullet</math> Пусть <math>\textstyle \epsilon = (\varepsilon_1,...,\varepsilon_n)</math> — стандартные независимые гауссовые случайные величины <math>\textstyle \varepsilon_i\sim N(0,1)</math>, а величины <math>\textstyle \eta=(\eta_1,...,\eta_n)</math> получены из них () при помощи перемешивающих коэффициентов <math>\textstyle S_{\alpha\beta}</math>. Среднее значение произведения <math>\textstyle \eta_\alpha\eta_\beta</math> определяется ''матрицей дисперсий'' (): | ||
− | :<center><math>D_{\alpha\beta}=\bigl | + | :<center><math>D_{\alpha\beta}=\bigl\langle\eta_\alpha\eta_\beta\bigr\langle,\;\;\;\;\;\;\;\;\;\;\;\;\;\;\mathbf{D} = \mathbf{S}\cdot \mathbf{S}^{T},</math></center> |
которая является ''симметричной'': <math>\textstyle D_{\alpha\beta}=D_{\beta\alpha}</math>. | которая является ''симметричной'': <math>\textstyle D_{\alpha\beta}=D_{\beta\alpha}</math>. | ||
Строка 60: | Строка 60: | ||
:<center><math>\phi(\mathbf{b})=\left\langle e^{\mathbf{b}\cdot \eta}\right\rangle = e^{\frac{1}{2}\,\mathbf{b}\cdot \mathbf{D}\cdot \mathbf{b}}.</math></center> | :<center><math>\phi(\mathbf{b})=\left\langle e^{\mathbf{b}\cdot \eta}\right\rangle = e^{\frac{1}{2}\,\mathbf{b}\cdot \mathbf{D}\cdot \mathbf{b}}.</math></center> | ||
− | Взяв частные производные по <math>\textstyle b_\alpha</math>, несложно найти среднее от любого произведения <math>\textstyle \eta_\alpha</math>. Проверим, что среднее <math>\textstyle \bigl | + | Взяв частные производные по <math>\textstyle b_\alpha</math>, несложно найти среднее от любого произведения <math>\textstyle \eta_\alpha</math>. Проверим, что среднее <math>\textstyle \bigl\langle\eta_\alpha\eta_\beta\bigr\rangle</math> равно <math>\textstyle D_{\alpha\beta}</math>. Возьмём производную производящей функции по <math>\textstyle b_\alpha</math>. Учитывая, что <math>\textstyle \mathbf{b}\cdot \mathbf{D}\cdot \mathbf{b}</math> равно <math>\textstyle b_i D_{ij} b_j</math>, имеем: |
:<center><math>\frac{\partial \phi(\mathbf{b}) }{\partial b_\alpha} = \frac{1}{2}\, (D_{\alpha j} b_j + b_i D_{i\alpha} ) \, \phi(\mathbf{b}) = D_{\alpha i} b_i \, \phi(\mathbf{b}),</math></center> | :<center><math>\frac{\partial \phi(\mathbf{b}) }{\partial b_\alpha} = \frac{1}{2}\, (D_{\alpha j} b_j + b_i D_{i\alpha} ) \, \phi(\mathbf{b}) = D_{\alpha i} b_i \, \phi(\mathbf{b}),</math></center> | ||
Строка 70: | Строка 70: | ||
Полагая <math>\textstyle \mathbf{b}=0</math> и учитывая, что | Полагая <math>\textstyle \mathbf{b}=0</math> и учитывая, что | ||
− | :<center><math>\frac{\partial^2 \left\langle e^{\mathbf{b}\cdot \eta}\right\rangle }{\partial b_\alpha \partial b_\beta }\Big|_{\mathbf{b}=0} = \bigl | + | :<center><math>\frac{\partial^2 \left\langle e^{\mathbf{b}\cdot \eta}\right\rangle }{\partial b_\alpha \partial b_\beta }\Big|_{\mathbf{b}=0} = \bigl\langle\eta_\alpha\eta_\beta\bigr\rangle,</math></center> |
− | приходим к соотношению <math>\textstyle D_{\alpha\beta}=\bigl | + | приходим к соотношению <math>\textstyle D_{\alpha\beta}=\bigl\langle\eta_\alpha\eta_\beta\bigr\rangle</math>. В качестве упражнения предлагается проверить следующее тензорное выражение: |
− | :<center><math>\bigl | + | :<center><math>\bigl\langle\eta_\alpha\eta_\beta\eta_\gamma\eta_k\bigr\rangle =D_{\alpha\beta}D_{\gamma k} + D_{\alpha\gamma}D_{\beta k} + D_{\alpha k}D_{\beta \gamma}.</math></center> |
Таким образом, среднее любых степеней <math>\textstyle \eta</math> полностью определяется матрицей дисперсии \mathbf{D}. | Таким образом, среднее любых степеней <math>\textstyle \eta</math> полностью определяется матрицей дисперсии \mathbf{D}. | ||
Строка 94: | Строка 94: | ||
:<center><math>\epsilon^2 = S^{-1}_{i\alpha}\eta_\alpha\,S^{-1}_{i\beta}\eta_\beta = \eta_\alpha {S^{-1}}^{T}_{\alpha i}\,S^{-1}_{i\beta}\eta_\beta =\eta\cdot {\mathbf{S}^{-1}}^{T}\cdot\mathbf{S}^{-1}\cdot \eta = \eta \cdot (\mathbf{S}\cdot \mathbf{S}^T)^{-1}\cdot \eta</math></center> | :<center><math>\epsilon^2 = S^{-1}_{i\alpha}\eta_\alpha\,S^{-1}_{i\beta}\eta_\beta = \eta_\alpha {S^{-1}}^{T}_{\alpha i}\,S^{-1}_{i\beta}\eta_\beta =\eta\cdot {\mathbf{S}^{-1}}^{T}\cdot\mathbf{S}^{-1}\cdot \eta = \eta \cdot (\mathbf{S}\cdot \mathbf{S}^T)^{-1}\cdot \eta</math></center> | ||
− | и использовано свойство обратных матриц <math>\textstyle (\mathbf{A}\cdot \mathbf{b})^{-1}= \mathbf{b}^{-1}\cdot \mathbf{A}^{-1}</math> (см. стр. \pageref{math_mat_tensor}). Как и любая плотность вероятности, <math>\textstyle P(\eta_1,...,\eta_n)</math> нормирована на единицу, поэтому, учитывая выражение для производящей функции <math>\textstyle \bigl | + | и использовано свойство обратных матриц <math>\textstyle (\mathbf{A}\cdot \mathbf{b})^{-1}= \mathbf{b}^{-1}\cdot \mathbf{A}^{-1}</math> (см. стр. \pageref{math_mat_tensor}). Как и любая плотность вероятности, <math>\textstyle P(\eta_1,...,\eta_n)</math> нормирована на единицу, поэтому, учитывая выражение для производящей функции <math>\textstyle \bigl\langle e^{\mathbf{b}\cdot \eta}\bigr\rangle </math>, можно записать значение следующего <math>\textstyle n</math>-мерного гауссового интеграла: |
:<center><math> \int\limits^{\infty}_{-\infty} e^{\mathbf{b}\cdot \eta - \frac{1}{2}\eta\cdot \mathbf{D}^{-1}\cdot \eta} \,d^n\eta = (2\pi)^{n/2} \,\sqrt{\det\mathbf{D}}\; e^{\frac{1}{2}\,\mathbf{b}\cdot \mathbf{D}\cdot \mathbf{b}}. </math></center> | :<center><math> \int\limits^{\infty}_{-\infty} e^{\mathbf{b}\cdot \eta - \frac{1}{2}\eta\cdot \mathbf{D}^{-1}\cdot \eta} \,d^n\eta = (2\pi)^{n/2} \,\sqrt{\det\mathbf{D}}\; e^{\frac{1}{2}\,\mathbf{b}\cdot \mathbf{D}\cdot \mathbf{b}}. </math></center> | ||
− | До сих пор мы работали с перемешанными величинами, имеющими нулевое среднее: <math>\textstyle \bigl | + | До сих пор мы работали с перемешанными величинами, имеющими нулевое среднее: <math>\textstyle \bigl\langle\eta\bigr\rangle=\mathbf{S}\cdot \bigl\langle\epsilon\bigr\rangle=0</math>. Можно к ним прибавить некоторый постоянный вектор <math>\textstyle \bar{\eta}_\alpha</math>, который будет иметь смысл средних значений <math>\textstyle \eta_\alpha</math>: |
:<center><math>\eta_\alpha = \bar{\eta}_\alpha + S_{\alpha\beta}\varepsilon_\beta.</math></center> | :<center><math>\eta_\alpha = \bar{\eta}_\alpha + S_{\alpha\beta}\varepsilon_\beta.</math></center> | ||
Строка 124: | Строка 124: | ||
:<center><math>P(\eta_1,\eta_2)=\frac{\exp\{-(x_1^2-2\rho\, x_1 x_2 + x^2_2)/2(1-\rho^2)\}}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}},</math></center> | :<center><math>P(\eta_1,\eta_2)=\frac{\exp\{-(x_1^2-2\rho\, x_1 x_2 + x^2_2)/2(1-\rho^2)\}}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}},</math></center> | ||
− | где <math>\textstyle x_i=(\eta_i-\bar{\eta}_i)/\sigma_i</math> — относительные отклонения <math>\textstyle \eta_i</math> от своих средних <math>\textstyle \bar{\eta}_i</math>. Параметры <math>\textstyle \sigma_i</math> являются волатильностями: <math>\textstyle \bigl | + | где <math>\textstyle x_i=(\eta_i-\bar{\eta}_i)/\sigma_i</math> — относительные отклонения <math>\textstyle \eta_i</math> от своих средних <math>\textstyle \bar{\eta}_i</math>. Параметры <math>\textstyle \sigma_i</math> являются волатильностями: <math>\textstyle \bigl\langle(\eta_1-\bar{\eta}_1)^2\bigr\rangle=D_{11}=\sigma^2_1</math>, а <math>\textstyle \rho</math> — коэффициент корреляции: <math>\textstyle \rho=\left\langle x_1 x_2 \right\rangle </math>. |
Матрица <math>\textstyle \mathbf{D}</math> является симметричной, тогда как <math>\textstyle \mathbf{S}</math> в общем случае — нет. Поэтому <math>\textstyle \mathbf{D}</math> зависит от трёх параметров, а <math>\textstyle \mathbf{S}</math> — от четырёх, и одной и той же матрице дисперсии может соответствовать несколько различных матриц <math>\textstyle \mathbf{S}</math>. Так, можно записать: | Матрица <math>\textstyle \mathbf{D}</math> является симметричной, тогда как <math>\textstyle \mathbf{S}</math> в общем случае — нет. Поэтому <math>\textstyle \mathbf{D}</math> зависит от трёх параметров, а <math>\textstyle \mathbf{S}</math> — от четырёх, и одной и той же матрице дисперсии может соответствовать несколько различных матриц <math>\textstyle \mathbf{S}</math>. Так, можно записать: | ||
Строка 140: | Строка 140: | ||
Подобная смесь переводит независимые стандартные случайные величины <math>\textstyle \varepsilon_1,\varepsilon_2\sim N(0,1)</math> в скоррелированные, так что <math>\textstyle \eta_1,\eta_2\sim N(0,1)</math> : | Подобная смесь переводит независимые стандартные случайные величины <math>\textstyle \varepsilon_1,\varepsilon_2\sim N(0,1)</math> в скоррелированные, так что <math>\textstyle \eta_1,\eta_2\sim N(0,1)</math> : | ||
− | :<center><math>\left\{ \begin{array}{l} \eta_1 =\;\; \varepsilon_1\ \eta_2 = \rho\,\varepsilon_1+ \sqrt{1-\rho^2}\;\varepsilon_2\ \end{array} \right. \;\;\;\;\;=>\;\;\;\;\; \bigl | + | :<center><math>\left\{ \begin{array}{l} \eta_1 =\;\; \varepsilon_1\ \eta_2 = \rho\,\varepsilon_1+ \sqrt{1-\rho^2}\;\varepsilon_2\ \end{array} \right. \;\;\;\;\;=>\;\;\;\;\; \bigl\langle\eta_1\cdot\eta_2\bigr\rangle = \rho,\;\;\;\;\;\;\bigl\langle\eta^2_1\bigr\rangle=\bigl\langle\eta^2_2\bigr\rangle=1.</math></center> |
Это позволяет, например, при компьютерном моделировании генерить скоррелированные величины при помощи нескоррелированных. | Это позволяет, например, при компьютерном моделировании генерить скоррелированные величины при помощи нескоррелированных. |
Версия 16:14, 21 января 2010
Характеристическая функция << | Оглавление | >> Модель аддитивного блуждания |
---|
При изучении систем стохастических уравнений мы будем активно использовать матричные и тензорные обозначения. Для сокращения операции умножения матриц используется два типа соглашений:
По повторяющемуся индексу всегда подразумевается суммирование, и знак суммы опускается. Выше таковым является индекс "" во втором равенстве. Повторяющиеся индексы, по которым проводится суммирование, называют "немыми". В процессе вычислений их можно переобозначить в любую букву, которая ещё не используется в выражении. Третье равенство в уравнении () — это матричная форма той же суммы, в которой матрица и вектор перемножаются вообще без упоминания индексов и знака суммирования.
Рассмотрим независимых гауссовых случайных величин, имеющих нулевое среднее и единичную дисперсию. Среднее значение их произведения равно единице для совпадающих индексов и нулю — для различных. Подобная матрица будет обозначаться символом Кронекера:
Вычислим, например, ковариационную матрицу случайных величин :
При суммировании с символом Кронекера в сумме остаются только слагаемые с . Поэтому одна из сумм (по ) и символ Кронекера исчезают, и остаётся только суммационный индекс . Затем вводится новая матрица с переставленными индексами. Подобная операция называется транспонированием. В табличном представлении она соответствует перестановке местами строк и столбцов матрицы.
Матрица может имеет обратную , если выполняется уравнение:
где — единичная матрица (символ Кронекера). Так, для определённого выше вектора можно записать:
где мы умножили левую и правую части на .
Пусть — стандартные независимые гауссовые случайные величины , а величины получены из них () при помощи перемешивающих коэффициентов . Среднее значение произведения определяется матрицей дисперсий ():
которая является симметричной: .
Найдём производящую функцию для случайных величин . Для этого введём вектор и вычислим среднее экспоненты от скалярного произведения (по нет суммы!):
Мы воспользовались независимостью величин , разбив среднее произведения на произведение средних, и формулой (), стр. \pageref{aver_exp_gauss}. В показателе экспоненты стоит матричное выражение вида:
Поэтому окончательно производящая функция равна:
Взяв частные производные по , несложно найти среднее от любого произведения . Проверим, что среднее равно . Возьмём производную производящей функции по . Учитывая, что равно , имеем:
где во втором равенстве мы воспользовались тем, что . Аналогично берётся вторая производная:
Полагая и учитывая, что
приходим к соотношению . В качестве упражнения предлагается проверить следующее тензорное выражение:
Таким образом, среднее любых степеней полностью определяется матрицей дисперсии \mathbf{D}.
Найдём теперь явный вид совместной плотности вероятности для величин . Запишем сначала плотность вероятности для :
При замене переменных в интеграле необходимо изменить элемент объёма интегрирования , умножив его на якобиан:
Так как при транспонировании матрицы её определитель не изменяется, а определитель произведения матриц равен произведению их определителей, то и, следовательно:
где в показателе экспоненты подставлены :
и использовано свойство обратных матриц (см. стр. \pageref{math_mat_tensor}). Как и любая плотность вероятности, нормирована на единицу, поэтому, учитывая выражение для производящей функции , можно записать значение следующего -мерного гауссового интеграла:
До сих пор мы работали с перемешанными величинами, имеющими нулевое среднее: . Можно к ним прибавить некоторый постоянный вектор , который будет иметь смысл средних значений :
Тогда общее -мерное гауссово распределение принимает вид:
где в плотность вероятности подставлено .
Рассмотрим в качестве примера случай . Запишем элементы симметричной матрицы при помощи трёх независимых констант , и :
Несложно проверить, что определитель равен
а обратная к матрица имеет вид:
В результате совместная плотность вероятности для может быть записана следующим образом:
где — относительные отклонения от своих средних . Параметры являются волатильностями: , а — коэффициент корреляции: .
Матрица является симметричной, тогда как в общем случае — нет. Поэтому зависит от трёх параметров, а — от четырёх, и одной и той же матрице дисперсии может соответствовать несколько различных матриц . Так, можно записать:
где . Понятно, что возможны различные комбинации "углов" и , дающие один и тот же корреляционный коэффициент .
Если , то , и является диагональной, а при — единичной. Матрицу , удовлетворяющую уравнению , называют ортогональной.
Если , , , то
Подобная смесь переводит независимые стандартные случайные величины в скоррелированные, так что :
Это позволяет, например, при компьютерном моделировании генерить скоррелированные величины при помощи нескоррелированных.
Характеристическая функция << | Оглавление | >> Модель аддитивного блуждания |
---|
Стохастический мир - простое введение в стохастические дифференциальные уравнения