Многомерное распределение Гаусса — различия между версиями

Материал из synset
Перейти к: навигация, поиск
Строка 44: Строка 44:
 
<math>\textstyle \bullet</math> Пусть <math>\textstyle \epsilon = (\varepsilon_1,...,\varepsilon_n)</math> &mdash; стандартные независимые гауссовые случайные величины <math>\textstyle \varepsilon_i\sim N(0,1)</math>, а величины  <math>\textstyle \eta=(\eta_1,...,\eta_n)</math> получены из них () при помощи перемешивающих коэффициентов <math>\textstyle S_{\alpha\beta}</math>. Среднее значение произведения <math>\textstyle \eta_\alpha\eta_\beta</math> определяется ''матрицей дисперсий'' ():
 
<math>\textstyle \bullet</math> Пусть <math>\textstyle \epsilon = (\varepsilon_1,...,\varepsilon_n)</math> &mdash; стандартные независимые гауссовые случайные величины <math>\textstyle \varepsilon_i\sim N(0,1)</math>, а величины  <math>\textstyle \eta=(\eta_1,...,\eta_n)</math> получены из них () при помощи перемешивающих коэффициентов <math>\textstyle S_{\alpha\beta}</math>. Среднее значение произведения <math>\textstyle \eta_\alpha\eta_\beta</math> определяется ''матрицей дисперсий'' ():
  
:<center><math>D_{\alpha\beta}=\bigl<\eta_\alpha\eta_\beta\bigr>,\;\;\;\;\;\;\;\;\;\;\;\;\;\;\mathbf{D} = \mathbf{S}\cdot \mathbf{S}^{T},</math></center>
+
:<center><math>D_{\alpha\beta}=\bigl\langle\eta_\alpha\eta_\beta\bigr\langle,\;\;\;\;\;\;\;\;\;\;\;\;\;\;\mathbf{D} = \mathbf{S}\cdot \mathbf{S}^{T},</math></center>
  
 
которая является ''симметричной'': <math>\textstyle D_{\alpha\beta}=D_{\beta\alpha}</math>.
 
которая является ''симметричной'': <math>\textstyle D_{\alpha\beta}=D_{\beta\alpha}</math>.
Строка 60: Строка 60:
 
:<center><math>\phi(\mathbf{b})=\left\langle e^{\mathbf{b}\cdot \eta}\right\rangle  =  e^{\frac{1}{2}\,\mathbf{b}\cdot \mathbf{D}\cdot \mathbf{b}}.</math></center>
 
:<center><math>\phi(\mathbf{b})=\left\langle e^{\mathbf{b}\cdot \eta}\right\rangle  =  e^{\frac{1}{2}\,\mathbf{b}\cdot \mathbf{D}\cdot \mathbf{b}}.</math></center>
  
Взяв частные производные по <math>\textstyle b_\alpha</math>,  несложно найти среднее от любого произведения <math>\textstyle \eta_\alpha</math>. Проверим, что среднее <math>\textstyle \bigl<\eta_\alpha\eta_\beta\bigr></math> равно <math>\textstyle D_{\alpha\beta}</math>. Возьмём производную производящей функции по <math>\textstyle b_\alpha</math>. Учитывая, что <math>\textstyle \mathbf{b}\cdot \mathbf{D}\cdot \mathbf{b}</math> равно <math>\textstyle b_i D_{ij}  b_j</math>, имеем:
+
Взяв частные производные по <math>\textstyle b_\alpha</math>,  несложно найти среднее от любого произведения <math>\textstyle \eta_\alpha</math>. Проверим, что среднее <math>\textstyle \bigl\langle\eta_\alpha\eta_\beta\bigr\rangle</math> равно <math>\textstyle D_{\alpha\beta}</math>. Возьмём производную производящей функции по <math>\textstyle b_\alpha</math>. Учитывая, что <math>\textstyle \mathbf{b}\cdot \mathbf{D}\cdot \mathbf{b}</math> равно <math>\textstyle b_i D_{ij}  b_j</math>, имеем:
  
 
:<center><math>\frac{\partial \phi(\mathbf{b}) }{\partial b_\alpha} = \frac{1}{2}\, (D_{\alpha j} b_j + b_i D_{i\alpha} ) \, \phi(\mathbf{b}) = D_{\alpha i} b_i  \, \phi(\mathbf{b}),</math></center>
 
:<center><math>\frac{\partial \phi(\mathbf{b}) }{\partial b_\alpha} = \frac{1}{2}\, (D_{\alpha j} b_j + b_i D_{i\alpha} ) \, \phi(\mathbf{b}) = D_{\alpha i} b_i  \, \phi(\mathbf{b}),</math></center>
Строка 70: Строка 70:
 
Полагая <math>\textstyle \mathbf{b}=0</math> и учитывая, что
 
Полагая <math>\textstyle \mathbf{b}=0</math> и учитывая, что
  
:<center><math>\frac{\partial^2 \left\langle e^{\mathbf{b}\cdot \eta}\right\rangle }{\partial b_\alpha \partial b_\beta }\Big|_{\mathbf{b}=0} = \bigl<\eta_\alpha\eta_\beta\bigr>,</math></center>
+
:<center><math>\frac{\partial^2 \left\langle e^{\mathbf{b}\cdot \eta}\right\rangle }{\partial b_\alpha \partial b_\beta }\Big|_{\mathbf{b}=0} = \bigl\langle\eta_\alpha\eta_\beta\bigr\rangle,</math></center>
  
приходим к соотношению <math>\textstyle D_{\alpha\beta}=\bigl<\eta_\alpha\eta_\beta\bigr></math>. В качестве упражнения предлагается проверить следующее тензорное выражение:
+
приходим к соотношению <math>\textstyle D_{\alpha\beta}=\bigl\langle\eta_\alpha\eta_\beta\bigr\rangle</math>. В качестве упражнения предлагается проверить следующее тензорное выражение:
  
:<center><math>\bigl<\eta_\alpha\eta_\beta\eta_\gamma\eta_k\bigr> =D_{\alpha\beta}D_{\gamma k} + D_{\alpha\gamma}D_{\beta k} + D_{\alpha k}D_{\beta \gamma}.</math></center>
+
:<center><math>\bigl\langle\eta_\alpha\eta_\beta\eta_\gamma\eta_k\bigr\rangle =D_{\alpha\beta}D_{\gamma k} + D_{\alpha\gamma}D_{\beta k} + D_{\alpha k}D_{\beta \gamma}.</math></center>
  
 
Таким образом, среднее любых степеней <math>\textstyle \eta</math> полностью определяется  матрицей дисперсии \mathbf{D}.
 
Таким образом, среднее любых степеней <math>\textstyle \eta</math> полностью определяется  матрицей дисперсии \mathbf{D}.
Строка 94: Строка 94:
 
:<center><math>\epsilon^2 = S^{-1}_{i\alpha}\eta_\alpha\,S^{-1}_{i\beta}\eta_\beta = \eta_\alpha {S^{-1}}^{T}_{\alpha i}\,S^{-1}_{i\beta}\eta_\beta =\eta\cdot {\mathbf{S}^{-1}}^{T}\cdot\mathbf{S}^{-1}\cdot \eta = \eta \cdot (\mathbf{S}\cdot \mathbf{S}^T)^{-1}\cdot \eta</math></center>
 
:<center><math>\epsilon^2 = S^{-1}_{i\alpha}\eta_\alpha\,S^{-1}_{i\beta}\eta_\beta = \eta_\alpha {S^{-1}}^{T}_{\alpha i}\,S^{-1}_{i\beta}\eta_\beta =\eta\cdot {\mathbf{S}^{-1}}^{T}\cdot\mathbf{S}^{-1}\cdot \eta = \eta \cdot (\mathbf{S}\cdot \mathbf{S}^T)^{-1}\cdot \eta</math></center>
  
и использовано свойство обратных матриц <math>\textstyle (\mathbf{A}\cdot \mathbf{b})^{-1}= \mathbf{b}^{-1}\cdot \mathbf{A}^{-1}</math> (см. стр. \pageref{math_mat_tensor}). Как и любая плотность вероятности, <math>\textstyle P(\eta_1,...,\eta_n)</math> нормирована на единицу, поэтому, учитывая выражение для производящей функции <math>\textstyle \bigl<e^{\mathbf{b}\cdot \eta}\bigr></math>, можно записать значение следующего <math>\textstyle n</math>-мерного гауссового интеграла:
+
и использовано свойство обратных матриц <math>\textstyle (\mathbf{A}\cdot \mathbf{b})^{-1}= \mathbf{b}^{-1}\cdot \mathbf{A}^{-1}</math> (см. стр. \pageref{math_mat_tensor}). Как и любая плотность вероятности, <math>\textstyle P(\eta_1,...,\eta_n)</math> нормирована на единицу, поэтому, учитывая выражение для производящей функции <math>\textstyle \bigl\langle e^{\mathbf{b}\cdot \eta}\bigr\rangle </math>, можно записать значение следующего <math>\textstyle n</math>-мерного гауссового интеграла:
  
 
:<center><math> \int\limits^{\infty}_{-\infty} e^{\mathbf{b}\cdot \eta - \frac{1}{2}\eta\cdot \mathbf{D}^{-1}\cdot \eta} \,d^n\eta = (2\pi)^{n/2} \,\sqrt{\det\mathbf{D}}\; e^{\frac{1}{2}\,\mathbf{b}\cdot \mathbf{D}\cdot \mathbf{b}}. </math></center>
 
:<center><math> \int\limits^{\infty}_{-\infty} e^{\mathbf{b}\cdot \eta - \frac{1}{2}\eta\cdot \mathbf{D}^{-1}\cdot \eta} \,d^n\eta = (2\pi)^{n/2} \,\sqrt{\det\mathbf{D}}\; e^{\frac{1}{2}\,\mathbf{b}\cdot \mathbf{D}\cdot \mathbf{b}}. </math></center>
  
До сих пор мы работали с перемешанными величинами, имеющими нулевое среднее: <math>\textstyle \bigl<\eta\bigr>=\mathbf{S}\cdot \bigl<\epsilon\bigr>=0</math>. Можно к ним прибавить некоторый постоянный вектор <math>\textstyle \bar{\eta}_\alpha</math>, который будет иметь смысл средних значений <math>\textstyle \eta_\alpha</math>:
+
До сих пор мы работали с перемешанными величинами, имеющими нулевое среднее: <math>\textstyle \bigl\langle\eta\bigr\rangle=\mathbf{S}\cdot \bigl\langle\epsilon\bigr\rangle=0</math>. Можно к ним прибавить некоторый постоянный вектор <math>\textstyle \bar{\eta}_\alpha</math>, который будет иметь смысл средних значений <math>\textstyle \eta_\alpha</math>:
  
 
:<center><math>\eta_\alpha = \bar{\eta}_\alpha + S_{\alpha\beta}\varepsilon_\beta.</math></center>
 
:<center><math>\eta_\alpha = \bar{\eta}_\alpha + S_{\alpha\beta}\varepsilon_\beta.</math></center>
Строка 124: Строка 124:
 
:<center><math>P(\eta_1,\eta_2)=\frac{\exp\{-(x_1^2-2\rho\, x_1 x_2 + x^2_2)/2(1-\rho^2)\}}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}},</math></center>
 
:<center><math>P(\eta_1,\eta_2)=\frac{\exp\{-(x_1^2-2\rho\, x_1 x_2 + x^2_2)/2(1-\rho^2)\}}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}},</math></center>
  
где <math>\textstyle x_i=(\eta_i-\bar{\eta}_i)/\sigma_i</math> &mdash; относительные отклонения <math>\textstyle \eta_i</math> от своих  средних <math>\textstyle \bar{\eta}_i</math>. Параметры <math>\textstyle \sigma_i</math> являются волатильностями: <math>\textstyle \bigl<(\eta_1-\bar{\eta}_1)^2\bigr>=D_{11}=\sigma^2_1</math>, а <math>\textstyle \rho</math> &mdash; коэффициент корреляции: <math>\textstyle \rho=\left\langle x_1 x_2 \right\rangle </math>.
+
где <math>\textstyle x_i=(\eta_i-\bar{\eta}_i)/\sigma_i</math> &mdash; относительные отклонения <math>\textstyle \eta_i</math> от своих  средних <math>\textstyle \bar{\eta}_i</math>. Параметры <math>\textstyle \sigma_i</math> являются волатильностями: <math>\textstyle \bigl\langle(\eta_1-\bar{\eta}_1)^2\bigr\rangle=D_{11}=\sigma^2_1</math>, а <math>\textstyle \rho</math> &mdash; коэффициент корреляции: <math>\textstyle \rho=\left\langle x_1 x_2 \right\rangle </math>.
  
 
Матрица <math>\textstyle \mathbf{D}</math> является симметричной, тогда как <math>\textstyle \mathbf{S}</math> в общем случае &mdash; нет. Поэтому <math>\textstyle \mathbf{D}</math> зависит от трёх параметров, а <math>\textstyle \mathbf{S}</math> &mdash; от четырёх, и одной и той же матрице дисперсии может соответствовать несколько различных матриц <math>\textstyle \mathbf{S}</math>. Так, можно записать:
 
Матрица <math>\textstyle \mathbf{D}</math> является симметричной, тогда как <math>\textstyle \mathbf{S}</math> в общем случае &mdash; нет. Поэтому <math>\textstyle \mathbf{D}</math> зависит от трёх параметров, а <math>\textstyle \mathbf{S}</math> &mdash; от четырёх, и одной и той же матрице дисперсии может соответствовать несколько различных матриц <math>\textstyle \mathbf{S}</math>. Так, можно записать:
Строка 140: Строка 140:
 
Подобная смесь  переводит независимые стандартные случайные величины <math>\textstyle \varepsilon_1,\varepsilon_2\sim N(0,1)</math> в скоррелированные, так что <math>\textstyle \eta_1,\eta_2\sim N(0,1)</math> :
 
Подобная смесь  переводит независимые стандартные случайные величины <math>\textstyle \varepsilon_1,\varepsilon_2\sim N(0,1)</math> в скоррелированные, так что <math>\textstyle \eta_1,\eta_2\sim N(0,1)</math> :
  
:<center><math>\left\{ \begin{array}{l} \eta_1 =\;\; \varepsilon_1\ \eta_2 = \rho\,\varepsilon_1+ \sqrt{1-\rho^2}\;\varepsilon_2\ \end{array} \right. \;\;\;\;\;=>\;\;\;\;\; \bigl<\eta_1\cdot\eta_2\bigr> = \rho,\;\;\;\;\;\;\bigl<\eta^2_1\bigr>=\bigl<\eta^2_2\bigr>=1.</math></center>
+
:<center><math>\left\{ \begin{array}{l} \eta_1 =\;\; \varepsilon_1\ \eta_2 = \rho\,\varepsilon_1+ \sqrt{1-\rho^2}\;\varepsilon_2\ \end{array} \right. \;\;\;\;\;=>\;\;\;\;\; \bigl\langle\eta_1\cdot\eta_2\bigr\rangle = \rho,\;\;\;\;\;\;\bigl\langle\eta^2_1\bigr\rangle=\bigl\langle\eta^2_2\bigr\rangle=1.</math></center>
  
 
Это позволяет, например, при компьютерном моделировании генерить скоррелированные величины при помощи нескоррелированных.
 
Это позволяет, например, при компьютерном моделировании генерить скоррелированные величины при помощи нескоррелированных.

Версия 16:14, 21 января 2010

Характеристическая функция << Оглавление >> Модель аддитивного блуждания

При изучении систем стохастических уравнений мы будем активно использовать матричные и тензорные обозначения. Для сокращения операции умножения матриц используется два типа соглашений:

По повторяющемуся индексу всегда подразумевается суммирование, и знак суммы опускается. Выше таковым является индекс "" во втором равенстве. Повторяющиеся индексы, по которым проводится суммирование, называют "немыми". В процессе вычислений их можно переобозначить в любую букву, которая ещё не используется в выражении. Третье равенство в уравнении () — это матричная форма той же суммы, в которой матрица и вектор перемножаются вообще без упоминания индексов и знака суммирования.

Рассмотрим независимых гауссовых случайных величин, имеющих нулевое среднее и единичную дисперсию. Среднее значение их произведения равно единице для совпадающих индексов и нулю — для различных. Подобная матрица будет обозначаться символом Кронекера:

Вычислим, например, ковариационную матрицу случайных величин :

При суммировании с символом Кронекера в сумме остаются только слагаемые с . Поэтому одна из сумм (по ) и символ Кронекера исчезают, и остаётся только суммационный индекс . Затем вводится новая матрица с переставленными индексами. Подобная операция называется транспонированием. В табличном представлении она соответствует перестановке местами строк и столбцов матрицы.

Матрица может имеет обратную , если выполняется уравнение:

где — единичная матрица (символ Кронекера). Так, для определённого выше вектора можно записать:

где мы умножили левую и правую части на .

Пусть — стандартные независимые гауссовые случайные величины , а величины получены из них () при помощи перемешивающих коэффициентов . Среднее значение произведения определяется матрицей дисперсий ():

которая является симметричной: .

Найдём производящую функцию для случайных величин . Для этого введём вектор и вычислим среднее экспоненты от скалярного произведения (по нет суммы!):

Мы воспользовались независимостью величин , разбив среднее произведения на произведение средних, и формулой (), стр. \pageref{aver_exp_gauss}. В показателе экспоненты стоит матричное выражение вида:

Поэтому окончательно производящая функция равна:

Взяв частные производные по , несложно найти среднее от любого произведения . Проверим, что среднее равно . Возьмём производную производящей функции по . Учитывая, что равно , имеем:

где во втором равенстве мы воспользовались тем, что . Аналогично берётся вторая производная:

Полагая и учитывая, что

приходим к соотношению . В качестве упражнения предлагается проверить следующее тензорное выражение:

Таким образом, среднее любых степеней полностью определяется матрицей дисперсии \mathbf{D}.

Найдём теперь явный вид совместной плотности вероятности для величин . Запишем сначала плотность вероятности для :

При замене переменных в интеграле необходимо изменить элемент объёма интегрирования , умножив его на якобиан:

Так как при транспонировании матрицы её определитель не изменяется, а определитель произведения матриц равен произведению их определителей, то и, следовательно:

где в показателе экспоненты подставлены :

и использовано свойство обратных матриц (см. стр. \pageref{math_mat_tensor}). Как и любая плотность вероятности, нормирована на единицу, поэтому, учитывая выражение для производящей функции , можно записать значение следующего -мерного гауссового интеграла:

До сих пор мы работали с перемешанными величинами, имеющими нулевое среднее: . Можно к ним прибавить некоторый постоянный вектор , который будет иметь смысл средних значений :

Тогда общее -мерное гауссово распределение принимает вид:

где в плотность вероятности подставлено .

Рассмотрим в качестве примера случай . Запишем элементы симметричной матрицы при помощи трёх независимых констант , и :

Несложно проверить, что определитель равен

а обратная к матрица имеет вид:

В результате совместная плотность вероятности для может быть записана следующим образом:

где — относительные отклонения от своих средних . Параметры являются волатильностями: , а — коэффициент корреляции: .

Матрица является симметричной, тогда как в общем случае — нет. Поэтому зависит от трёх параметров, а — от четырёх, и одной и той же матрице дисперсии может соответствовать несколько различных матриц . Так, можно записать:

где . Понятно, что возможны различные комбинации "углов" и , дающие один и тот же корреляционный коэффициент .

Если , то , и является диагональной, а при — единичной. Матрицу , удовлетворяющую уравнению , называют ортогональной.

Если , , , то

Подобная смесь переводит независимые стандартные случайные величины в скоррелированные, так что  :

Это позволяет, например, при компьютерном моделировании генерить скоррелированные величины при помощи нескоррелированных.


Характеристическая функция << Оглавление >> Модель аддитивного блуждания

Стохастический мир - простое введение в стохастические дифференциальные уравнения