Многомерное распределение Гаусса — различия между версиями

Материал из synset
Перейти к: навигация, поиск
 
(не показаны 4 промежуточные версии этого же участника)
Строка 7: Строка 7:
 
<math>\textstyle \bullet</math> При изучении систем стохастических уравнений мы будем активно использовать матричные и тензорные обозначения. Для сокращения операции умножения  матриц используется два типа соглашений:
 
<math>\textstyle \bullet</math> При изучении систем стохастических уравнений мы будем активно использовать матричные и тензорные обозначения. Для сокращения операции умножения  матриц используется два типа соглашений:
  
:<center><math> \eta_\alpha = \sum^n_{i=1} S_{\alpha i} \;\varepsilon_i \;=\;  S_{\alpha i} \;\varepsilon_i = (\mathbf{S}\cdot \mathbf{\epsilon})_{\alpha}. </math></center>
+
{| width="100%" 
 +
| width="90%" align="center"|<math> \eta_\alpha = \sum^n_{i=1} S_{\alpha i} \;\varepsilon_i \;=\;  S_{\alpha i} \;\varepsilon_i = (\mathbf{S}\cdot \mathbf{\epsilon})_{\alpha}. </math>
 +
|  <div width="10%" align="right" style="color:#0000CC">'''(1.34)'''</div>
 +
|}
  
По ''повторяющемуся'' индексу всегда подразумевается суммирование, и знак суммы  ''опускается''. Выше таковым является индекс "<math>i</math>" во втором равенстве. Повторяющиеся индексы, по которым проводится суммирование, называют "немыми". В процессе вычислений их можно переобозначить в любую букву, которая ещё не используется в выражении. Третье равенство в уравнении () &mdash; это матричная форма той же суммы, в которой матрица <math>\mathbf{S} = S_{\alpha\beta}</math> и вектор <math>\textstyle \epsilon = \{\varepsilon_1,...,\varepsilon_n\}</math> перемножаются вообще без упоминания индексов и знака суммирования.
+
По ''повторяющемуся'' индексу всегда подразумевается суммирование, и знак суммы  ''опускается''. Выше таковым является индекс "<math>i</math>" во втором равенстве. Повторяющиеся индексы, по которым проводится суммирование, называют "немыми". В процессе вычислений их можно переобозначить в любую букву, которая ещё не используется в выражении. Третье равенство в уравнении (1.34) &mdash; это матричная форма той же суммы, в которой матрица <math>\mathbf{S} = S_{\alpha\beta}</math> и вектор <math>\textstyle \epsilon = \{\varepsilon_1,...,\varepsilon_n\}</math> перемножаются вообще без упоминания индексов и знака суммирования.
  
 
Рассмотрим <math>n</math> независимых гауссовых случайных величин, имеющих нулевое среднее и единичную дисперсию. Среднее значение их произведения  
 
Рассмотрим <math>n</math> независимых гауссовых случайных величин, имеющих нулевое среднее и единичную дисперсию. Среднее значение их произведения  
Строка 28: Строка 31:
 
Вычислим, например, ковариационную матрицу случайных величин <math>\textstyle \eta_\alpha</math>:
 
Вычислим, например, ковариационную матрицу случайных величин <math>\textstyle \eta_\alpha</math>:
  
:<center><math> \bigl\langle\eta_\alpha\eta_\beta\bigr\rangle = S_{\alpha i} S_{\beta j} \bigl\langle\varepsilon_i\varepsilon_j\bigr\rangle = S_{\alpha i} S_{\beta j} \delta_{ij} = S_{\alpha i} S_{\beta i} = S_{\alpha i} S^{T}_{i\beta} = (\mathbf{S}\mathbf{S}^T)_{\alpha\beta}. </math></center>
+
{| width="100%" 
 +
| width="90%" align="center"|<math> \bigl\langle\eta_\alpha\eta_\beta\bigr\rangle = S_{\alpha i} S_{\beta j} \bigl\langle\varepsilon_i\varepsilon_j\bigr\rangle = S_{\alpha i} S_{\beta j} \delta_{ij} = S_{\alpha i} S_{\beta i} = S_{\alpha i} S^{T}_{i\beta} = (\mathbf{S}\mathbf{S}^T)_{\alpha\beta}. </math>
 +
|  <div width="10%" align="right" style="color:#0000CC">'''(1.35)'''</div>
 +
|}
  
 
При суммировании с символом Кронекера <math>\textstyle \delta_{ij}</math> в сумме остаются только слагаемые с <math>\textstyle i=j</math>. Поэтому одна из сумм (по <math>\textstyle j</math>) и символ Кронекера исчезают, и остаётся только суммационный индекс <math>\textstyle i</math>. Затем вводится ''новая'' матрица <math>\textstyle S^T_{i\beta}=S_{\beta i}</math> с переставленными индексами. Подобная операция называется ''транспонированием''. В табличном представлении она соответствует перестановке местами строк и столбцов матрицы.
 
При суммировании с символом Кронекера <math>\textstyle \delta_{ij}</math> в сумме остаются только слагаемые с <math>\textstyle i=j</math>. Поэтому одна из сумм (по <math>\textstyle j</math>) и символ Кронекера исчезают, и остаётся только суммационный индекс <math>\textstyle i</math>. Затем вводится ''новая'' матрица <math>\textstyle S^T_{i\beta}=S_{\beta i}</math> с переставленными индексами. Подобная операция называется ''транспонированием''. В табличном представлении она соответствует перестановке местами строк и столбцов матрицы.
Строка 42: Строка 48:
 
где мы умножили левую и правую части на <math>\textstyle \mathbf{S}^{-1}</math>.
 
где мы умножили левую и правую части на <math>\textstyle \mathbf{S}^{-1}</math>.
  
<math>\textstyle \bullet</math> Пусть <math>\textstyle \epsilon = (\varepsilon_1,...,\varepsilon_n)</math> &mdash; стандартные независимые гауссовые случайные величины <math>\textstyle \varepsilon_i\sim N(0,1)</math>, а величины  <math>\textstyle \eta=(\eta_1,...,\eta_n)</math> получены из них () при помощи перемешивающих коэффициентов <math>\textstyle S_{\alpha\beta}</math>. Среднее значение произведения <math>\textstyle \eta_\alpha\eta_\beta</math> определяется ''матрицей дисперсий'' ():
+
<math>\textstyle \bullet</math> Пусть <math>\textstyle \epsilon = (\varepsilon_1,...,\varepsilon_n)</math> &mdash; стандартные независимые гауссовые случайные величины <math>\textstyle \varepsilon_i\sim N(0,1)</math>, а величины  <math>\textstyle \eta=(\eta_1,...,\eta_n)</math> получены из них (1.34) при помощи перемешивающих коэффициентов <math>\textstyle S_{\alpha\beta}</math>. Среднее значение произведения <math>\textstyle \eta_\alpha\eta_\beta</math> определяется ''матрицей дисперсий'' (1.35):
  
 
:<center><math>D_{\alpha\beta}=\bigl\langle\eta_\alpha\eta_\beta\bigr\rangle,\;\;\;\;\;\;\;\;\;\;\;\;\;\;\mathbf{D} = \mathbf{S}\cdot \mathbf{S}^{T},</math></center>
 
:<center><math>D_{\alpha\beta}=\bigl\langle\eta_\alpha\eta_\beta\bigr\rangle,\;\;\;\;\;\;\;\;\;\;\;\;\;\;\mathbf{D} = \mathbf{S}\cdot \mathbf{S}^{T},</math></center>
Строка 76: Строка 82:
 
:<center><math>\bigl\langle\eta_\alpha\eta_\beta\eta_\gamma\eta_k\bigr\rangle =D_{\alpha\beta}D_{\gamma k} + D_{\alpha\gamma}D_{\beta k} + D_{\alpha k}D_{\beta \gamma}.</math></center>
 
:<center><math>\bigl\langle\eta_\alpha\eta_\beta\eta_\gamma\eta_k\bigr\rangle =D_{\alpha\beta}D_{\gamma k} + D_{\alpha\gamma}D_{\beta k} + D_{\alpha k}D_{\beta \gamma}.</math></center>
  
Таким образом, среднее любых степеней <math>\textstyle \eta</math> полностью определяется  матрицей дисперсии \mathbf{D}.
+
Таким образом, среднее любых степеней <math>\textstyle \eta</math> полностью определяется  матрицей дисперсии <math>\mathbf{D}</math>.
  
 
<math>\textstyle \bullet</math> Найдём теперь явный вид совместной плотности вероятности для величин <math>\textstyle \eta_1,...,\eta_n</math>. Запишем сначала плотность вероятности для <math>\textstyle \varepsilon_1,...,\varepsilon_n</math>:
 
<math>\textstyle \bullet</math> Найдём теперь явный вид совместной плотности вероятности для величин <math>\textstyle \eta_1,...,\eta_n</math>. Запишем сначала плотность вероятности для <math>\textstyle \varepsilon_1,...,\varepsilon_n</math>:
Строка 94: Строка 100:
 
:<center><math>\epsilon^2 = S^{-1}_{i\alpha}\eta_\alpha\,S^{-1}_{i\beta}\eta_\beta = \eta_\alpha {S^{-1}}^{T}_{\alpha i}\,S^{-1}_{i\beta}\eta_\beta =\eta\cdot {\mathbf{S}^{-1}}^{T}\cdot\mathbf{S}^{-1}\cdot \eta = \eta \cdot (\mathbf{S}\cdot \mathbf{S}^T)^{-1}\cdot \eta</math></center>
 
:<center><math>\epsilon^2 = S^{-1}_{i\alpha}\eta_\alpha\,S^{-1}_{i\beta}\eta_\beta = \eta_\alpha {S^{-1}}^{T}_{\alpha i}\,S^{-1}_{i\beta}\eta_\beta =\eta\cdot {\mathbf{S}^{-1}}^{T}\cdot\mathbf{S}^{-1}\cdot \eta = \eta \cdot (\mathbf{S}\cdot \mathbf{S}^T)^{-1}\cdot \eta</math></center>
  
и использовано свойство обратных матриц <math>\textstyle (\mathbf{A}\cdot \mathbf{b})^{-1}= \mathbf{b}^{-1}\cdot \mathbf{A}^{-1}</math> (см. стр. \pageref{math_mat_tensor}). Как и любая плотность вероятности, <math>\textstyle P(\eta_1,...,\eta_n)</math> нормирована на единицу, поэтому, учитывая выражение для производящей функции <math>\textstyle \bigl\langle e^{\mathbf{b}\cdot \eta}\bigr\rangle </math>, можно записать значение следующего <math>\textstyle n</math>-мерного гауссового интеграла:
+
и использовано свойство обратных матриц <math>\textstyle (\mathbf{A}\cdot \mathbf{b})^{-1}= \mathbf{b}^{-1}\cdot \mathbf{A}^{-1}</math>. Как и любая плотность вероятности, <math>\textstyle P(\eta_1,...,\eta_n)</math> нормирована на единицу, поэтому, учитывая выражение для производящей функции <math>\textstyle \bigl\langle e^{\mathbf{b}\cdot \eta}\bigr\rangle </math>, можно записать значение следующего <math>\textstyle n</math>-мерного гауссового интеграла:
  
:<center><math> \int\limits^{\infty}_{-\infty} e^{\mathbf{b}\cdot \eta - \frac{1}{2}\eta\cdot \mathbf{D}^{-1}\cdot \eta} \,d^n\eta = (2\pi)^{n/2} \,\sqrt{\det\mathbf{D}}\; e^{\frac{1}{2}\,\mathbf{b}\cdot \mathbf{D}\cdot \mathbf{b}}. </math></center>
+
{| width="100%" 
 +
| width="90%" align="center"|<math> \int\limits^{\infty}_{-\infty} e^{\mathbf{b}\cdot \eta - \frac{1}{2}\eta\cdot \mathbf{D}^{-1}\cdot \eta} \,d^n\eta = (2\pi)^{n/2} \,\sqrt{\det\mathbf{D}}\; e^{\frac{1}{2}\,\mathbf{b}\cdot \mathbf{D}\cdot \mathbf{b}}. </math>
 +
|  <div width="10%" align="right" style="color:#0000CC">'''(1.36)'''</div>
 +
|}
  
 
До сих пор мы работали с перемешанными величинами, имеющими нулевое среднее: <math>\textstyle \bigl\langle\eta\bigr\rangle=\mathbf{S}\cdot \bigl\langle\epsilon\bigr\rangle=0</math>. Можно к ним прибавить некоторый постоянный вектор <math>\textstyle \bar{\eta}_\alpha</math>, который будет иметь смысл средних значений <math>\textstyle \eta_\alpha</math>:
 
До сих пор мы работали с перемешанными величинами, имеющими нулевое среднее: <math>\textstyle \bigl\langle\eta\bigr\rangle=\mathbf{S}\cdot \bigl\langle\epsilon\bigr\rangle=0</math>. Можно к ним прибавить некоторый постоянный вектор <math>\textstyle \bar{\eta}_\alpha</math>, который будет иметь смысл средних значений <math>\textstyle \eta_\alpha</math>:
Строка 155: Строка 164:
 
Если <math>\textstyle \alpha=0</math>,  <math>\textstyle \rho=\sin\beta</math>,  <math>\textstyle \sigma_1=\sigma_2=1</math>, то
 
Если <math>\textstyle \alpha=0</math>,  <math>\textstyle \rho=\sin\beta</math>,  <math>\textstyle \sigma_1=\sigma_2=1</math>, то
  
<center>
+
{| width="100%" 
<math>  
+
| width="90%" align="center"|<math>  
 
\mathbf{S} =  
 
\mathbf{S} =  
 
\begin{pmatrix}  
 
\begin{pmatrix}  
Строка 168: Строка 177:
 
\end{pmatrix}.  
 
\end{pmatrix}.  
 
</math>
 
</math>
</center>
+
|  <div width="10%" align="right" style="color:#0000CC">'''(1.37)'''</div>
 +
|}
  
 
Подобная смесь  переводит независимые стандартные случайные величины <math>\textstyle \varepsilon_1,\varepsilon_2\sim N(0,1)</math> в скоррелированные, так что <math>\textstyle \eta_1,\eta_2\sim N(0,1)</math> :
 
Подобная смесь  переводит независимые стандартные случайные величины <math>\textstyle \varepsilon_1,\varepsilon_2\sim N(0,1)</math> в скоррелированные, так что <math>\textstyle \eta_1,\eta_2\sim N(0,1)</math> :

Текущая версия на 15:09, 17 февраля 2010

Характеристическая функция << Оглавление >> Модель аддитивного блуждания

При изучении систем стохастических уравнений мы будем активно использовать матричные и тензорные обозначения. Для сокращения операции умножения матриц используется два типа соглашений:

(1.34)

По повторяющемуся индексу всегда подразумевается суммирование, и знак суммы опускается. Выше таковым является индекс "" во втором равенстве. Повторяющиеся индексы, по которым проводится суммирование, называют "немыми". В процессе вычислений их можно переобозначить в любую букву, которая ещё не используется в выражении. Третье равенство в уравнении (1.34) — это матричная форма той же суммы, в которой матрица и вектор перемножаются вообще без упоминания индексов и знака суммирования.

Рассмотрим независимых гауссовых случайных величин, имеющих нулевое среднее и единичную дисперсию. Среднее значение их произведения равно единице для совпадающих индексов и нулю — для различных. Подобная матрица будет обозначаться символом Кронекера:

Вычислим, например, ковариационную матрицу случайных величин :

(1.35)

При суммировании с символом Кронекера в сумме остаются только слагаемые с . Поэтому одна из сумм (по ) и символ Кронекера исчезают, и остаётся только суммационный индекс . Затем вводится новая матрица с переставленными индексами. Подобная операция называется транспонированием. В табличном представлении она соответствует перестановке местами строк и столбцов матрицы.

Матрица может имеет обратную , если выполняется уравнение:

где — единичная матрица (символ Кронекера). Так, для определённого выше вектора можно записать:

где мы умножили левую и правую части на .

Пусть — стандартные независимые гауссовые случайные величины , а величины получены из них (1.34) при помощи перемешивающих коэффициентов . Среднее значение произведения определяется матрицей дисперсий (1.35):

которая является симметричной: .

Найдём производящую функцию для случайных величин . Для этого введём вектор и вычислим среднее экспоненты от скалярного произведения (по нет суммы!):

Мы воспользовались независимостью величин , разбив среднее произведения на произведение средних, и формулой. В показателе экспоненты стоит матричное выражение вида:

Поэтому окончательно производящая функция равна:

Взяв частные производные по , несложно найти среднее от любого произведения . Проверим, что среднее равно . Возьмём производную производящей функции по . Учитывая, что равно , имеем:

где во втором равенстве мы воспользовались тем, что . Аналогично берётся вторая производная:

Полагая и учитывая, что

приходим к соотношению . В качестве упражнения предлагается проверить следующее тензорное выражение:

Таким образом, среднее любых степеней полностью определяется матрицей дисперсии .

Найдём теперь явный вид совместной плотности вероятности для величин . Запишем сначала плотность вероятности для :

При замене переменных в интеграле необходимо изменить элемент объёма интегрирования , умножив его на якобиан:

Так как при транспонировании матрицы её определитель не изменяется, а определитель произведения матриц равен произведению их определителей, то и, следовательно:

где в показателе экспоненты подставлены :

и использовано свойство обратных матриц . Как и любая плотность вероятности, нормирована на единицу, поэтому, учитывая выражение для производящей функции , можно записать значение следующего -мерного гауссового интеграла:

(1.36)

До сих пор мы работали с перемешанными величинами, имеющими нулевое среднее: . Можно к ним прибавить некоторый постоянный вектор , который будет иметь смысл средних значений :

Тогда общее -мерное гауссово распределение принимает вид:

где в плотность вероятности подставлено .

Рассмотрим в качестве примера случай . Запишем элементы симметричной матрицы при помощи трёх независимых констант , и :

Несложно проверить, что определитель равен

а обратная к матрица имеет вид:

В результате совместная плотность вероятности для может быть записана следующим образом:

где — относительные отклонения от своих средних . Параметры являются волатильностями: , а — коэффициент корреляции: .

Матрица является симметричной, тогда как в общем случае — нет. Поэтому зависит от трёх параметров, а — от четырёх, и одной и той же матрице дисперсии может соответствовать несколько различных матриц . Так, можно записать:

где . Понятно, что возможны различные комбинации "углов" и , дающие один и тот же корреляционный коэффициент .

Если , то , и является диагональной, а при — единичной. Матрицу , удовлетворяющую уравнению , называют ортогональной.

Если , , , то

(1.37)

Подобная смесь переводит независимые стандартные случайные величины в скоррелированные, так что  :

Это позволяет, например, при компьютерном моделировании генерить скоррелированные величины при помощи нескоррелированных.


Характеристическая функция << Оглавление >> Модель аддитивного блуждания

Стохастический мир - простое введение в стохастические дифференциальные уравнения