Многомерное распределение Гаусса

Материал из synset
Перейти к: навигация, поиск
Характеристическая функция << Оглавление >> Модель аддитивного блуждания

При изучении систем стохастических уравнений мы будем активно использовать матричные и тензорные обозначения. Для сокращения операции умножения матриц используется два типа соглашений:

По повторяющемуся индексу всегда подразумевается суммирование, и знак суммы опускается. Выше таковым является индекс "" во втором равенстве. Повторяющиеся индексы, по которым проводится суммирование, называют "немыми". В процессе вычислений их можно переобозначить в любую букву, которая ещё не используется в выражении. Третье равенство в уравнении () — это матричная форма той же суммы, в которой матрица и вектор перемножаются вообще без упоминания индексов и знака суммирования.

Рассмотрим независимых гауссовых случайных величин, имеющих нулевое среднее и единичную дисперсию. Среднее значение их произведения равно единице для совпадающих индексов и нулю — для различных. Подобная матрица будет обозначаться символом Кронекера:

Вычислим, например, ковариационную матрицу случайных величин :

При суммировании с символом Кронекера в сумме остаются только слагаемые с . Поэтому одна из сумм (по ) и символ Кронекера исчезают, и остаётся только суммационный индекс . Затем вводится новая матрица с переставленными индексами. Подобная операция называется транспонированием. В табличном представлении она соответствует перестановке местами строк и столбцов матрицы.

Матрица может имеет обратную , если выполняется уравнение:

где — единичная матрица (символ Кронекера). Так, для определённого выше вектора можно записать:

где мы умножили левую и правую части на .

Пусть — стандартные независимые гауссовые случайные величины , а величины получены из них () при помощи перемешивающих коэффициентов . Среднее значение произведения определяется матрицей дисперсий ():

которая является симметричной: .

Найдём производящую функцию для случайных величин . Для этого введём вектор и вычислим среднее экспоненты от скалярного произведения (по нет суммы!):

Мы воспользовались независимостью величин , разбив среднее произведения на произведение средних, и формулой (), стр. \pageref{aver_exp_gauss}. В показателе экспоненты стоит матричное выражение вида:

Поэтому окончательно производящая функция равна:

Взяв частные производные по , несложно найти среднее от любого произведения . Проверим, что среднее равно . Возьмём производную производящей функции по . Учитывая, что равно , имеем:

где во втором равенстве мы воспользовались тем, что . Аналогично берётся вторая производная:

Полагая и учитывая, что

приходим к соотношению . В качестве упражнения предлагается проверить следующее тензорное выражение:

Таким образом, среднее любых степеней полностью определяется матрицей дисперсии \mathbf{D}.

Найдём теперь явный вид совместной плотности вероятности для величин . Запишем сначала плотность вероятности для :

При замене переменных в интеграле необходимо изменить элемент объёма интегрирования , умножив его на якобиан:

Так как при транспонировании матрицы её определитель не изменяется, а определитель произведения матриц равен произведению их определителей, то и, следовательно:

где в показателе экспоненты подставлены :

и использовано свойство обратных матриц (см. стр. \pageref{math_mat_tensor}). Как и любая плотность вероятности, нормирована на единицу, поэтому, учитывая выражение для производящей функции Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \bigl\langle e^{\mathbf{b}\cdot \eta}\bigr\rangle } , можно записать значение следующего Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle n} -мерного гауссового интеграла:

Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \int\limits^{\infty}_{-\infty} e^{\mathbf{b}\cdot \eta - \frac{1}{2}\eta\cdot \mathbf{D}^{-1}\cdot \eta} \,d^n\eta = (2\pi)^{n/2} \,\sqrt{\det\mathbf{D}}\; e^{\frac{1}{2}\,\mathbf{b}\cdot \mathbf{D}\cdot \mathbf{b}}. }

До сих пор мы работали с перемешанными величинами, имеющими нулевое среднее: Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \bigl\langle\eta\bigr\rangle=\mathbf{S}\cdot \bigl\langle\epsilon\bigr\rangle=0} . Можно к ним прибавить некоторый постоянный вектор Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \bar{\eta}_\alpha} , который будет иметь смысл средних значений Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \eta_\alpha} :

Тогда общее Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle n} -мерное гауссово распределение принимает вид:

Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle P(\eta_1,...,\eta_n) = \frac{e^{-\frac{1}{2}\,(\eta-\bar{\eta})\cdot \mathbf{D}^{-1}\cdot (\eta-\bar{\eta})}}{(2\pi)^{n/2}\sqrt{\det\mathbf{D}}},}

где в плотность вероятности Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle P(\varepsilon_1,...,\varepsilon_n)} подставлено Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \epsilon=\mathbf{S}^{-1}\cdot (\eta-\bar{\eta})} .

Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \bullet} Рассмотрим в качестве примера случай Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle n=2} . Запишем элементы симметричной матрицы при помощи трёх независимых констант Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \sigma_1} , Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \sigma_2} и Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \rho} :

Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \mathbf{D} = \begin{pmatrix} \sigma^2_1 & \rho\,\sigma_1\sigma_2 \ \rho\,\sigma_1\sigma_2 & \sigma^2_2 \ \end{pmatrix}.}

Несложно проверить, что определитель Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \mathbf{D}} равен

Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \det\mathbf{D} = \sigma^2_1\sigma^2_2 (1-\rho^2),}

а обратная к Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \mathbf{D}} матрица имеет вид:

Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \mathbf{D}^{-1} = \frac{1}{\det \mathbf{D}}\, \begin{pmatrix} \sigma^2_2 & -\rho\,\sigma_1\sigma_2 \ -\rho\,\sigma_1\sigma_2 & \sigma^2_1 \ \end{pmatrix}.}

В результате совместная плотность вероятности для Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \eta_1,\eta_2} может быть записана следующим образом:

Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle P(\eta_1,\eta_2)=\frac{\exp\{-(x_1^2-2\rho\, x_1 x_2 + x^2_2)/2(1-\rho^2)\}}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}},}

где Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle x_i=(\eta_i-\bar{\eta}_i)/\sigma_i} — относительные отклонения Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \eta_i} от своих средних Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \bar{\eta}_i} . Параметры являются волатильностями: Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \bigl\langle(\eta_1-\bar{\eta}_1)^2\bigr\rangle=D_{11}=\sigma^2_1} , а Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \rho} — коэффициент корреляции: Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \rho=\left\langle x_1 x_2 \right\rangle } .

Матрица Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \mathbf{D}} является симметричной, тогда как Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \mathbf{S}} в общем случае — нет. Поэтому Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \mathbf{D}} зависит от трёх параметров, а Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \mathbf{S}} — от четырёх, и одной и той же матрице дисперсии может соответствовать несколько различных матриц Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \mathbf{S}} . Так, можно записать:

Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \mathbf{S} = \begin{pmatrix} \sigma_1\cos \alpha & \sigma_1\sin\alpha \ \sigma_2\sin \beta & \sigma_2\cos\beta \ \end{pmatrix},}

где Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \rho=\sin(\alpha+\beta)} . Понятно, что возможны различные комбинации "углов" Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \alpha} и , дающие один и тот же корреляционный коэффициент Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \rho} .

Если Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \alpha=-\beta} , то Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \rho=0} , и Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \mathbf{D}=\mathbf{S}\mathbf{S}^{T}} является диагональной, а при Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \sigma_1=\sigma_2=1} — единичной. Матрицу Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \mathbf{S}} , удовлетворяющую уравнению , называют ортогональной.

Если Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \alpha=0} , Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \rho=\sin\beta} , Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \sigma_1=\sigma_2=1} , то

Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \mathbf{S} = \begin{pmatrix} 1 & 0 \ \rho & \sqrt{1-\rho^2} \ \end{pmatrix}, \;\;\;\;\;\;\;\;\;\;\;\;\; \mathbf{D} = \begin{pmatrix} 1 & \rho \ \rho & 1 \ \end{pmatrix}. }

Подобная смесь переводит независимые стандартные случайные величины Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \varepsilon_1,\varepsilon_2\sim N(0,1)} в скоррелированные, так что Невозможно разобрать выражение (MathML с переходом в SVG или PNG (рекомендуется для современных браузеров и инструментов повышения доступности): Недопустимый ответ («Math extension cannot connect to Restbase.») от сервера «https://wikimedia.org/api/rest_v1/»:): {\displaystyle \textstyle \eta_1,\eta_2\sim N(0,1)}  :

Это позволяет, например, при компьютерном моделировании генерить скоррелированные величины при помощи нескоррелированных.


Характеристическая функция << Оглавление >> Модель аддитивного блуждания

Стохастический мир - простое введение в стохастические дифференциальные уравнения