Плотности вероятностей марковских процессов

Как было отмечено в предыдущем параграфе, плотность вероятности т у, 1) марковского процесса у (I) зависит от начального условия у (0) = у о. Поэтому обозначим условную плотность вероятности т у уо (). Величина т у уо )(1у представляет вероятность того, что значение процесса находится в бесконечно малом интервале у, у + йу), если известно, что в момент, отделенный от данного интервалом времени его значение было уо. Марковский процесс был определен как процесс, для которого плотность вероятности перехода зависит только от значения процесса в данный момент. Однако его можно определить также при помощи плотности вероятности самого процесса, так как она дает полное статистическое описание процесса. Рассмотрим про- [c.109]

Плотности вероятностей марковских процессов [c.109]

Уравнение (4.10) представляет основное соотношение для условной плотности вероятности марковского процесса. В литературе его называют по-разному либо уравнением Смолуховского, либо уравнением Чепмена — Колмогорова . [c.111]

Из этого определения вытекает основное интегральное уравнение, определяющее условную плотность вероятности марковского процесса. Опустим пока относительные значения моментов времени. Тогда совместную плотность вероятности трех выборочных значений процесса, изображенного на рис. 4.5, можно обозначить ш (у, г, уо). По правилу умножения [c.110]

Оно показывает следующее чтобы охарактеризовать марковский процесс, отнюдь не обязательно определять бесконечную иерархию плотностей вероятности, — для этого достаточно знать первых два члена иерархии р(у,() и р у,( х,8). Из иерархий плотностей вероятности случайных процессов из примеров, приведенных в гл. 2, ясно, что все эти процессы марковские. Класс [c.97]

В разд. 8.4 мы установили возможность анализа систем в терминах белого шума и, изучив поведение составного процесса в окрестности белого шума с помощью разложения плотности вероятности по теории возмущений, определили количественно те изменения, к которым приводят отличные от нуля корреляции внешнего шума. Эта систематическая процедура приближений по степеням времени корреляции была сформулирована в рамках марковской теории. Как разъяснено в начале этой главы, цена, которую надо заплатить за то, чтобы описывать системы, взаимодействующие с цветным шумом окружения, в терминах марковских процессов, заключается в расширении пространства состояний. Лишь парный процесс, состоящий из переменной состояния системы X/ и шума является марковским. В силу структуры оператора ФП для эволюции плотности вероятности парного процесса удобным способом исследования поведения системы в данном случае является теория [c.290]

Соотношение (7.21), отражающее марковское свойство процесса и известное как функциональное уравнение Колмогорова—Чэпмена, приводит к аналогичному соотношению для плотности вероятности перехода [c.352]

Приведены формулы для расчета распределения скоростей потока, набегающего на зернистый слой, по длине радиального реактора, Течение в зернистом слое рассмотрено как марковский процесс, усредненные параметры которого заданы плотностью вероятности обнаружения некоторого свойства или состояния движущейся среды в данной области пространства. Приведены уравнения для расчета коэффициентов переноса вещества, энергии и импульса в подвижной фазе, а также инерционной составляющей среднеобъемной силы сопротивления. Табл. 3. Библиогр. 16. [c.176]

Другую возможность моделирования динамики открывает теория марковских процессов. Сущность такого подхода заключается в рассмотрении дискретных пространственно-временных структур. Здесь состояние системы характеризуется не переменными состояния, а вероятностями и плотностями распределения вероятностей. Типичным для марковских процессов является то, что для определения [c.296]

Третий класс уравнений, в котором можно исследовать влияние произвольных времен корреляции, представляет больший интерес. Этот класс состоит из уравнений (14,1.1), в которых У (I) является марковским процессом. Пусть П ( /, 1 Уо, ) — плотность вероятности перехода для этого марковского процесса, а основное кинетическое уравнение для него имеет вид [c.367]

Решение уравнения (14.6.3) с начальными значениями ио, Уо при 0 дает вероятность перехода 5 и, I, у ио, о, Уо) объединенного марковского процесса. Если его проинтегрировать по у, то получим плотность вероятности для одного и при условии, что начальные значения и , уо в момент времени /о заданы. В большинстве случаев представляет интерес не частное значение уо, а среднее по всем возможным уо [c.368]

Моделирование случайного двумерного процесса Z, =(x(i),w(i)) определяется параметрами w а,у, к. Из описанных выше построений видно, что изменение скорости не зависит от текущего значения координаты. Функция w(t) сама образует марковский процесс с конечным фазовым пространством. Интервал времени, в течение которого w(i) принимает определенное значение Wi, есть показательно распределенная случайная величина с параметром а,у и плотностью вероятностей а,У ехр(-а,у t). Процедура моделирования траектории w t) при начальном условии w(0) = w, следующая. [c.668]

Нетрудно заметить, что кинетическое уравнение Больцмана (1.80) может быть получено из более общего интегрального уравнения Смолуховского (1.15) для марковских процессов. Вероятность перехода и) (зд, о, 2, о + О из точки 2о, в которой система находилась в момент 0, в точку 2 за время I можно рассматривать как плотность вероятности нахождения системы в состоянии 2 в момент 0 + , если в момент система находилась в состоянии г о. Введем обозначение (полагаем = 0) [c.24]

Уравнение Фоккера-Планка, определяющее эволюцию плотности вероятности перехода марковского процесса Х имеет вид [c.69]

Здесь р у, 1/х, 5) - плотность вероятности перехода марковского процесса X, (х его значение в момент времени у - в момент времени 1). [c.70]

В некоторой степени указанный недостаток можно устранить, если использовать марковский процессе кусочно-линейной аппроксимацией. Марковский процесс определяется двумерной плотностью вероятностей ф (г/о, Ух, 4, У = == Ф (г/о4) Р где ф (г/о4) — одномерная плотность веро- [c.131]

В предположении, что случайное воздействие (т), вызванное стесненностью движения частиц, представляет собой дельта-коррелированную функцию времени с нулевым средним значением, можно заключить, что для описания случайного движения частицы по радиусу гидроциклона можно использовать математический аппарат простого марковского процесса. Последний может быть характеризован одномерной плотностью вероятности (т, г). Величина Х (т, г), которая по смыслу определяет концентрацию твердых частиц в момент т в сечении г, находится с помощью решения уравнения Колмогорова—Фоккера—Планка [c.168]

Разумеется, было бы очень удобно, если бы стохастическая эволюция системы в будущем была предсказуема на основе только той информации, которой мы располагаем в настоящий момент времени I относительно состояния х системы и условий в среде (вся эта информация содержится в вероятности значений <). На более строгом математическом языке вероятность того, что система будет находиться в некоторый будущий момент времени / -Ь Л в состоянии у, должна зависеть только от состояния х системы в настоящее время и от стационарной вероятности (плотности вероятности) Р г), описывающей среду, но не от предыстории. Такая ситуация является самым непосредственным стохастическим аналогом детерминированной ситуации, когда решение Х( ) уравнения (3.1) полностью определено, если задано начальное условие Х(0). Указанное свойство является словесным описанием отличительной особенности марковского процесса. Прежде чем переходить к строгому определению этого важного класса случайных процессов, заметим, что система может обладать указанным выше свойством только при условии, если среда полностью характеризуется одномерной плотностью вероятности ps(г), а не бесконечной иерархией п-мерных плотностей вероятности, как в общем случае. Единственным классом [c.91]

В дальнейшем основной интерес для нас будут представлять марковские процессы, гладкие в том смысле, что для них суще-ствует плотность вероятности. С этого момента мы будем рассматривать случай, когда [c.97]

Необходимо отчетливо понимать, что в общем случае марковское свойство допускает корреляцию в различные моменты времени и несингулярные марковские процессы обладают ненулевым временем корреляции. В этом смысле марковские процессы образуют простейший нетривиальный класс случайных процессов. Встречающееся время от времени в литературе утверждение о том, что марковские процессы — это случайные процессы без памяти, есть не более чем вольность речи . Лишь в том случае, если условная вероятность рассматривается относительно настоящего состояния, задаваемого случайной величиной Х , память о прошлом не существует по определению. Для несингулярного стационарного марковского процесса плотность вероятности перехода не факторизуется [c.98]

По очевидным причинам такие марковские процессы известны под названием диффузионных процессов. Они характеризуются тремя свойствами. Во-первых, диффузионный процесс должен иметь почти наверное непрерывные траектории. Это свойство выражается следующим математическим требованием. Пусть Xt — марковский процесс с плотностью вероятности р(у, t x, s). Тогда [c.99]

Покажем теперь, что класс (стационарных) диффузионных процессов гораздо шире. Действительно, условия а , б и в допускают и негауссовское поведение. Замечательная особенность диффузионных процессов состой в том, что их плотность вероятности перехода, не будучи гауссовской, тем не менее полностью определяется первыми двумя дифференциальными моментами. Для того чтобы доказать это, мы выведем только из условий а , б и в эволюционное уравнение для р[у, / х, 5). Разумеется, общим эволюционным уравнением для плотности вероятности перехода марковского процесса является уравнение Колмогорова —Чепмена (4.8). Однако для нахождения р у,1 х,8) оно малопригодно, так как нелинейно по плотности вероятности перехода. Мы покажем в дальнейшем, что в случае диффузионного процесса уравнение Колмогорова — Чепмена может быть преобразовано в линейное дифференциальное уравнение с частными производными для р(г/, ( х,8). [c.104]

Все граничные члены обращаются в нуль, так как функция ь у) тождественно равна нулю вне некоторого ограниченного интервала. Прямое уравнение (4.45) следует из выведенного нами соотношения, если учесть, что v y)—произвольная функция. Этб эволюционное уравнение для р у,1 х,8), как и обратное уравнение Колмогорова, линейно по плотности вероятности перехода в отличие от уравнения Колмогорова — Чепмена, из которого выводятся оба этих уравнения. В математической литературе оно получило название прямого уравнения Колмогорова, так как вариация в нем берется относительно будущего состояния у и временного аргумента 1. В физической литературе за ним закрепилось название уравнение Фоккера—Планка (УФП). ОУК и УФП показывают, что марковский диффузионный процесс действительно полностью определяется двумя первыми дифференциальными моментами ОУК и УФП являются дифференциальными уравнениями в частных производных для плотностей вероятностей перехода с коэффициентами, зависящими от дрейфа и диффузии Следовательно, плотность вероятности перехода как решение ОУК или УФП полностью и однозначно определяется двумя первыми дифференциальными моментами при определенных условиях регулярности на / и Именно это удивительное свойство делает понятие диффузионного процесса столь мощным. [c.109]

Разумеется, обратное утверждение неверно если одномерная плотность вероятности piy t) некоторого случайного процесса удовлетворяет уравнению вида (4.46), то это еще отнюдь не означает, что процесс марковский [4.4]. Если диффузионный процесс однороден по времени, т. е. р(у, t x, s) = р(у, t — s x,0) = = р(у х х), то, как уже отмечалось, дрейф и диффузия не за- [c.109]

Как мы уже подчеркивали, в общем случае невозможно получить точное решение, например, для стационарной плотности вероятности системы, когда рассматривается шум произвольной формы. Дело обстоит так даже в довольно простом случае марковского гауссовского шума. Следовательно, общий случай внешнего цветного шума может быть рассмотрен лишь приближенными методами. Методы, развитые в гл. 8, позволяют исследовать два предельных случая — низкочастотного и высокочастотного внешнего шума. В частности, для последнего случая малых корреляционных времен в нашем распоряжении имеется метод разложения в ряд по теории возмущений. Этот метод использовался, чтобы показать, что фазовые переходы, индуцированные внешним шумом с малым временем корреляции, могут быть идентифицированы с переходами, исследованными в случае применения идеализации белого шума. Однако благодаря различию между двумя приближенными методами, используемыми для описания высокочастотного и низкочастотного шума, остается не ясным, каким образом переходы, предсказанные для случая быстрого шума, связаны с переходами, имеющими место в случае медленного внешнего шума. Желательно поэтому дополнить ту информацию, которая получается с помощью общих приближенных методов, информацией, полученной из изучения специальных классов внешнего цветного шума. Другими словами, полезно найти такие примеры Цветного шума, которые позволяют для произвольной системы с одной переменной точно вычислить по крайней мере стационарную плотность вероятности при любом значении времени корреляции. Как говорилось выше, гауссовский шум не принадлежит к этому классу. Следует обратиться к случайным процессам с более простой структурой, и вполне естественным кандидатом оказывается марковский процесс с дискретным пространством состояний. Простейшим процессом такого типа является дихотомический марковский шум, известный так же, как случайный телеграфный сигнал. В данной главе мы покажем, что он действительно позво ляет получить точные результаты и построить полную картину влияния корреляций. [c.324]

Пространство состояний марковского дихотомического шума It состоит лишь из двух уровней А , А+ . Этот шум представляет собой однородный во времени марковский процесс и, следовательно, полностью характеризуется следующей плотностью вероятности [c.325]

Очевидно, что парный процесс (Х<,/<) является марковским и, следовательно, подчиняется прямому уравнению Колмогорова для плотности вероятности переходов. Из особой структуры парного процесса ((Х<,//) является вырожденным парным процессом, компонента которого // флуктуирует независимо от Х ) интуитивно ясно, что это уравнение должно состоять из следующих двух членов одного, описывающего эволюцию при фиксированном значении /< (/< = Л+ или /( = Д ), и второго, содержащего матрицу (9.2), управляющую эволюцией /<. Таким образом [9.1,2], [c.326]

Природе своей положительны, можно удовлетворительно описывать гауссовским распределением. Лишь при очень больших значениях дисперсии это приближение становится проблематичным и роль нефизичных значений становится заметной. Однако эта проблема действительно здесь возникает, поскольку мы имеем дело с белым шумом, для которого, не строго говоря, дисперсия бесконечно велика. Это означает, что лучше было бы выбрать второй путь и отказаться от приближения белого шума. Однако при этом процесс становится немарковским. Поэтому такой путь кажется еще менее привлекательным. Если мы хотим сохранить гауссовский характер шума и марковский характер и в то же время исключить нефизичные результаты, остается единственный путь, заключающийся в том, чтобы принять условие, что решение СДУ ограничено физически допустимым интервалом [1, оо). Этого можно достигнуть, если заставить процесс Хх претерпевать запаздывающее отражение на границе х = . Это означает, что Хх проводит определенное время на этой границе. Справедливость этого приближения можно оценить по величине плотности вероятности, аккумулированной на границе х = 1. Пока эта величина мала по сравнению с экстремумами плотности вероятности, принадлежащими носителю (1, оо), процесс Хх представляет собой удовлетворительную модель физического процесса и мы можем быть уверены в том, что наблюдаемые явления не обусловлены принятыми граничными условиями. [c.255]

Тогда случайный процесс, описываемый уравнениями (V.89) и (V.90), является марковским и его можно охарактеризовать многомерной плотностью вероятности [c.240]

Используя то, что векторный процесс х (О = = (0. Хт i)) является марковским, можно по аналогии с (5.6) записать совместную плотность вероятности для этого продесса в виде [c.193]

Предположим, что марковский процесс, описывающий функционирование мультиферментного комплекса, однороден во времени. Тогда плотности вероятностей переходов, определяемые [c.68]

Выражение (3.2.7) — интегродифференциальное стохастическое уравнение. Благодаря интегральному члену случайный процесс у(Ь) имеет теперь память , т. е. не является марковским. Поэтому (3.2.7) нельзя непосредственно сопоставить уравнение Фоккера—Планка. Однако такое уравнение можно получить для плотности вероятности, сглаженной по временам порядка 1> / у. Можно показать, что для этой функции распределения Р у,1) уравнение Фоккера—Планка примет вид [c.194]

Принципиальное сходство между этим примером непрерывного движения и разорением игрока состоит в том, что и тот и другой процессы марковские. Процесс называется марковским, если распределение вероятностей перехода (или плотность вероятности) является функцией только значения процесса (или положения на действительной оси) в данный момент, а не всех его предыдущих значений. Марковский процесс называется однородным во времени, если вероятности переходов не зависят от времени. В задаче о разорении игрока (как и в цепи с нулевым сопротивлением) вероятности переходов не зависят даже от значения процесса в данный момент. Однако можно представить [c.103]

Рассмотрим движение среды в зернистом слое как марковский процесс, в котором для плотности вероятности обнаружения некоторого состояния пли свойства системы в области прострап-ства [х, х + йх) выполняется интегральное соотношение [c.134]

Выбрав Я1 ((/1, 0)-- (г/,), определим нестационарный марковский процесс, который назызаюг винеровским процессом или процессом Винера—Леви . Обычно его рассматривают только для > О, и вначале он был изобретен для описания стохастического поведения координаты броуновской частицы (см. 8.3). Плотность вероятности при / > О в соответствии с (4.2.2) имеет вид [c.85]

Первая попытка получить уравнение для плотности вероятностей в турбулентном потоке, по видимому, сделана Фростом [1960] при рассмотрении турбулентного горения однородной смеси горючих газов. В этой работе найдено уравнение для плотности вероятностей температуры. При выводе, помимо точного уравнения теплопроводности, привлекались дополнительные соображения (например, о марковском характере процесса турбулентного смешения). Похожее уравнение (под названием модели Ланжевс-на) появилось позже в работе Чанга [1969]. В дальнейшем этот подход развивался в работах Кузнецова и Фроста [1973] и Фроста [1973, 1977]. [c.54]

К сожалению, любой класс марковских процессов, удовлетворяющих наложенным нами условиям, при V 3 оказывается пустым предложенное определение логически противоречиво, и уравнение (4.56) не является прямым уравнением марковского процесса. Нетрудно указать пробел в определении и в выводе УФП (4.56) из соотношения (4.55), разумеется, следует, что условие а (4.21) выполняется при б = v + 2 (или V + 1, если V нечетно). Кроме того, из соотношения (4.54) тривиально следует, что условия б и в также выполняются. Это означает, что марковский процесс, определяемый (4.54, 55), является диффузионным и его плотность вероятности перехода удовлетворяет УФП (4.45). Но тогда при V 3, таком, что дифференциальные моменты порядка п> V тождественно равны нулю, все дифференциальные моменты Ап Ху8) тождественно равны нулю при п> 2. Павула [4.5, 6] дал изящное прямое доказательство этого утверждения, используя лишь неравенство Коши—Буняков-ского — Шварца для математических ожиданий. [c.112]

Рассмотрим теперь основные черты этой немарковской приближенной процедуры. Для явного нахождения по крайней мере стационарного решения для приближенного оператора эволюции последний должен обладать определенными свойствами. Наиболее удобным был бы случай, когда этот оператор соответствовал оператору типа Фоккера — Планка, т. е. содержал бы производные первого и второго порядка с неотрицательными коэффициентами при дхх- Это представляется удобным по двум причинам. Во-первых, это гарантирует положительность стационарного решения, которое можно тогда интерпретировать как плотность вероятности. Во-вторых, форма этого оператора известна явно, поскольку она задается также формулой (6.15) с подходящими граничными условиями. Оба этих достоинства в общем случае теряются, если в операторе фигурируют производные третьего и более высоких порядков. В таком случае оказывается невозможным не только гарантировать положительность решения, но и получить его в явном виде. Отметим, что оператор эволюции типа Фоккера — Планка совместим с немарковским характером процесса как это отмечалось Ханги и др. [4.4]. Этот оператор описывает временную эволюцию лишь одновременной плотности вероятностей р(х, а не плотности вероятностей переходов. Как подчеркивалось в гл. 4, это свойство, т. е. то, что р(х, 1) подчиняется уравнению типа Фоккера— Планка, не означает, что процесс обязательно обладает какими-либо марковскими свойствами. В последующем мы будем употреблять названия оператор Фоккера — Планка и уравнение Фоккера — Планка только для диффузионных процессов. Добавление же слова типа ( типа оператора. .. ) мы будем производить при обозначении оператора или уравнения эволю- [c.291]

До сих пор рассматривались различные марковские процессы и их физические и математические описания, причем математические описания имели вид дифференциального уравнения или распределения услоьнои вероятности приращения или скорости изменения при заданном первоначальном положении. Однако для полного описания случайного процесса или движения необходимо определить распределение вероятности или плотность вероятности для любого шага процесса или для любого момента времени. Рассматривая задачу о системе фазовой автоподстройки частоты или ее механического аналога, обозначим хю (ф, /) плотность вероятности фазовой ошибки (или угла) ф в момент I после начала воздействия внешних сил. Эта величина, конечно, является функцией начального условия, а именно, ошибки по фазе в момент / = О, которую обозначим фо. Может быть, что первоначальное положение точно неизвестно, но что дана его начальная плотность вероятности и) (ф, 0). Это описание включает детерминированное начальное условие, и в этом случае начальная плотность вероятности принимает вид [c.107]

Если сила Р ф О или, что эквивалентно, ю Ф щ, маятник, очевидно, будет иметь большую тенденцию к повороту в сторону, соответствующую направлению силы. Следовательно, плотность вероятности ш (ф, /) не будет симметричной. Как в том, так и в другом случае значащим параметром является, по крайней мере в установившемся состоянии (т. е. при схз), угол (или ошибка по фазе) ф по модулю 2я, так как число выполненных оборотов маятника не оказывает влияния на состояние системы в данный момент. Действительно, хотя полное статистическое описание системы дает двумерная функция ш (ф, /)> ясно, что распределение установившегося значения ф по модулю 2п и частота, или среднее время между полными оборотами, совместно дают более простое и почти полное представление. Эти параметры будут определены в 4.3 и 4.4, но сперва необходимо вывести некоторые основные соотношения для плотности вероятности непрерывного марковского процесса, чему и будет посвящен следующий параграф. В результате будет выведено уравнение в частных производных для ш (ф, /), решение которого позволит найти искомые количественные соотношения. [c.109]

Справочник химика 21

Химия и химическая технология