Большая Советская энциклопедия - управляемый случайный процесс

случайный процесс, вероятностные характеристики которого можно изменять с помощью управляющих воздействий. Основная цель теории У. с. п. – отыскание оптимальных (или близких к ним) управлений, доставляющих экстремум заданному критерию качества. В простейшем случае управляемых марковских цепей одна из математических постановок задачи нахождения оптимального управления формулируется следующим образом. Пусть X^d = (xn,Px^d), n = 0, 1,..., – семейство однородных марковских цепей с конечным числом состояний Е = {0, 1, ..., N} и матрицами переходных вероятностей Pxy (d) = Px^d {x1 = у}, зависящих от параметра d, принадлежащего некоторому множеству управляющих воздействий D. Набор функций a = {а0 (x0), a1 (x0, x1),...} со значениями в D называют стратегией, а каждую из функций an = ап (х0,..., хп) – управлением в момент времени n. Каждой стратегии a отвечает управляемая марковская цепь X^a = (хп,Px^ɑ), n = 0, 1,..., где

Px^ɑ (x0, x1..., хп) = δ(х0, х) Рх0х1 (a0 (x0))... Pxn-1xn (an-1(x0, x1,..., xn-1))

Пусть: