close

Вход

Забыли?

вход по аккаунту

Читать текст

код для вставкиСкачать
ТЕМА 7. Случайные процессы.
Цель контента темы 7 — дать начальные понятия о случайных процессах и
цепях Маркова в частности; очертить круг экономических задач, которые
используют в своем решении модели, базирующиеся на цепях Маркова.
Задачи контента темы 7:
• Определить понятие случайного процесса, дать классификацию случайных процессов.
• Определить математическое ожидание, дисперсию и корреляционную
функцию случайных процессов, а также сформулировать их свойства.
• Определить понятие цепи Маркова, матрицы вероятностей переходов
из одного состояния в другое.
• Познакомить читателя с некоторыми задачами, где используются цепи
Маркова.
Оглавление.
§ 7.1. Случайные процессы.
– Определение случайного процесса.
– Классификация случайных процессов.
– Числовые характеристики случайного процесса.
§ 7.2. Цепь Маркова. Состояния.
§ 7.3. Матрица вероятностей переходов.
§ 7.4. Обзор использования марковских цепей для моделирования социальноэкономических процессов.
– Модель Морана в теории запасов.
– Цепи Маркова с доходами.
§ 7.1
Случайные процессы
Определение случайного процесса.
Пусть задано множество Ω — множество элементарных исходов и некоторое
множество T , являющееся подмножеством множества вещественных чисел,
то есть T ⊂ R.
1
Определение 7.1.1. Будем называть случайной функцией вещественную
числовую функцию двух аргументов ω ∈ Ω и t ∈ T .
Обозначим случайную функцию ξ(w, t). Если аргумент t принимает смысл
времени t ≥ 0, то случайную функцию будем называть случайным процессом.
Итак, случайный процесс — это случайная функция ξ(w, t), определенная на множества Ω × T , такая, что при каждом фиксированном значении
t = t0 ∈ T получается случайная величина ξ(ω, t0 ), определенная на множестве Ω. При каждом фиксированном ω = ω0 ∈ Ω получается числовая
функция вещественной переменной t ∈ T : ξ(ω0 , t) = x(t).
Определение 7.1.2. Сечением случайного процесса ξ(ω, t) называют
случайную величину ξ(w), соответствующую фиксированному значению
аргумента t = t0 ∈ T .
Определение 7.1.3. Реализацией случайного процесса ξ(ω, t) называют
неслучайную функцию x(t), равным которой может оказаться случайный
процесс в результате случайного эксперимента, то есть в результате реализации элементарного исхода ω0 ∈ Ω.
В дальнейшем для краткости будем вместо обозначения случайного процесса ξ(ω, t) использовать ξ(t).
Пример 7.1.1. Дан случайный процесс ξ(t) = ξt − 5, где ξ — случайная величина, распределенная по закону Бернулли с параметром p = 0, 8.
Найти реализации случайного процесса и изобразить их графически.
Так как ξ имеет бернуллиевское распределение вероятностей, ее ряд распределения имеет вид:
xi 0
1
pi 0,2 0,8
Если случайная величина ξ примет значение 0, то реализацией случайного
процесса будет функция x1 (t) = 0 · t − 5, то есть x1 (t) = −5. Если произойдет случайное событие ξ = 1, то данный случайный процесс реализуется
функцией x2 (t) = 1 · t − 5 = t − 5.
Графические изображения реализаций представлены на рис 7.1.1.
2
x
x2(t)
t
5
O
x1(t)
-5
Рис.7.1.1.
Классификация случайных процессов
Заметим, что в примере 7.1.1 случайная величина ξ имеет дискретный тип
распределения, а значит все сечения случайного процесса в этом примере
являются дискретными случайными величинами. В этом случаи процесс
называют дискретным.
Если сечения имеют непрерывный тип распределения, то случайный
процесс называют непрерывным.
Кроме того, в примере 7.1.1 время является непрерывной переменной. В
этом случае говорят, что рассматривается случайный процесс с непрерывным временем.
Если переменная t принимает отдельные дискретные значения, то случайный процесс является процессом с дискретным временем .
Таким образом можно дать следующую классификацию случайных процессов.
Случайные
процессы
дискретные
с дискретным
временем
непрерывные
с непрерывным
временем
с дискретным
временем
с непрерывным
временем
Рис.7.1.2.
Отметим, в частности, что если аргумент t случайной функции изменяется
дискретно, то есть t ∈ T = {t1 , t2 , . . . , tn }, то соответствующие сечения
случайного процесса образуют случайную конечную последовательность
ξ1 , ξ2 , . . . , ξn , а реализацией является числовой вектор.
Случайный процесс характеризуется распределением его сечений.
3
Если фиксировать t, то есть t = t0 , то получим случайную величину
ξ(t0 ), у которой есть функция распределения Fξ (x, t0 ).
Fξ (x, t0 ) = Fξ(t0 ) (x) = P (ξ(t0 ) < x).
В частности, если ξ(t0 )— дискретная случайная величина, то она принимает значения {xi (t0 )} с вероятностями {pi (t0 )}ni=1 , причем
n
X
pi (t0 ) = 1.
i=1
Если ξ(t0 ) — непрерывная случайная величина, то она характеризуется
плотностью распределения вероятностей
0
fξ(t0 ) (x) = Fξ(t
(x) = fξ (x, t0 ).
0)
Пример 7.1.2.
Дан случайный процесс ξ(t) = ξt − 5, где ξ распределена нормально с
параметрами m = 0 и σ = 1. Найти плотность распределения вероятностей
сечения, если t = t0 > 0.
При t = t0 > 0 сечением данного случайного процесса является случайная величина ξ(t0 ) = ξt0 − 5, которая является функцией случайной
величины ξ.
Для решения задачи воспользуемся теоремой о плотности функции непрерывного случайного аргумента (4.5.1) (§ 4.5.):
fξ(t0 ) (y) = fξ (ω(y)) · |ω 0 (y)|,
где ω(y) — функция обратная к функции y(x) = x · t0 − 5:
ω(y) =
y+5
.
t0
Тогда ω 0 (y) = t10 > 0, так как t0 > 0. Запишем теперь выражение для
плотности случайной величины ξ:
x2
1
fξ (x) = √ e− 2 .
2π
Для определения fξ(t0 ) (y) подставим вместо x выражения ω(y) и умножим на ω 0 (y):
2
2
− (y+5)
1 − (y+5)
1
1
2
2t2
0
fξ(t0 ) (y) = √ e
· = √ e 2t0 .
t0
2π
t0 2π
4
Итак,
2
− (y+5)
1
2
√
fξ(t0 ) (y) =
e 2t0 ,
t0 2π
то есть ξ(t0 )— случайная величина, распределенная по нормальному закону
с параметрами m = −5 и σ = t0 .
Напомним, что значение параметра m определяет математическое ожидание, а σ — среднее квадратическое отклонение случайной величины.
Числовые характеристики случайного процесса.
Определение 7.1.4. Математическим ожиданием случайного процесса
ξ(t) = ξ(t, ω) называется неслучайная функция
mξ (t) = M ξ(t),
(7.1.1)
равная в каждый фиксированый момент времени t ∈ T ⊂ R математическому ожиданию соответствующего сечения.
Теорема 7.1.1. Справедливы следующие свойства математического ожидания случайного процесса:
1. математическое ожидание неслучайной функции равно этой функции
M a(t) = a(t),
(7.1.2)
где a(t) — неслучайная функция;
2. математической ожидание случайного процесса линейно, то есть
M (a1 (t)ξ1 (t) + a2 (t)ξ2 (t)) = a1 (t)mξ1 (t) + a2 (t)mξ2 (t),
(7.1.3)
где a1 (t) и a2 (t) — неслучайные функции;
3. если случайный процесс ξ(t) ≤ a, ∀ t ∈ T , то и математическое ожидание этого процесса mξ (t) ≤ a, ∀ t ∈ T ;
4. абсолютная величина математического ожидания случайного процесса не превосходит математического ожидания абсолютной величины
случайного процесса:
|M ξ(t)| ≤ M |ξ(t)|,
∀ t ∈ T.
(7.1.4)
Определение 7.1.5. Дисперсией случайного процесса ξ(t) = ξ(ω, t) называют неслучайную функцию, равную математическому ожиданию случайного процесса (ξ(t) − mξ (t))2 .
5
Dξ(t) = Dξ (t) = M (ξ(t) − mξ (t))2 .
(7.1.5)
Теорема 7.1.2. Справедливы следующие свойства дисперсии случайного
процесса:
1. Дисперсия случайного процесса равна разности математического ожидания квадрата этого случайного процесса и квадрата его математического ожидания
Dξ(t) = M (ξ(t))2 − (mξ (t))2 .
(7.1.6)
2. Дисперсия суммы случайного процесса и неслучайной функции равна
дисперсии случайного процесса.
D(ξ(t) + a(t)) = Dξ (t),
(7.1.7)
где a(t) — неслучайная функция.
3. Дисперсия произведения неслучайной функции и случайного процесса равна произведению квадрата неслучайной функции и дисперсии
случайного процесса.
D(a(t) · ξ(t)) = a2 (t) · Dξ (t),
(7.1.8)
где a(t) — неслучайная функция.
Пример 7.1.3. Дан случайный процесс ξ(t) = 3 − tξ, M ξ = 5, Dξ = 1.
Найти математическое ожидание и дисперсию случайного процесса ξ(t).
mξ (t) = M (3 − t · ξ) = M (3) + M (−t · ξ) = 3 − t · M ξ = 3 − 5t;
Dξ (t) = D(3 − t · ξ) = t2 · Dξ = t2 .
§ 7.2
Понятие цепи Маркова
Рассмотрим какую-либо систему, которая может находиться в одном из
несовместных состояний ξ(t) = i конечного множества возможных состояний S = {1, 2, . . . , N }, то есть i ∈ S. В процессе работы система в дискретные моменты времени, называемые шагами t = 0, 1, 2, 3, . . ., переходит из
одного состояния ξt = ξ(t) в другое ξt+1 = ξ(t + 1).
Определение 7.2.1. Случайный процесс ξ(t) смены состояний называют
простой однородной цепью Маркова с конечным числом состояний и с дискретным временем, если для всех t ≥ 1 и i, j, i0 , i1 , . . . ∈ S выполняется
марковское свойство:
P {ξt = j | ξ0 = i0 , ξ1 = i1 , . . . , ξt−1 = i} = P {ξt = j | ξt−1 = i},
(7.2.1)
6
если
P {ξt = j | ξ0 = i0 , ξ1 = i1 , . . . , ξt−1 = i} > 0.
Другими словами условная вероятность того, что на следующем шаге
система перейдет из состояния i в состояние j не зависит ни от состояния
системы в предшествующие моменты времени, ни от текущего момента
времени.
Например, подбрасывают кубик в течении времени T с интервалом в
10 секунд. Под состоянием системы понимают случайное событие Ai =
{ξ(t) = i} — на кубике выпало i очков. В этом примере система может
перейти в одно из шести состояний S = {1, 2, 3, 4, 5, 6}, при этом
1
P {ξt = j | ξt−1 = i} = .
6
§ 7.3
Матрица вероятностей переходов.
Пусть ξ(t) — простая цепь Маркова с конечным числом состояний и дискретным временем, множество S — множество ее состояний. Число состояний конечно и равно N . Обозначим
pij = P {ξt = j | ξt−1 = i},
(7.3.1.)
i, j ∈ S, t ≥ 1, то есть pij — это условная вероятность того, что на шаге t
система из состояния i перейдет в состояние j. Вероятность pij называют
переходной вероятностью.
Определение 7.3.1. Матрицей перехода системы называют матрицу,
которая содержит все переходные вероятности этой системы


p11 p12 . . . p1N
 p

 21 p22 . . . p2N 
P1 =  ..
(7.3.2)
..
. 
 .
. . . . .. 
pN 1 pN 2 . . . p N N
P
Заметим N
j=1 pij = 1, так как состояния системы образуют полную группу
событий. Матрица P1 — это матрица перехода из состояния i в состояние
j за один шаг.
При анализе цепей Маркова весьма удобной и наглядной оказывается
геометрическая схема, называемая графом состояний. Каждому состоянию цепи Маркова на схеме соответствует круг с номером состояния внутри
него. Эти круги называют вершинами графа. Если из состояния i в состояние j возможен одношаговый переход, то есть pij > 0, то из состояния
7
i в состояние j проводится дуга со стрелкой, рядом с которой указывают
вероятность перехода pij .
Пример 7.3.2. (Задача о холодильниках (управление запасами)).
Магазин электротоваров в начале каждой недели размещает заказы на
холодильники. Размер заказа фиксирован и связан с тем, что на складе
магазина может храниться не более двух холодильников. Еженедельный
спрос на холодильники задается распределением вероятностей:
спрос
0
1
2
.
вероятность 0,2 0,5 0,3
Пусть в состоянии i магазин имеет для продажи i холодильников. Множество состояний S = {0; 1; 2}. Процесс функционирования магазина моделируется цепью Маркова, представленной на рис. 7.3.1 и матрицей


1
0
0
P1 =  0, 8 0, 2 0 
0, 3 0, 5 0, 2
0,2
1
0,8
1
0
0,5
0,3
2
0,2
Рис.7.3.1.
Обозначим pij (n) вероятность того, что в результате n шагов система
перейдет из состояние i в состояние j. При n = 1 получим переходные
вероятности pij (1) = pij . Зная переходные вероятности pij можно найти
вероятности pij (n) перехода системы из состояния i в состояние j за n
шагов.
Для этого используют равенство Маркова
pij (n) =
N
X
pir (m)prj (n − m).
(7.3.4)
r=1
Здесь из первоначального состояния i за m шагов система переходит в
состояние r с вероятностью pir (m), а затем за n − m шагов переходит из
состояния r в состояние j с вероятностью prj (n − m).
8
Положим в формуле 7.3.4 n = 2, а m = 1, тогда
pij (2) =
N
X
pir (1)prj (2 − 1) =
r=1
k
X
pir prj .
(7.3.5)
r=1
По формуле 7.3.5 можно найти все вероятности pij (2) и следовательно матрицу P2 .


p11 (2) p12 (2) . . . p1N (2)
 p21 (2) p22 (2) . . . p2N (2) 

P2 = 
(7.3.6.)
 ...
... ...
... 
pN 1 (2) pN 2 (2) . . . pN N (2)
Из формулы 7.3.5 вытекает следующее матричное равенство:
P2 = P12 .
(7.3.7.)
Аналогично, положив в формуле 7.3.5 n = 3, m = 2, можно получить
равенство
P3 = P13 .
(7.3.8.)
В общем случае
Pn = P1n .
(7.3.9.)
Пример 7.3.3. Дана матрица перехода
µ
¶
0, 3 0, 7
P1 =
.
0, 5 0, 5
Найти матрицу P2 .
µ
P2 =
§ 7.4
P12
=
0, 3 0, 7
0, 5 0, 5
¶2
µ
=
0, 44 0, 56
0, 4 0, 6
¶
.
Обзор использования марковских цепей для
моделирования социально-экономических
процессов
Настоящий момент характеризуется ростом востребованновости марковских процессов с доходами как моделей экономической динамики в качестве
основоного математического инструмента построения оптимальных управлений такими процессами.
В данном параграфе рассмотрим примеры использования марковских
цепей, которые уже можно считать "классическими".
9
Модель Морана в теории запасов
Рассмотрим систему снабжения, в которую на n-ом шаге (n=0,1,2,. . . ) поступает ξn единиц товара для формирования запаса. Пусть ξ0 , ξ1 , . . . — независимые дискретные случайные величины с одинаковым распределением
pt , t = 0, 1, 2, . . .. Система снабжения имеет хранилище емкости M > 1.
Пусть начальный запас на n-ом шаге есть дискретная случайная величина ηn , тогда сформированный на этом шаге запас равен min(M, ξn + ηn ).
К концу n-ого шага запас товара снижается в соответствии с единичным
спрос на величину min(1, ξn + ηn ), то есть на 1, если есть начальный запас на n-ом шаге. Таким образом, размер запаса к началу n + 1-го шага
удовлетворяет рекуррентному соотношению
ηn+1 = min(M, ξn + ηn ) − min(1, ξn + ηn ),
n = 0, 1, . . . .
(7.4.1)
Отсюда следует, что последовательность ηn образует цепь Маркова с множеством состояний S = {0, 1, . . . , N = M − 1} и матрицей перехода P1
представленной таблицей 7.4.1.
i\j
0
1
...
N-1
0
p0 + p1
p2
...
pN
1
P1 =
2
p0
0
p1
p0
. . . pN −1
. . . pN −1
N
∞
P
pt
t=N +1
∞
P
pt
t=N
∞
P
pt
t=N −1
...
...
N
0
... ...
0
...
...
p0
...
∞
P
pt
t=1
Таблица 7.4.1.
Пример 7.4.1. Пусть N = 2, p0 = p1 = p2 = 31 , тогда матрица перехода
имеет вид
 2

1
0
3
1 1 1 

P1 =
3 3 3
0 13 23
Цепи Маркова с доходами
Рассмотрим систему (фирму, производство) с конечным числом состояний
S = {1, 2, · · · , N }, функционирование которой моделируется цепью Маркова с матрицей вероятностей перехода P1 = (pij ), i, j = 1, N . При переходе из состояния i в состояние j, система получает одношаговый доход
10
(быть может и отрицательный) rij , независящий от номера шага. Совокупность одношаговых доходов образует матрицу N ×N одношаговых доходов
R = (rij ), i, j = 1, N . Доход, который неуправляемая система система может получить за n шагов, является случайной величиной с распределением
вероятностей, определяемым вероятностными связями цепи. Математическое ожидание этой случайной величины называется полным ожидаемым
доходом за n шагов и обозначается vi (n). Для полного ожидаемого дохода
справедливо рекуррентное соотношение
vi (n) =
N
X
pij [rij + vj (n − 1)], i = 1, N
(7.4.2)
j=1
Пример 7.4.2. Фирма производит и продает новый вид продукции. Если
объем сбыта высокий, то он останется высоким и в следующем месяце с
вероятностью 0, 5, если невысокий, то он станет высоким с вероятностью
0, 4.
Руководство фирмы может провести рекламную кампанию. Если при
этом уровень сбыта высокий, то с вероятностью 0, 8 он останется таким же
в следующем месяце. Реклама при низком уровне сбыта повышает до 0, 7
вероятность того, что он в следующем месяце станет высоким.
В случае неиспользования рекламы при высоком уровне сбыта месячный
доход составит 9 единиц при условии, что сбыт останется высоким и в
следующем месяце, и 3 единицы в противном случае. При низком же уровне
сбыта месячный доход составит 3 единицы, если объем сбыта в следующем
месяце станет высоким, и −7 единиц в противном случае.
При использовании рекламы (за которую приходиться платить) доход
равен 4 единицам при высоком уровне сбыта, если он сохраняется таковым
или снижается. Если начальный уровень сбыта низкий, то доходы равны 1
и −19 в зависимости от того повышается он или нет.
Требуется найти оптимальное управление фирмой для последующего
периода времени. Цепь Маркова, моделирующая деятельность фирмы имеет два состояния: сбыт высокий (состояние 1) и сбыт низкий (состояние 2).
Ее граф состояний (без использования рекламы) представлен на рис.7.4.1.
0,5
0,5
2
1
0,6
0,4
Рис.7.4.1.
11
Матрица перехода вероятностей имеет вид:
µ
¶
0, 5 0, 5
P1 =
.
0, 4 0, 6
При этом матрица одношаговых доходов
µ
¶
9 3
R=
.
3 −7
Предположим, что руководство фирмы интересует величина полного ожидаемого дохода за предстоящие n месяцев. Если v1 (0) = v2 (0) = 0, то о
формуле (7.4.2) при n = 1, 2, . . . имеем
½
v1 (n) = 6 + 0, 5v1 (n − 1) + 0, 5v2 (n − 1)
v2 (n) = −3 + 0, 4v1 (n − 1) + 0, 6v2 (n − 1)
Результаты вычисление сведем в таблицу 7.4.2.
n
0 1
2
3
4
5
→∞
v1 (n) 0 6
7,5
8,55
9,555 10,555 → ∞
v2 (n) 0 −3 −2, 4 −1, 44 −0, 444 0,5556 → ∞
Таблица 7.4.2.
Предположим, что до закрытия фирмы остается 4 месяца, тогда руководство фирмы ожидает получить 9, 555 единиц дохода, если фирма находится
в состоянии 1 и 0, 444 единиц убытка, если фирма находиться в состоянии
2.
Читателю предоставляется возможность самостоятельно проанализировать развитие ситуации для случая, когда руководство фирмы решит использовать рекламу.
Определение 7.4.1. Будем называть цепь Маркова управляемой, если на
каждом шаге n = 1, 2, . . . , N может быть выбрана строка матрицы P1
pki i = (pki1i pki2i . . . pkiNi )
и строка матрицы одношаговых доходов R
ki ki
ki
riki = (ri1
, ri2 , . . . , riN
)
определяющих дальнейшее функционирование системы.
Определение 7.4.2. Величина ki называется стратегией управления в iом состоянии, а Ki = {ki } — множеством стратегий управления в i-ом
состоянии.
12
Определение 7.4.3. Вектор стратегий ~k = (k1 , k2 , . . . , kN ) ∈ K1 × K2 ×
. . . × KN называется политикой. Политику выбранную на n-ом шаге будем
обозначать ~kn .
Определение 7.4.4. Последовательность выбранных на каждом шаге политик образует управление u = (~k1 , ~k2 , . . . , ~knmax ), однозначно определяющее эволюцию цепи.
Задача оптимального управления цепью Маркова с доходами состоит
в поиске оптимального управления u∗ . Например, найти управление u∗ ,
максимизирующее полный ожидаемый доход
vnmax (u∗ ) → max .
u
В примере 7.4.2 в каждом состоянии и на каждом шаге можно воспользоваться одной из двух стратегий:
a) ki = 1 — не использовать рекламу, при этом
1
1
p11 = (p111 p112 ) = (0, 5 0, 5); r11 = (r11
r12
) = (9 3);
1
1
1
1
1
1
p2 = (p21 p22 ) = (0, 4 0, 6); r2 = (r22 r12 ) = (3 − 7);
b) ki = 2 — руководство фирмы организует рекламную кампанию, это
позволяет увеличить вероятности перехода в первое состояние ценой
снижения ожидаемых доходов текущего месяца, при этом
2
2
p21 = (p211 p212 ) = (0, 5 0, 5); r12 = (r11
r12
) = (4 4);
2
2
2
2
2
2
p2 = (p21 p22 ) = (0, 7 0, 3); r2 = (r22 r12 ) = (1 − 19);
При этом можно сформулировать четыре различные политики:
a) ~k = (1 1) — не использовать рекламу ни в первом, ни во втором состоянии;
b) ~k = (1 2) — не использовать рекламу в первом состоянии и использовать
во втором;
c) ~k = (2 1) — использовать в первом состоянии и не использовать во
втором;
d) ~k = (2 2) — использовать рекламу в обоих случаях.
Для определения оптимального управления для данного nmax можно воспользоваться методом полного перебора, который предполагает непосредственное вычисление полного ожидаемого дохода для всех возможных управлений.
13
Выводы.
• В отличии от случайной величины реализацией случайного процесса
является не число, а функция вещественной переменной (времени).
Если фиксировать время (то есть неслучайный аргумент), то получаем
случайную величину (сечение).
• Математическое ожидание, дисперсия и корреляционная функция в
фиксированные моменты времени совпадают с числовыми характеристиками соответствующих сечений.
• Цепь Маркова является частным случаем случайного процесса с дискретным временем и дискретными сечениями, являясь моделью системы, которая случайным образом переходит из одного состояния в
другое.
• Граф состояний дает наглядное представление о структуре цепи. Матрица вероятностей позволяет дать анализ эволюции цепи за любое конечное число шагов.
• Цепи Маркова широко применяются для решения экономических задач.
Вопросы для самопроверки.
1. Дайте определение случайного процесса.
2. Что такое реализация и сечение случайного процесса?
3. Запишите формулы математического ожидания и дисперсии случайных процессов.
4. Известно математическое ожидание случайной величины ξ: M ξ = 5.
Найдите математическое ожидание случайного процесса ξ(t) = ξt2 −3.
5. Известны математическое ожидание и дисперсия случайной величины
ξ: M ξ = −1, Dξ = 4. Найдите математическое ожидание случайного
процесса ξ(t) = t2 (ξ + 1)2 .
6. Дайте определение цепи Маркова.
7. Что такое состояние цепи Маркова?
14
8. Дан граф состояний цепи Маркова:
0,1
0,5
0,3
0,2
1
0,3
2
0,6
0,15
0,25
3
0,6
Запишите матрицу P1 вероятностей переходов.
9. Пусть дана матрица переходов за один шаг
µ
¶
0, 7 0, 3
P1 =
0, 2 0, 8
Найдите матрицу переходов за два шага P2 .
10. Что такое полный ожидаемый доход?
11. Какую цепь Маркова называют управляемой?
12. Что называют управлением цепи Маркова?
Библиография.
1. Гмурман В.Е. Теория вероятностей и математическая статистика.
М., 1997.
2. Розанов Ю.А. Случайные процессы М., Наука, 1979.
3. Соколов Г.Ф., Чистякова Н.А. Теория вероятностей. Управляемые цепи Маркова в экономике. ФИЗМАТЛИТ, 2005.
4. Ховардт Р.А. Динамическое программирование и марковские процессы. М., Сов. радио, 1964.
5. Ширяев А.Н. Вероятность. М., Мир, 1989.
15
1/--страниц
Пожаловаться на содержимое документа