правила аренды банковских ячеек;docx

4144
УДК 519.876.2
НЕЛИНЕЙНЫЕ КОГНИТИВНЫЕ
МОДЕЛИ: СТРУКТУРА И ДИНАМИКА
(КРАТКИЙ ОБЗОР)
Е.К. Корноушенко
Институт проблем управления им. В.А. Трапезникова РАН
Россия, 117997, Москва, Профсоюзная ул., 65
E-mail: [email protected]
Ключевые слова: когнитивная карта, внутренняя и внешняя функции для сложной
функции, когнитивная модель, устойчивое состояние
Аннотация: В последние годы появилось большое число публикация по различным вопросам, связанным с построением и применением когнитивных моделей. Цель данного
краткого обзора состоит в том, чтобы выделить из таких публикаций различные виды
используемых когнитивных карт, отличающихся типами весов на дугах когнитивных
карт, а так же выделить соответствующие таким картам виды когнитивных моделей, отличающихся различными типами временных уравнений. В докладе обсуждаются особенности динамик различных нелинейных когнитивных моделей и возможности достижения поставленных целей в моделях того или иного вида.
1. Введение
При моделировании социально-экономических систем (политических, экологических, военных и т.д.) широко используются так называемые каузальные (причинноследственные) качественные модели, и имеется обширная литература по таким моделям (см., например, обзоры [1-3]). Предметные понятия, используемые в таких моделях, в зарубежной литературе принято называть концептами, а в отечественной – факторами. Считается, что каждый фактор может быть в том или ином состоянии из конечного множества возможных состояний, определяемых в выбранной шкале. Для конкретности далее рассматривается конечная шкала в виде конечного упорядоченного
набора соответствующих лингвистических переменных. Структура причинноследственных связей между концептами представляется в виде ориентированного
взвешенного графа, называемого когнитивной картой (КК). Известны различные типы
КК, систематизированные в [2]. В частности, ниже рассматриваются КК, отличающиеся различными типами весов на дугах КК. При решении динамических задач с использованием КК производится переход от вербального определения состояния каждого
фактора к соответствующему количественному значению путем однозначного сопоставления каждой лингвистической переменной из исходной шкалы некоторого числа в
интервале [0,1] (или в [-1,1]). Подобные количественные состояния факторов называются значениями факторов. В терминах значений факторов для каждого фактора составляется динамическое (временное) уравнение, определяющее его текущие значения
в зависимости от значений непосредственно влияющих на него других факторов. Совокупность таких динамических уравнений для всех факторов исследуемой ситуации назовем когнитивной моделью (КМ). В литературе известны различные виды КМ, от проXII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г.
4145
стейших линейных до существенно нелинейных, исследование которых представляет
интерес в теоретическом плане.
Данный краткий обзор по (нелинейным) КМ не является обзором публикаций, появившихся по данной проблематике в последние годы. Цель данной работы – рассмотреть различные виды КК и соответствующие им виды КМ, используемые в таких публикациях и отличающиеся различным выбором типа весов на дугах КК, а также различными типами временных уравнений. Обсуждаются особенности динамик различных КМ и возможности достижения поставленных целей в КМ того или иного типа.
При этом из большого числа публикаций выбираются лишь те публикации, которые
ближе всего к рассматриваемому вопросу.
2. Структура КМ
2.1. Виды КК, отличающиеся различными типами весов на дугах КК
Формально, всякой КК можно сопоставить взвешенный ориентированный граф
GKK. При анализе КК весьма полезным является понятие узла [2]. Узлом называется
всякий подграф в GKK, содержащий так называемый выходной фактор в этом подграфе
и полную совокупность входных факторов в этом подграфе, от каждого из которых идет
направленная дуга с соответствующим весом к выходному фактору. Взвешенная сумма
влияний, поступающих от входных факторов к выходному фактору, называется агрегированной функцией узла. Выходной фактор узла может оказаться входным фактором
для других узлов, так что GKK является объединением (пересекающихся) узлов.
Рассмотрим различные известные типы узлов, отличающиеся определением влияний входных факторов на выходной фактор узла:
a) постоянные (константные) влияния – сила и характер непосредственного влияния
(положительного или отрицательного) фактора на фактор неизменны во времени.
Такой тип влияний рассматривается в подавляющем количестве работ по КМ;
b) влияния, изменяющиеся во времени:
 изменения обусловлены самой природой данного влияния (например, «старением» фактора);
 значение и характер данного влияния зависит от других факторов.
2.2. Переход от КК к КМ
Процедура перехода от КК к КМ содержит следующие этапы (см., например,[4]):
1) Переход от вербальных состояний факторов к количественным значениям факторов. Суть такого перехода уже описана во введении.
2) Для отображения константных влияний фактора на фактор изначально используется
совокупность соответствующих лингвистических переменных. Переход к количественным значениям влияний, определенным, как правило, в интервале [–1, 1] (реже в
интервале [0,1]), аналогичен переходу к количественным значениям факторов.
3) Если же некоторое влияние меняется во времени, либо зависит от каких-либо факторов, то ему ставится в соответствие некоторая действительная непрерывная
функция либо от времени, либо от количественных значений тех факторов, от которых зависит это влияние. Такие функции так же определены в интервалах [–1,1]
(или [0,1]) [5, 6]. Значения влияний называются весами.
4) Для выходного фактора xi каждого i-го узла составляется временное уравнение,
имеющее в общем случае вид:
∑ ∈
(1)
1
, ,…,
, i = 1,…,n,
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г.
4146
где n – число зависимых факторов в КК (размерность вектора состояний КМ), Ki –
совокупность входных факторов xk в i-ом узле, kKi,
, ,…,
– вес на дуге
(xk, xi), зависящий в общем случае от факторов , , … , , а
– независимый
фактор «внешней среды» в момент t, где t – выбранное равномерное дискретное
время с единичной тактностью, а Т – интервал моделирования. Совокупность уравнений (1) для всех узлов КК можно представить как
(2)
1
,
,
),
где X(t) – вектор значений координат xi состояния КМ в момент t, W(X(t)) – совокупность весов, определенных на дугах GKK, Z(t) – вектор независимых факторов
«внешней среды».
Замечание 1. Следует подчеркнуть, что областью определения каждой функции fi
является интервал (–, ), а областью значений – интервал [0,1] (реже [–1, 1]). В этом
случае обеспечивается корректная интерпретация преобразования, реализуемого каждым узлом, в терминах значений факторов.
Вектор-функция fi в уравнении (1) есть сложная функцию с аргументом
∑ ∈
, так что fi является аддитивной функцией с (нелинейными) слагаемыми.
Для удобства, будем использовать понятия внутренней и внешней функций для сложной функции. В данном случае сумма ∑ ∈
является внутренней функцией для
fi, а сама fi – внешней функцией i–го узла. Свойства внутренней и внешней функций, а
также характеристики весов в совокупности узлов определяют вид КМ. Обобщенное
графовое представление узла рассматривается в работе [7].
Замечание 2. Для простоты будем считать, что все узлы КК относятся к одному и
тому же типу.
2.3. Виды КМ
КМ с константными весами. Как уже было сказано, КМ с константными весами
составляют подавляющее множество используемых в публикациях видов КМ. Уравнение (2) в классе таких КМ упрощается:
1
),
где W – матрица константных весов wij, i,j=1,…,n, а F – вектор-функция с компонентами fi. С учетом замечания 2 можно сказать, что внутренние функции каждого узла в таких КМ являются линейными, отличия в видах КМ обусловлены лишь выбором тех или
иных внешних функций узлов. В этом классе КМ в качестве внешних функций узлов, с
использованием которых удовлетворяется требование замечания 1, рассматривались
следующие функции:
1,
0;
 Бинарная (знаковая) [8]:
0,
0.
1,
0;
0;
 Тривалентная [8]: f(x) = 0,
1,
0.
КМ с такими внешними функциями является конечнозначной, имитирующей систему, управляемую набором правил (rule-based system) [9].
 Линейная функция с ограничениями: f(x) = x со значениями
1, 1;
1;
f(x) = х, 0
0,
0.
КМ в данном случае является линейной внутри гиперкуба [0, 1]n, что привлекает
внимание многих исследователей. В некоторых публикациях требования ограниченности множества состояний КМ отсутствуют, а для обеспечения линейности КМ
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г.
4147

привлекаются различные методы стабилизации матрицы весов W. И при этом, тем
не менее, возможен выход некоторых траекторий КМ за пределы гиперкуба [0,1]n.
Сигмоидная пороговая функция [10] f(x) =
со значениями
1,
0;
f(x) =
, m > 0.
0,
0;
Сигмоидная функция [8] f(x) = tanh(x) или
, определенная на интервале

(–,), с уровнями насыщения {-1,1}.
Логистическая функция [11]



, определенная на интервале (–,) с об-
ластью значений [0,1]. Переменная  управляет крутизной функции f.
Обобщенная логистическая функция [12], определяемая как
,
где L и U соответственно нижняя и верхняя асимптоты, В – показатель роста, N обозначает значение, при котором происходит максимальное изменение функции fgen,
параметр Q зависит от начального значения fgen(0), а М – момент времени, когда
происходит максимальное изменение функции fgen,если Q = N. Выбор значений параметров U, L, Q, B. M, N определяется условиями рассматриваемой задачи.
Определение характера и силы влияния фактора на фактор даже в терминах лингвистических переменных производится, как правило, с привлечением экспертов в данной предметной области. При этом стремятся использовать группу независимых экспертов, показания которых обрабатываются тем или иным образом. Поэтому даже константные веса содержат большую долю неопределенности1, не говоря уже о более
сложных весах. В силу такой неопределенности желательно исследовать и более сложные типы весов, которые могут «лучше» отражать особенности исследуемой ситуации.
Кроме того, анализ динамики КМ со сложными весами представляет и чисто теоретический интерес в плане оценки динамических возможностей тех или иных КМ.
КМ с весами-функциями. Одной из первых работ, где использовались неконстантные веса, была работа [5]. В ней влияние фактора xk на фактор xi представлялось в виде
монотонной положительной функции ki(xk), отображающей интервал [0, 1] в себя. Использование таких функций в ряде случаев может оказаться более «правдоподобным»,
нежели использование константных влияний. Тем не менее, неопределенность, содержащаяся в значениях константных весов, переходит в неопределенность значений таких функций. Идея использования функциональных весов продолжена в работах [6, 14]. Так, если
вес wki= k(xs), где xs – быть может, «чужая» переменная для дуги (k,i), а k – функция
того же класса, что и ki, то влияние переменной xk на переменную xi определится как
k(xs)xk. При этом в правой части уравнения (1) появятся билинейные (и, быть может,
квадратичные) члены [14]. В [6] рассмотрена более сложная КМ, в которой некоторые
функции k и функции ki зависят от нескольких переменных и отображают интервал
[0,1] в себя.
В узлах с функциональными весами внутренняя функция является нелинейной.
Чтобы не усложнять анализ таких узлов дополнительной (скажем, сигмоидной) внешней функцией, в качестве внешних функций узлов можно использовать приведенную
выше линейную функцию с ограничениями. При этом снимается проблема «удержания» значений выходных факторов таких узлов в интервале [0,1], а всей КМ – в гиперкубе [0,1]n (или [–1,1]n) согласно требованию замечания 1.
1
О привлечении экспертов к оцениванию «правдоподобности» КК и их возможных ошибках говорится, в
частности, в работе [13].
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г.
4148
3. Динамика КМ
3.1. КМ с константными весами
Конечнозначные КМ. Внутренняя функция узлов в таких КМ линейна, а внешняя
функция – конечнозначна (см. выше). Динамика этих КМ характеризуется наличием
либо предельного цикла, либо устойчивого (равновесного) состояния, либо хаотическим поведением. Как отмечается в [10], моделирование конечнозначных КМ можно
проводить как в прямом времени при задании начального состояния (с целью определения будущих состояний КМ), так и в обратном времени (с целью нахождения начального состояния КМ, обеспечивающего заданное поведение КМ).
Представляет интерес сравнение «качества» поведения КМ с конечнозначной и
сигмоидной внешними функциями каждого узла, проведенное в [10]. Оказалось, что
КМ с сигмоидными внешними функциями имеет тенденцию приходить в устойчивые
состояния, близкие к уровням насыщения 1 и –1 используемых сигмоидов. В силу этого
«правдоподобность» вырабатываемых такой моделью траекторий оказывается невысокой. Этот факт говорит о том, что использование сигмоидных внешних функций в узлах КМ может вносить дополнительные погрешности в «правдоподобность» поведения
КМ, подобная «правдоподобность» и так существенно зависит от структуры используемой КК. Альтернативой в таких случаях может служить переход к обобщенной логистической функции (см. выше), допускающей необходимую настройку своих параметров.
КМ с сигмоидными функциями. Важную роль при постановке и решении различных прикладных задач с использованием КМ играют устойчивые состояния, достаточные условия существования которых при константных независимых факторах можно
определять с использованием теоремы Брауэра о неподвижной точке. В применении к
рассматриваемым КМ достаточное условие существования неподвижной точки у вектор-функции F при константных независимых факторах состоит в том, чтобы в гиперкубе [0,1]n (или [–1,1]n) отображение F было сжимающим, т.е. чтобы выполнялось условие:
,
(3)
∀ ,
∈
, )),
где d – некоторая метрика в рассматриваемом гиперкубе, а 0 < c < 1.
Условия сжимаемости отображения F в КМ с константными весами и сигмоидными внешними функциями узлов исследовались в [15,16]. Показано, что если внешняя
функция узла имеет вид
, то условие (3) для f выполняется, если
1 для любого х[0,1]. При использовании в качестве внешней функции f(x)
= tanh(x) для сжимаемости f достаточно выполнения условия m(1–f 2(x)) < 1. При этом
достаточное условие сжимаемости отображения F имеет вид:
∑
1,
где ||wi|| – евклидова норма i-й строки матрицы W весов КМ, а li определяется соответствующим образом для значений х и f(x) в каждом узле.
Заметим, что нахождение условий сжимаемости отображения F при использовании
сигмоидов как внешних функций узлов даже при константных весах КК является непростой задачей для пользователя КМ. Если учесть и указанные выше погрешности в
определении значений выходных факторов узлов, то методологически оправданным
может оказаться переход к сложным весам в КК и выбором в качестве внешних функций узлов линейных функций с ограничениями {0,1} (или {–1,1}), рассмотренный в работах [6, 14].
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г.
4149
3.2. КМ с весами-функциями
Как уже сказано выше, при выборе сложных весов в КМ вектор-функция F описывается уравнением (2). При введенных ограничениях на значения внешних функций узлов вектор-функция F является сложной нелинейной аддитивной функцией, отображающей гиперкуб [0,1]n (или [–1,1]n) в себя. Для простоты рассмотрим далее гиперкуб
К =[0,1]n. Поскольку Rn является пространством, удовлетворяет всем требованиям теоремы Брауэра о неподвижной точке, при константных независимых факторах в гиперкубе К содержится неподвижная точка и, быть может, не одна. Для того чтобы такая
точка была единственной, сжимаемость отображения F является слишком строгим условием, которое в ряде случаев можно ослабить. Для этого в [6] используется степень
отображения F с введением прореженного времени, каждый такт которого содержит
постоянное число  тактов исходного времени2. При этом предполагается, что для некоторого значения  отображение F, определенное в прореженном времени, является
сжимающим, т.е. справедливо:


(4)
∀ 1 , 2 ∈
,  = 0,1,2,…,
1  ,
2 
1  , 2 
где с и d – те же, что и в (3), а  – прореженное время. Для выполнения (4) достаточно,
чтобы некоторая последовательность величин d (Х(),F (Х())),  = 0,1,2,… была монотонно убывающей (что проверяется моделированием). При этом известно (см., например, [17], стр.17), что единственная неподвижная точка отображения F является единственной неподвижной точкой отображения F, которое может не быть сжимающим.
3.3. Достижение целей в КМ
В современных системах поддержки принятия решений с использованием когнитивных отображений (см., например, [18]) в условиях изменяющихся состояний внешней среды и изменяющихся внутренних состояний системы для выработки целенаправленных действий используются наборы КК. В таких КК поставленные цели, различные
действия и ожидаемые результаты представляются определенными совокупностями
факторов с соответствующими значениями. Подобные системы имеют сложную иерархическую структуру, включающую помимо КК соответствующие процедуры принятия
решений. И, тем не менее, КК в таких системах характеризуются константными весами.
Поэтому даже в простейшей постановке представляет интерес проблема достижения
заданного (целевого) состояния при использовании той или иной КМ. Один из подходов к решению этой проблемы представлен в работе [6]. Суть этого подхода состоит в
следующем.
a) «Простейшая» постановка задачи о достижении целевого состояния характеризуется рядом допущений. Считается, что КМ определена в гиперкубе К =[0,1]n. Рассматривается конечный интервал наблюдения, на котором значения факторов
«внешней среды» (вектор Z) и выбираемые управления (вектор U) считаются константными со значениями из интервала [0,1]. Веса на некоторых (всех) дугах в КК
являются неконстантными, так что динамика каждого узла описывается уравнением
типа (1), а в роли внешних функций узлов используется линейная функция с ограничениями 0 и 1. Дополнительное ограничение состоит в том, что размерность вектора U управлений задается равной размерности вектора состояний КМ. При константных значениях независимых факторов для любого набора их допустимых значений в гиперкубе К существует неподвижная точка (асимптотически устойчивое
состояние).
2
О возможности изменения модельного времени в КМ говорится в работе [12].
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г.
4150
b) Пусть Z* и U* – константные вектора «внешней среды» и управлений соответственно, а Х* – неподвижная точка отображения F при известных Z* и U*. Тогда
справедливо:
∗
∗
∗
(5)
,
, ∗, ∗
и координаты fi вектор-функция F являются алгебраическими функциями с заданными управлениями u1*,…,un*, входящими линейно как параметры в каждую функции fi. В силу такого линейного вхождения можно решать задачу нахождения неизвестных управлений, переводящих КМ из произвольного начального состояния в
задаваемое устойчивое состояние Х*.
c) Пусть Х’ – требуемое состояние (не обязательно устойчивое), в которое надо перевести КМ из произвольного начального состояния. Подставляя значения координат
в (5) и перенося в каждом уравнении из (5) известные слагаемые в правую часть,
получим линейную систему уравнений относительно неизвестных u1,…un:
∗
∗
(6)
, .
Добавим ограничения на допустимость значений управлений:
(7)
0 ≤ |uk| ≤ 1, k = 1,…,n.
В общем случае система (6) несовместна. МНК-решение задачи (6)-(7) переводит
КМ в соответствующее устойчивое состояние , принадлежащее некоторой окрестности заданного состояния Х’. «Качество» получаемых решений, определяемых невязками вида |Х’– |, обсуждается в [6].
4. Заключение
Цель данной работы состояла в том, чтобы показать разнообразие подходов к использованию когнитивных отображений в известных публикациях, появившихся в последние годы. Это разнообразие обусловлено, в первую очередь, выбором различных
функций на выходах когнитивных моделей, не выводящих состояния таких моделей из
гиперкуба [0,1]n (или [–1,1]n). Что касается используемых когнитивных карт, то в подавляющем большинстве из них используются константные веса. Такое положение
может объясняться тем, что более сложные веса, требующие применения специальных
методов их оценки, целесообразно использовать в более сложных системах поддержки
принятия решений, разрешив попутно возникающие математические проблемы, связанные с такими весами. Анализ возможных проблем при переходе к более сложным
весам содержится в немногочисленных работах, появившихся в последнее время.
В силу ограниченного объема статьи в нее не вошел ряд вопросов, связанных с
когнитивными моделями, таких как переопределение весов при наличии дополнительной информации, совместное функционирование когнитивной модели с реальной системой, обучение когнитивной модели, выработка решений при интерпретации когнитивной модели как многоагентной системы и др.
Список литературы
1.
2.
3.
Aguilar J. A Survey about Fuzzy Cognitive Maps Papers (Invited Paper)// Int. J. of Computational Cognition. 2005.Vol. 3. No. 2. http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.108.2446
Abramova N.A., Avdeeva Z.K., Fedotov A.A. An approach to systematization of types of formal cognitive
maps // Proceedings of the 18th IFAC World Congress. Milan, Italy, 2011. P. 14246-14252.
Papageorgiou E. Review study on Fuzzy Cognitive Maps and their applications during the last decade //
IEEE International Conference on Fuzzy Systems. Taipei, Taiwan, June 27-30, 2011. P. 828-835.
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г.
4151
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
Papageorgiou E., Kontogianni A. Using Fuzzy Cognitive Mapping in Environmental Decision Making and
Using
Management:
A
Methodological
Primer
and
an
Application
//
http://www.intechopen.com/download/pdf/27194
McLukas A.Ch. Improving Causal Mapping Practice Using the System Dynamics ‘Front-End’ Tool //
http://www.systemdynamics.org/conferences/2002/proceed/papers
Корноушенко Е.К. Управление равновесными состояниями положительных нелинейных нормированных моделей // Проблемы управления. 2014. № 2. С. 18-25.
Jasinevicius R, Petrauskas V. Nonlinear and dynamic extensions for fuzzy cognitive maps // http://www.tc.ktu.lt/
Tsadiras A.K. Inference using Binary, Trivalent and Sigmoid Fuzzy Cognitive Maps // http://www.ceurws.org/Vol-284/page327.pdf
Vascak J., Madarasz L. Adaptation of Fuzzy Cognitive Maps – a Comparison Study // Acta Polytechnica
Hungarica.
2010.
Vol.
7.
No.
3.
P.
110-122.
http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.141.1313
Tsadiras A.K., Margaritis K. Comparing the Inference Capabilities of Three Fuzzy Cognitive Map Systems
// http://www.sciencedirect.com/science/article/pii/S002002550800159X
Karagiannis I.E., Groumpos P.P. Input-Sensitive Fuzzy Cognitive Maps // International Journal of Computer
Science. 2013. Vol. 10. http://www.ijcsi.org/papers/IJCSI-10-3-1-143-151.pdf
Ketipi M.K.et al. A flexible nonlinear approach to–effect relationships in FCMs // Applied Soft
Computing.2012. Vol. 12. P. 3757-3770. http://www.ijcsi.org/papers/IJCSI-10-3-1-143-151.pdf
Abramova N., Kovriga S. The expert approach to verification at cognitive mapping of ill-structured situations // 18th IFAC World Congress. Milano, Italy, August 28 - September 2, 2011.
http://www.nt.ntnu.no/users/skoge/prost/proceedings/ifac11
Корноушенко Е.К. Управление равновесными состояниями билинейных нормированных моделей //
Проблемы управления. 2012. № 5. С. 2-8.
Kottas T.L. et al. A new method for reaching equilibrium points in Fuzzy Cognitive Maps // In: Intelligent
Systems, 2004. Proc. 2nd International IEEE Conference. Vol. 3. P. 53-60. http://www.mz3r.com/fa/wpcontent/uploads/2012/02/books/
Kottas T.L. et al. Bi-linear adaptive estimation of Fuzzy Cognitive Networks //
http://www.sciencedirect.com/science/article/pii/S1568494612000658
Красносельский М.А. и др. Приближенное решение операторных уравнений. М.: Наука, 1969. 455 c.
McKay J. Reflecting on the Efficacy of SODA and Cognitive Mapping for Problem Analysis in Information
Requirements Determination // http://www.ou.edu/is-core/Papers/McKay-Marshall.pdf
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г.