;doc

Компьютерная реализация нечеткой модели
объективного оценивания диссертационной работы
Коляда Михаил Георгиевич
доктор педагогических наук, доцент,
заведующий кафедрой информационной защиты и гражданской безопасности,
Институт последипломного образования инженерно-педагогических работников
Университета менеджмента образования НАПН Украины,
ул. Куйбышева, 31а, г. Донецк, Украина, 83101,
+380 99 488 97 61,
[email protected]
Аннотация
Описана
компьютационная
реализация
объективного
оценивания
диссертационной работы соискателя научной степени на идеях теории
нечетких множеств. Показана технология оценивания на основе
информационной системы нечеткой логики Fuzzy Logic Toolbox.
Realization objective estimation dissertational work of the competitor of scientific
degree on ideas of model of indistinct sets is described computational. The
technology estimation on the basis of information system of indistinct logic Fuzzy
Logic Toolbox is shown.
Ключевые слова
Нечеткие множества, теория нечеткой логики, оценивание диссертационных
работ, наукометрия, модуль Fuzzy Logic Toolbox.
Indistinct sets, the theory of indistinct logic, estimation dissertational works,
scientometrics, module Fuzzy Logic Toolbox.
Введение
Педагогика – это одна из областей знаний, где человек имеет дело с нечеткими
высказываниями,
размытыми
словесными
суждениями,
«размытыми»
представлениями о воспитательных и дидактических явлениях. Именно здесь
используют такие слова, как «почти», «немного», «приблизительно», «маломальски», «вроде» и т.д. Поэтому, для оценивания педагогических процессов, где
используют такие выражения, приходится формализовать человеческие
высказывания таким способом, который будет пригоден для компьютерной
обработки, т. е. в виде схем, графиков, формул (с помощью математических
символов и знаков операций) [1]. Но обрабатывать такие массивы вербальных
высказываний очень непросто, необходимо придумать специальный математический
аппарат, который мог бы делать выводы именно по человеческим суждениям. Здесь и
приходит на помощь теория нечеткой логики и теория нечетких множеств.
В
исследованиях
украинских
ученых
рассматривались
вопросы
образовательного оценивания учебных достижений [2–8]; исследованию
наукометрических измерений уделяли внимание российские исследователи [9–12];
решению
проблем
математической
реализации
психолого-педагогических
закономерностей посвящены научные работы В. П. Беспалько [13], А. М. Дахина
[14], И. П. Подласого [15]. Развитие идет по пути интеграции педагогических
исследований и открытий в области точных наук. Математика имеет серьезные
426
наработки в плане формализации социально-образовательных закономерностей,
которые воплощены в компьютерных системах анализа и принятия решений. Однако
проблема реализации модели объективного оценивания диссертационных работ еще
недостаточно исследована как в теоретическом, так и в практическом аспектах. Без
внимания исследователей остались такие важные вопросы как компьютерная (то есть
вычислительная средствами компьютерной техники) реализация нечеткой модели
объективного оценивания диссертационной работы.
Вместе с тем, учитывая практическую значимость объективного оценивания
диссертационных работ для обеспечения их высокого качества, отсутствие
теоретического обоснования и практического внедрения такой системы в высших
учебных заведениях, была избрана тема статьи: «Компьютерная реализация
нечеткой модели объективного оценивания диссертационной работы».
Для ВАК Украины, специализированных ученых советов высших учебных
заведений и научных учреждений эта тема исследования является очень актуальной,
и ее раскрытие станет теоретико-практической основой не только для научных
работников [16], которые связаны с проблемами образовательных измерений и
наукометрии, но и педагогам-практикам, которые занимаются поиском объективных
подходов в оценке различных типов итоговых и выпускных работ: рефератов,
курсовых, дипломных.
Цель статьи – наглядно показать компьютерный способ реализации теории
нечетких множеств и теории нечеткой логики для объективного оценивания
диссертационной работы соискателя научной степени.
Среди задач, которые возникают при этом, была выделена лишь одна:
реализация педагогического моделирования на основе самой мощной на сегодняшний
день информационной системы нечеткой логики – Fuzzy Logic Toolbox (через модуль
компьютерной программы матричной лаборатории Mat Lab, релиз R2013a).
Оценивание диссертационной работы с помощью программы
нечеткой логики Fuzzy Logіc Toolbox
На основе понятий, представленных нечеткими множествами, можно
интерпретировать человеческие суждения, которые в дальнейшем можно использовать
для процесса моделирования и прогнозирования педагогических процессов.
В педагогике преподавателю или учащемуся (студенту), как правило, легче
всего очертить какие-то процессы или явления учебно-воспитательной
действительности на уровне словесных описаний, т. е. – в неформализованном виде
[17]. Человеку удобнее использовать качественные нечеткие оценки типа «много»,
«мало», «довольно высокий», «далеко», «очень близко», «быстро», «очень
медленно», «средняя» (например, подготовка), «слишком слабая» и т. д.
Допустим, что X = {«Кембриджский университет», «Стэндфордский
университет»,
«Московский
государственный
университет»,
«Киевский
национальный университет»} – есть множество престижных университетов мира.
Тогда нечеткое множество А = «Отличный университет» может быть определено
следующим образом:
А = {(Кембридж/1), (Стэнфорд/0,8), (МГУ/0,3), (КНУ/0,1},
где цифры, стоящие возле названий, выражают степень отражения (приближения)
понятия «Отличный университет».
427
Ясно, что функция принадлежности для каждого нечеткого множества
определяется, вообще говоря, субъективно. Для нашего примера, вид функции
принадлежности нечеткого множества отражает точку зрения оценки независимого
справочника «F1 Study, 2010», с которой, возможно, будут согласны не все.
Несмотря на размытость границ нечеткого множества А, оно может быть точно
определено сопоставлением каждому элементу х числа, лежащего между 0 и 1,
которое представляет его принадлежность к А.
Например, функция принадлежности понятия «внешний конфликт» (речь идет
о конфликте вне себя) на языке теории нечетких множеств будет записана таким
способом:
Внешний конфликт = {20/0,01 + 20/0,9 + 20/0,5 + 10/0,5 + 10/0,2 + 10/0,1}.
Здесь знак «+» не является обозначением операции сложения, а имеет смысл
объединения.
Число 20 означает показатель уровня конфликтности лиц с выраженной
экстраверсией, а число 10 – показатель конфликтности лиц с выраженной
интроверсией. Любому из этих значений Экстравертов–Интровертов соответствует
мера близости, например, с учетом стиля поведения этих индивидов во внешнем
конфликте (по классификации американского психолога Р. Томаса). Для
сотрудничества эта величина составляет 0,01, для соперничества – 0,9, для
компромисса – 0,5, для приспособления – 0,2 и для избегания конфликта – 0,1. Из
перечисленных стилей только один – сотрудничество, является активным и
эффективным в смысле определения результата конфликтной ситуации. Наиболее
конфликтным считается второй активный стиль – соперничество (коэффициент
близости – 0,9); избежание и приспособление характеризуются пассивной формой
поведения, поэтому им мера близости отводится меньшая (0,1 и 0,2). Компромисс
занимает как бы промежуточное положение, соединяя в себе и активную, и
пассивную формы реагирования (ему отводится коэффициент 0,5).
Если рассматривать новые суждения относительно базового понятия
«конфликт», то в теории расплывчатых множеств их можно представить таким
способом:
Инцидент = конфликт2 (конфликт в квадрате);
Вызов = конфликт3 (конфликт в кубе);
Эскалация = конфликт4 (конфликт в четвертой степени).
В теории нечетких множеств функция принадлежности играет ключевую роль,
так как это основная характеристика нечеткого объекта, а все действия с нечеткими
объектами производятся через операции с их функциями принадлежности.
Определение функции принадлежности – это первая и очень важная стадия
моделирования, позволяющая затем оперировать с нечеткими объектами.
Не существует строгих правил, которые могли бы быть использованы для выбора
соответствующей функции принадлежности, как и не существует методов оценки
правильности и корректности функций принадлежности, выдвигаемых различными
428
способами. Методы, используемые для построения функции принадлежности, должны
быть достаточно гибкими, чтобы они могли легко перестраиваться для оптимизации
действия алгоритмов, использующих эти функции принадлежности. Проблема выбора
функции принадлежности важна и потому, что эффективность многих алгоритмов
зависит от формы используемой функции принадлежности.
Учитывая то, что резкой границы между элементами, которые входят и не
входят в какое-нибудь множество, может и не быть, поэтому мы часто и не можем дать
четкий ответ на вопрос о значении функции принадлежности в границах традиционной
формальной логики. Профессор Калифорнийского университета Лотфулла Заде (Lotfі
A. Zadeh) еще в 1965 году разработал основы теории нечетких множеств; им же и был
предложен выход из этой непростой ситуации.
Лингвистическая переменная – это переменная, которая принимает значение
из множества слов или словосочетаний некоторого естественного или
искусственного языка. Лингвистическую переменную можно определить как
переменную, значениями которой являются не числа, а слова или предложения
естественного языка, используемого в вербальных человеческих общениях.
Например, лингвистическая переменная «обученность» может принимать
следующие значения: «очень слабая», «слабая», «выше среднего», «средняя», «ниже
среднего», «высокая», «очень высокая» и др. Эти значения, которые отображают
степень выраженности переменной, в теории множеств называют термами (терм от
англ. term – называть). Ясно, что переменная «обученность» будет обычной
переменной, если ее значения – точные числа, лингвистической она становится,
когда используется в нечетких рассуждениях человека. Каждому значению
лингвистической переменной соответствует определенное нечеткое множество со
своей функцией принадлежности. Так, лингвистическому значению «Отличный
университет» может соответствовать функция принадлежности какой-то
математической зависимости, а термами лингвистической переменной могут быть
высказывания такого типа, например: очень отличный университет, отличный
университет, отличный университет среднего типа, не совсем отличный
университет и т. д.
Для уменьшения субъективизма экспертов, оппонентов, а также членов
специализированного ученого совета предлагаем стройную модель нечеткой логики
объективного оценивания качества выполненной и публично защищенной
диссертационной работы.
Источниками информации о качестве деятельности соискателя научной
степени являются: 1) эксперты от специализированного ученого совета, которые
рассматривают выполненную диссертационную работу и дают разрешение на ее
публичную защиту; 2) оппоненты, которые оценивают представленную диссертацию
к защите как конечный продукт; 3) члены специализированного ученого совета,
которые принимают окончательное решение о выполненной работе с учетом ее
публичной защиты.
Если обозначить итоговую оценку (назовем ее – Результат), показывающую
качество диссертации буквой R (она же будет выходной переменной), то в качестве
входных переменных будут использованы три основных компонента: X –
аргументированные выводы эксперта (дальше – Эксперт), который предварительно
оценивает качество представленной в специализированный совет диссертационной
работы; Y – обоснованные положения Оппонента, который оценивает качество
429
диссертации как конечного продукта; Z – член спецсовета, который оценивает
качество публичной защиты и дает обобщающие заключения относительно
выполненного диссертационного исследования (рис. 1).
Рис. 1. Общая схема оценивания качества диссертационной работы: X – первая
входная переменная (Эксперт), Y – вторая (Оппонент), Z – третья (Член
спецсовета), R –выходная переменная (Результат)
В свою очередь, каждая входная переменная имеет отдельную вложенность.
Иными словами, она сама становится выходной переменной (output), и для нее
существуют свои входные переменные (input), а именно: для группы X (Эксперт) –
пять входных переменных (x1, x2, x3, x4, x5); для группы Y (Оппонент) – десять
входных переменных (y1, y2, y3, y4, y5, y6, y7, y8, y9, y10); для группы Z (Член
спецсовета) – четыре входные переменные (z1, z2, z3, z4) (рис. 2).
430
Рис. 2. Внутренняя вложенность переменных X, Y и Z, которые стали
выходными переменными
Распишем теперь уже внутренние переменные (для нашего случая – они
становятся входными) для выходных переменных X, Y и Z. Для этого воспользуемся
содержательным материалом, взятым из работы И. В. Вешневой [18].
Выходная переменная X (Эксперт) имеет входные меняющиеся значения
(входные переменные). Она оценивает представленную на рассмотрение в
специализированный совет диссертационную работу соискателя научной степени по
следующим показателями: x1 – добросовестность соискателя; x2 – умение
самостоятельно работать с литературой; x3 – достижение цели,
сформулированной как темы диссертационного исследования; x4 – умение
обобщать и систематизировать результаты разработанной темы и строить
заключения; x5 – объем и качество самостоятельно полученных результатов.
Выходная переменная Y. Оппонент оценивает работу по таким показателям:
y1 – обоснование актуальности темы исследования; y2 – новизна научной работы;
y3 – объем и качество обзора литературы; y4 – соблюдение стандартов (качество
оформления работы и графических материалов); y5 – научный язык и стиль
изложения; y6 – использование компьютерной техники и современных методик; y7 –
возможность практического использования; y8 – степень обоснованности решений;
y9 – степень достоверности полученных результатов; y10 – качество полученных
результатов.
Выходная переменная Z. Член специализированного ученого совета оценивает
431
диссертационную работу по следующим показателям: z1 – качество доклада; z2 –
наличие и качество иллюстративного материала; z3 – степень самостоятельности
и качество ответов на вопросы; z4 – обобщенная оценка диссертационной работы.
Было бы правильно, если бы каждому компоненту (Эксперт, Оппонент и Член
спецсовета) поставили в соответствие определенный вес (значимость) его
интегральной оценки. На наш взгляд, Эксперт должен иметь немного ниже
показатель значимости, чем другие компоненты, так как он только дает допуск к
рассмотрению выполненной диссертационной работы. Оценивая диссертацию
соискателя, в некоторой степени оценивают и степень квалификации ее
предварительного рассмотрения, поэтому было бы целесообразно установить вес
такой оценки, который равнялся бы 1 (условной единице).
Оппонент – одна из ключевых фигур, которая наиболее полно и всесторонне
изучает диссертационную работу, хотя это же может сделать и любой член спецсовета
(но у него на это практически не хватает времени). С другой стороны, член спецсовета,
кроме оценивания самой работы, может еще убедиться, насколько самостоятельно она
выполнена, проверить на защите, насколько умеет соискатель научной степени
отстаивать (защищать) положения, которые вынесены им на защиту, насколько он
владеет профессиональными и коммуникативными компетенциями и мастерством
публичного выступления (умением представить перед общественностью главные идеи
научного исследования). Нельзя забывать и о том, что каждый оппонент и член
спецсовета несет персональную ответственность перед обществом за объективность
оценивания результатов диссертационного исследования.
Исходя из этих соображений, и оппоненты, и члены спецсовета имеют
одинаковые «весовые» показатели, которые измеряются в виде ранга равного – 2.
Необходимо к сказанному добавить, что председатель специализированного ученого
совета имеет преимущество перед другими ее членами, и, как правило, имеет два
голоса, поэтому его «вес» измеряют в виде ранга равного – 4.
Было бы логично установить и весовые коэффициенты для внутренних (в
данном случае – входных) переменных. Проделаем и эту операцию, соответственно
для каждого блока:
для блока X: переменной x4 (умение обобщать и систематизировать)
повысим весовой показатель до 2, а x5 (объем и качество самостоятельно
полученных результатов) – до 3;
для блока Y: переменной y7 (возможность практического использования), y8
(степень обоснованности решений) и y9 (степень достоверности полученных
результатов) повысим вес до 2, а y10 (качество полученных результатов) – до 3;
для блока Z: переменной z3 (степень самостоятельности и качество ответов на
вопросы) и z4 (обобщенная оценка диссертационной работы) – повысим вес до 3.
Всем остальным переменным по умолчанию устанавливается весовой
коэффициент, равный 1.
Для каждой переменной без исключения было бы разумно ввести единую 7-ми
уровневую шкалу степени выраженности этих показателей (с учетом их оттенков или
градаций). Этим показателям-термам нужно было бы поставить в соответствие
оценки по шкале в международной (ЕСТS) и национальной системе оценивания, так
как это показано ниже:
очень высокий – PB (positive big)
А (отлично);
высокий – PM (positive medium)
В (очень хорошо);
выше среднего – PS (positive small)
С (хорошо);
средний – ZЕ (zero)
D (удовлетворительно);
ниже среднего – NS (negative small)
Е (достаточно);
низкий – NM (negative medium)
FХ (неудовлетворительно, с
правом пересдачи);
очень низкий – NB (negative big)
F (неудовлетворительно, без права
432
пересдачи).
Но, в связи с тем, что при таком подходе резко увеличивается количество
правил вывода (особенно для перебора всех вариантов второго блока Y Оппонент: 10
входных переменных по 7 термов), мы несколько упростим задачу. Для этого
используем 3-х уровневую семибальную систему термов:
высокий – PB
отлично (6 – 7 баллов);
средний – ZЕ
хорошо (4 – 5 баллов);
низкий – NM
удовлетворительно (2 – 3 балла);
очень низкий
неудовлетворительно (1 балл).
(для оценивания
диссертации не
рассматривается)
От этой системы легко перейти к международной общепринятой системе
оценивания (ЕСТS):
очень высокий – PB А (отлично)
высокий (отлично 6 – 7 баллов);
высокий – PM
В (очень хорошо)
средний (хорошо – 5 баллов);
выше среднего – PS С (хорошо)
средний (хорошо – 4 балла);
средний – ZЕ
D (удовлетворительно) низкий (удов. – 3 балла);
ниже среднего – NS Е (достаточно)
низкий (удов – 2 балла);
низкий – NM
FХ (неудов.)
очень низкий (неудов. – 1 балл);
очень низкий – NB F (неудов.)
очень низкий (неудов. – 0 баллов).
Прежде чем приступить к составлению базы правил для нечеткого
логического моделирования, расшифруем каждую переменную (показатель качества)
в соответствии с каждым из предложенных уровней их значимости (по каждому
терму) [18]. Эти описания термов, по сути, являются своеобразными
рекомендациями для экспертов соответствующих категорий. Они дают возможность
словесно более точно оценить уровень каждого показателя, тем самым в целом
повысить объективность оценивания качества выполненной диссертационной
работы. Начнем с описания термов для лингвистических переменных первого блока
X (Эксперт) (табл. 1).
Таблица 1
Рекомендации эксперту для оценивания показателей в соответствии с уровнем
их выраженности
Уровни оценки показателей (термы)
Показатель
x1
x2
Низкий
Ниже
среднего
Средний
Выше
среднего
Высокий
Добросовест
ность
соискателя
Нуждается в
жестком
контроле
Не полностью
понимает и
выполняет
задания
Своевременн
о выполняет
задания
Предупрежда
ет
получаемые
задания
Квалифициров
анно
выполняет
работу
Умение
самостоятел
ьно
работать с
литературой
Недостаточн
ый анализ
заданной
литературы
Работает с
заданной
отечественной
литературой
Работает с
заданной
отечественно
йи
зарубежной
литературой
Активно
находит и
изучает
отечественну
ю литературу
Активно
находит и
изучает
отечественную
и зарубежную
литературу
433
x3
x4
x5
Достижение
цели,
сформулиров
анной в
качестве
темы
диссертацио
нной работы
Не
полностью
раскрыты
задачи и цели
диссертацион
ной работы
В основном
цель
достигнута
Цель
достигнута
Цель
достигнута,
логически
открывает
следующий
круг задач
Цель
достигнута,
раскрыты
логически
вытекающие
задачи
Умение
обобщать и
систематизи
ровать
результаты
выполненной
работы и
делать
выводы
Объем и
качество
самостоятел
ьно
полученных
результатов
Нуждается в
пояснениях и
активной
помощи
руководителя
при
проведении
систематизац
ии
Использует
чужие
результаты
Частично
проводит
обобщение,
нуждается в
помощи
руководителя
Проводит
обобщение
полученных
результатов с
корректировк
ой
руководителя
Четко и
грамотно
структурирует
результаты,
логически
раскрывая
системность
исследования
Использует
результаты
руководителя и
группы
Использует
свои
результаты,
руководителя
и группы
Проводит
обобщение
полученных
результатов и
систематизац
ию с
корректировк
ой
руководителя
Использует
свои
результаты и
группы
Описание термов для лингвистических
Y (Оппонент) представлено в табл. 2.
переменных
Результаты
получены
полностью
самостоятельн
о
второго
блока
Таблица 2
Рекомендации оппоненту для оценки показателей в соответствии с уровнем их
выраженности
Уровни оценки показателей (термы)
Показатель
Обоснование
актуальности
темы научного
исследования
y1
y2
Научная
новизна
Низкий
Ниже
среднего
Средний
Тематика
устарела,
результаты
исследования
получены
ранее
Результаты
исследования
получены
ранее,
актуальность
не раскрыта
Работа
актуальна,
однако ее
актуальность
не вполне
обоснована
Отсутствует
Дублирует
уровень мало
перспективных
образцов
Дублирует
уровень
средних
образцов
Недостаточный
анализ
Отечественная
литература
Современная Отечественная и Новая
отечественна зарубежная
отечественная
я литература литература
и зарубежная
литература
y3
Объем и
качество
обзора
литературы
y4
Соблюдение Установленные
стандартов требования не
(качество
выполнены
оформления
работы и
графических
материалов)
Установленные
требования
выполнены,
иллюстрации
не раскрывают
смысл проекта
Не полностью
раскрывают
смысл, есть
погрешность в
оформлении
Выше
среднего
Работа
актуальна и
ее
актуальность
обоснована
Перспективные
образцы
Установленные
требования
выполнены с
мелкими
ошибками
Высокий
Работа
соответствует
передовым
научным
исследованиям
и ее
актуальность
четко
обоснована
Оригинальные
идеи
Полностью
соответствует
установленным
стандартам
434
y5
y6
y7
y8
y9
Научный
Много
язык и стиль стилистичесизложения
ких и
грамматических ошибок
Есть отдельные
стилистические и
грамматические
ошибки
Есть
отдельные
грамматические ошибки
Текст
читается
легко, есть
отдельные
ошибки
Текст читается
легко, ошибки
отсутствуют
Использование
компьютерной
техники
отсутствует
или носит
второстепенный характер,
устаревшие
методики
Возможность
Нет
практического конкретных
использования
практических
рекомендаций
Использование
компьютерной
техники,
устаревшие
методики
Современные
пакеты
программ в
основной
части,
известные
методики
Современные
пакеты
программ в
основной
части,
современные
методики
Оригинальные
программнотехнические
средства и
методики в
основной части
работы
Возможно
приведение
рекомендаций
Результаты
имеют
рекомендаци
онный
характер
Результаты
имеют
рекомендационный характер,
частично
возможно
использование
Возможно
непосредственное
использование
Степень
Вариантные
обоснованности расчеты
решений
отсутствуют
Есть
результаты
только одного
варианта
Обоснован
выбор
оптимального
варианта
Использование
компьютерной
техники и
современных
методик
Степень
Результаты не Результаты
достоверности подтверждают- частично не
полученных
ся
подтверждаются
результатов
Качество
y10 полученных
результатов
Результаты
сомнительны
Обоснован и
доказан выбор
оптимального
варианта
Обоснован
выбор
оптимального
варианта и
практически
применен
Результаты Результаты
Результаты
обсуждаются подтверждаются подтверждены
на уровне
подобными
экспериментальпостроения исследованиями но и на практике
аналогий
Ординарные
результаты
Неординарные
результаты
Описание термов для лингвистических переменных третьего блока Z (Члены
спецсовета) представлено в табл. 3.
Таблица 3
Рекомендации членам спецсовета для оценки показателей в соответствии с
уровнем их выраженности
Уровни оценки показателей (термы)
Показатель
Низкий
Качество
доклада
z1
Не соблюден
регламент,
недостаточно
раскрыта
тема проекта
Ниже
среднего
Не раскрывает
тему проекта
Средний
Есть ошибки в
регламенте и
использовании
иллюстраций
Выше
среднего
Соблюдение
времени,
раскрытие
актуальности,
новизны, метода
с использованием
иллюстраций
Высокий
Свободное
владение
представленным
материалом и
вниманием
аудитории
435
z2
z3
z4
Наличие и
качество
иллюстративного
материала
Степень
самостоятельности и
качество
ответов на
вопросы
Обобщенная
оценка
диссертационной работы
Наглядный
материал
отсутствует
Не отвечают
докладу,
выполнены на
низком уровне
Не полностью
отвечают
содержанию
доклада, есть
ошибки в
оформлении и
отклонение от
стандартов
Есть
незначительные
погрешности в
оформлении
Не может
ответить на
дополнительные вопросы
В основном
Знание
основного
материала
Высокая
эрудиция, нет
существенных
ошибок
Низкий
Ниже среднего
Средний
Выше
среднего
Полностью
отвечают
содержанию
доклада,
дополняют его,
отвечают
требованиям
стандартов
Ответы
точные,
высокий
уровень
эрудиции
Высокий
Приступим к созданию базы правил. Начнем эту процедуру в обратной
последовательности, т. е. с переменных внутренней вложенности. Для первого блока
правил X (Эксперт) переберем все возможные варианты (их количество насчитывает
85 шт.).
Приведем несколько примеров:
Правило 28:
ЕСЛИ Добросовестность соискателя – Средняя, И Умение самостоятельно
работать с литературой – Высокое, И Достижение цели, сформулированной в качестве
темы диссертации – Низкое, И Умение обобщить и систематизировать результаты
проделанной работы и сделать выводы – Высокое, И Объем и качество самостоятельно
полученных результатов – Высокие, ТО Результат X – Высокий.
Правило 70:
ЕСЛИ Добросовестность соискателя – Низкая, И Умение самостоятельно
работать с литературой – Среднее, И Достижение цели, сформулированной в
качестве темы диссертации и делать выводы – Высокое, И Умение обобщить и
систематизировать результаты проделанной работы и сделать выводы – Среднее,
И Объем и качество самостоятельно полученных результатов – Средние, ТО
Результат X – Средний.
Правило 114:
ЕСЛИ Добросовестность соискателя – Высокая, И Умение самостоятельно
работать с литературой – Низкое, И Достижение цели, сформулированной в качестве
темы диссертации – Низкое, И Умение обобщить и систематизировать результаты
проделанной работы и сделать выводы – Средние, И Объем и качество
самостоятельно полученных результатов – Низкие, ТО Результат X – Низкий.
Эти же правила, записанные в виде условных обозначений:
Правило 28:
IF x1=ZE AND x2=PB AND x3=NM AND x4=PB AND x5=PB TO X=PB
Правило 70:
IF x1=NM AND x2=ZE AND x3=PB AND x4=ZE AND x5=ZE TO X=ZE
Правило 114:
IF x1=PB AND x2=NM AND x3=NM AND x4=ZE AND x5=NM TO X=NM.
То же проделаем для второго блока правил Y (Оппонент). Их количество
составляет уже 604 вариантов.
Примеры для второго блока Y:
Правило 156:
ЕСЛИ Обоснование актуальности темы исследования – Высокое, И Научная
новизна работы – Высокая, И Объем и качество обзора литературы – Высокие, И
436
Соблюдение стандартов (качество оформления работы и графических материалов)
– Низкое, И Научный язык и стиль изложения – Высокие, И Использование
компьютерной техники и современных методик – Высокое, И Возможность
практического использования – Средняя, И Степень обоснованности решений –
Высокая, И Степень достоверности полученных результатов – Высокая, И
Качество полученных результатов – Высокое, ТО Результат Y – Высокий.
Правило 371:
ЕСЛИ Обоснование актуальности темы исследования – Среднее, И Научная
новизна работы – Средняя, И Объем и качество обзора литературы – Средние, И
Соблюдение стандартов (качество оформления работы и графических материалов)
– Среднее, И Научный язык и стиль изложения – Низкие, И Использование
компьютерной техники и современных методик – Среднее, И Возможность
практического использования – Средняя, И Степень обоснованности решений –
Высокая, И Степень достоверности полученных результатов – Высокая, И
Качество полученных результатов – Среднее, ТО Результат Y – Средний.
Правило 591:
ЕСЛИ Обоснование актуальности темы исследования – Низкое, И Научная
новизна работы – Низкая, И Объем и качество обзора литературы – Низкие, И
Соблюдение стандартов (качество оформления работы и графических материалов)
– Высокое, И Научный язык и стиль изложения – Низкие, И Использование
компьютерной техники и современных методик – Низкие, И Возможность
практического использования – Низкая, И Степень обоснованности решений –
Низкая, И Степень достоверности полученных результатов – Низкая, И Качество
полученных результатов – Среднее, ТО Результат Y – Низкий.
Эти же правила, представленные в виде условных обозначений:
Правило 156:
IF y1=PB AND y2=PB AND y3=PB AND y4=NM AND y5=PB AND y6=PB
AND y7=ZE AND y8=PB AND y9=PB AND y10=PB TO Y=PB
Правило 371:
IF y1=ZE AND y2= ZE AND y3= ZE AND y4= ZE AND y5=NM AND y6= ZE
AND y7= ZE AND y8= ZE AND y9=PB AND y10= ZE TO Y= ZE
Правило 591:
IF y1=NM AND y2= NM AND y3=NM AND y4=PB AND y5= NM AND y6=
NM AND y7= NM AND y8= NM AND y9= NM AND y10=ZE TO Y= NM
И, наконец, для блока правил Z (Члены спецсовета, их количество равняется
81 шт.):
Правило 16:
ЕСЛИ Качество доклада – Среднее, И Наличие и качество иллюстративного
материала – Высокое, И Степень самостоятельности и качество ответов на
вопросы – Средняя, И Общая оценка диссертационной работы – Высокая, ТО
Результат Z – Высокий.
Правило 53:
ЕСЛИ Качество доклада – Высокое, И Наличие и качество иллюстративного
материала – Среднее, И Степень самостоятельности и качество ответов на
вопросы – Среднее, И Общая оценка диссертационной работы – Низкая, ТО
Результат Z – Средний.
Правило 67:
ЕСЛИ Качество доклада – Высокое, И Наличие и качество иллюстративного
материала – Высокое, И Степень самостоятельности и качество ответов на
вопросы – Низкая, И Общая оценка диссертационной работы – Низкая, ТО
Результат Z – Низкий.
Эти же правила, записанные в виде условных обозначений:
Правило 16:
437
IF z1=ZE AND z2=PB AND z3=ZE AND z4=PB TO Z=PB
Правило 53:
IF z1=PB AND z2=ZE AND z3=ZE AND z4=NM TO Z=ZE
Правило 67:
IF z1=PB AND z2=PB AND z3=NM AND x4=NM TO Z=NM.
Создадим три файла (Zminna_X.fis, Zminna_Y.fis, Zminna_Z.fis), предварительно
введя для каждого блока необходимое количество входных переменных, их имена,
интервалы их действия (области определения), соответствующие термы. Запустив
механизм редактора правил (Edit  Rules) в соответствии с полным перебором, введем
записи этих правил в базу знаний (рис. 3).
Рис. 3. Окно ввода правил для переменной X
Теперь посмотрим окно визуализации нечеткой логики для каждого набора
перечисленных правил, и соответственно, для каждой входной переменной (рис. 4).
438
Рис. 4. Графический интерфейс системы работы правил для переменной X
Этим и заканчивается создание общей системы нечеткой модели оценивания
выполненного диссертационного исследования. С ее помощью можно достаточно
объективно оценивать качество выполненной диссертационной работы (экспертом и
оппонентом) и оценивать публичное ее представление при защите (членом спецсовета).
Покажем, как работает предложенная модель на практике.
Пусть эксперт диссертационного исследования представил следующий набор
оценивающих данных (табл. 4).
Таблица 4
Пример оценивания Экспертом уровня выполненной диссертационной работы
(блок X )
Показатель
x1
Добросовестность
соискателя
x2
Умение самостоятельно
работать с литературой
x3
Достижение цели,
сформулированной как темы
научного исследования
x4
Умение обобщать и
систематизировать
результаты проделанной
работы, сделать выводы
x5
Объем и качество
самостоятельно полученных
результатов
Название терма
Расшифровка показателя
Низкий
(NM – 3 баллов)
Средний
(ZE – 5 баллов)
Высокий
(PB – 7 баллов)
Средний
(ZE – 5 баллов)
Высокий
(PB – 7 баллов)
Нуждается в жестком контроле
Работает с заданной отечественной и
зарубежной литературой
Цель достигнута, раскрыты логически
вытекающие задачи
Проводит обобщение полученных
результатов с корректировкой эксперта
Результаты получены полностью
самостоятельно
В первом блоке программы Эксперт (X) в файле Zminna_X.fis откроем
программу просмотра правил системы нечеткой логики (View  Rules) и установим
соответствующие баллы для термов (в окне Input): 3; 5; 7; 5; 7. Нажмем клавишу
439
Enter и увидим общую оценку для переменной X (рис. 5). Эксперт оценивает работу
соискателя в 4,41 балла (по 7-ми балльной шкале).
Рис. 5. Общая оценка работы соискателя, выданная Экспертом
Оппонент представил свое видение качества выполненной диссертационной
работы (табл. 5).
Таблица 5
Пример оценивания Оппонентом уровня выполненной диссертационной работы
(блок Y)
Показатель
Обоснование актуальности
y1 научного исследования
Название терма
Средний
(ZE – 5 баллов)
Расшифровка показателя
Работа актуальна, однако ее актуальность
не вполне обоснована
Низкий
y2 Научная новизна работы
Объем и качество обзора
y3 литературы
y4
Соблюдение стандартов
(качество оформления
работы и графических
материалов)
Научный язык и стиль
y5 изложения
Использование компьютерной
y6 техники и современных
методик
(NM – 3 баллов)
Отсутствует
Средний
(ZE – 5 баллов)
Высокий
(PB – 7 баллов)
Высокий
(PB – 7 баллов)
Низкий
(NM – 3 баллов)
Современная отечественная литература
Полностью соответствует установленным
стандартам
Текст читается легко, ошибки
отсутствуют
Использование компьютерной техники
отсутствует или носит второстепенный
характер, устаревшие методики
440
Возможность практического
y7 использования
Степень обоснованности
y8 решений
Степень достоверности
y9 полученных результатов
y10
Качество полученных
результатов
Низкий
(NM – 3 баллов)
Нет конкретных практических
рекомендаций
Средний
(ZE – 5 баллов)
Обоснован выбор оптимального варианта
Низкий
(NM – 3 баллов)
Результаты не подтверждаются
Средний
(ZE – 5 баллов)
Ординарные результаты
Соответственно, во втором блоке программы Оппонент (Y) в файле
Zminna_Y.fis откроем такую же программу просмотра правил системы нечеткой
логики и установим соответствующие баллы для термов переменной Y: 5; 3; 5; 7; 7;
3; 3; 5; 3; 5. Нажмем клавишу Enter и увидим общую оценку для переменной Y
(рис. 6). Оппонент оценивает диссертационную работу соискателя в 4,00 балла.
Рис. 6. Общая оценка работы соискателя, выданная Оппонентом
Рядовой член спецсовета тоже оценил публичное выступление (защиту)
диссертационной работы и дал обобщенную оценку качества самой работы (табл. 6).
Таблица 6
Пример оценивания уровня выполненной диссертационной работы рядовым
Членом спецсовета (блок Z)
Показатель
z1 Качество доклада
Наличие и качество
z2 иллюстративного
материала
Степень
самостоятельности и
z3 качество ответов на
вопросы
Название терма
Средний
(ZE – 5 баллов)
Высокий
(PB – 7 баллов)
Низкий
(NM – 3 баллов)
Расшифровка показателя
Есть ошибки в регламенте и
использовании иллюстраций
Полностью отвечают содержанию
доклада, дополняют его, отвечают
требованиям стандартов
Не может ответить на дополнительные
вопросы
441
Обобщенная оценка
z4 диссертационной работы
Низкий
(NM – 3 баллов)
Низкий
Подобным образом в третьем блоке программы Член спецсовета (Z) в файле
Zminna_Z.fis снова откроем программу просмотра правил системы нечеткой логики и
установим соответствующие баллы для термов переменной Z: 5; 7; 3; 3. После нажатия
клавиши Enter в последней колонке результатов увидим общую оценку для переменной
Z (рис. 7). Рядовой член спецсовета оценивает работу соискателя в 3,83 балла.
Рис. 7. Общая оценка работы соискателя, выданная Членом спецсовета
Анализируя полученный материал из трех представленных источников, можно
достаточно объективно оценить работу соискателя научной степени. Для этого
необходимо объединить эти данные вместе.
Снова создадим систему нечеткой логики, но уже по схеме рис. 1 (файл
Yakist.fis). В качестве входных переменных будут фигурировать уже проработанные
нами значения X, Y и Z. База правил содержит 57 вариантов перебора.
Приведем несколько примеров:
Правило 5:
ЕСЛИ Эксперт – Низкая, И Оппонент – Высокая, И Член спецсовета –
Высокая, ТО Результат R – Высокий.
Правило 36:
ЕСЛИ Эксперт – Средняя, И Оппонент – Низкая, И Член спецсовета –
Высокая, ТО Результат R – Средний.
Правило 44:
ЕСЛИ Эксперт – Низкая, И Оппонент – Высокая, И Член спецсовета –
Низкая, ТО Результат R – Низкий.
Эти же правила, записанные в виде условных обозначений:
Правило 5:
IF X=NM AND Y=PB AND Z=PB TO R=PB
Правило 36:
IF X=ZE AND Y=NM AND Z=PB TO R=ZE
442
Правило 44:
IF X=NM AND Y=PB AND Z=NM TO R=NM.
В окне программы просмотра правил системы нечеткой логики (View  Rules)
в поле Input введем полученные значения переменных X, Y и Z: 4.41; 4.00; 3.83
(рис. 8). Программа нечеткой логики даст окончательный объективный ответ:
выставить соискателю научной степени 3.99  4 балла (по 7-ми бальной шкале), что в
пересчете по международной (ЕСТS) и национальной системе оценивания будет
звучать так: оценка С (хорошо) или выше среднего (PS – positive small).
Рис. 8. Окно просмотра правил системы нечеткой логики с окончательной
оценкой диссертационной работы
Будет интересна и визуализация поверхности нечеткого вывода для системы
оценивания диссертационной работы соискателя. Для этого вызовем
соответствующее окно (рис. 9).
Рис. 9. Окно визуализации поверхности параметров нечеткой логики
Проведем небольшой эксперимент. Возьмем крайние значения параметров
входных переменных, сначала минимальные (1; 1; 1), а затем максимальные (7; 7; 7).
443
Система нечеткого логического вывода дает вполне разумные ответы. При крайне
плохой оценке всеми тремя участниками этого процесса программа Fuzzy Logic
Toolbox оценивает диссертационную работу в 1.98  2 балла, что в переводе означает
ниже среднего (negative small) (рис. 10), а в системе оценивания (ЕСТS) –
Е (достаточно); при завышенной положительной оценке всех участников программа
дает ответ – 6.02  6 баллов, то есть оценка очень высокая (positive big) – А
(отлично). Это говорит о том, что, как и в реальной жизни, система отдает
предпочтение в пользу соискателя научной степени. На наш взгляд, это достаточно
объективный подход неодушевленной компьютерной системы.
Рис. 10. Оценка системы нечеткой логики при крайне отрицательных
показателях
Напомним, что общий результат получен лишь по отношению к одному члену
спецсовета. Подобные расчеты необходимо выполнить для каждого участника этого
процесса, при этом необходимо учесть их весовые показатели: Эксперт – 1, Оппонент –
2, Рядовой член спецсовета – 2 и Председатель спецсовета – 4. Чаще всего
специализированный ученый совет назначает трех экспертов, два оппонента (для
кандидатской) или три (для докторской диссертации) и 15–25 членов спецсовета.
Обработав все их обобщения, можно действительно получить объективную оценку
выполненной и публично защищенной диссертационной работы.
Анализ и оценка разработки
Создав такую систему оценивания, специализированный ученый совет и
высшая аттестационная комиссия (ВАК) получат автоматизированный и, что очень
важно, объективный банк данных, который будет содержать информацию о
личностных и профессиональных особенностях соискателей научной степени, а также,
используя его, эффективно корректировать и прогнозировать качество подготовки
диссертаций. Информация этой базы может быть использована и для написания
объективной характеристики на соискателя научной степени, а также может быть
применена для обобщающего анализа эффективности и качества диссертационных
444
исследований по разным категориям лиц, участвующих в их оценке.
Заключение
Завершая описание компьютерного оценивания диссертационных работ
соискателей научной степени, на основании полученных результатов делаем вывод,
что на основе теории нечеткой логики и нечетких множеств можно достаточно
объективно выполнять этот процесс. Оценивание является одним из условий
повышения эффективности научно-исследовательских работ, роста уровня научных
достижений
специалистов
высшей
квалификации
и
совершенствования
количественных методов изучения развития науки как информационного процесса, а
это, в свою очередь, является составной частью новой ветви человеческих знаний –
наукометрии. Модель, основанная на компьютерной системе нечеткой логики,
позволяет человеческие достижения, оформленные в виде диссертаций, как наиболее
интеллектуально емких и сложных работ человеческой деятельности, оценивать с
помощью количественных характеристик научной информации. Это дает возможность
избежать субъективизма в оценке продуктивности и качества научной мысли.
Интеграция образовательных и информационных технологий является велением
времени и сейчас невозможно провести четкую грань, с одной стороны, между
достижениями в сфере непрерывного образования и, с другой – успехами в области
математики и компьютерных технологий в принятии эффективных педагогических
решений.
Литература
1. Манако А. Ф. Подход к построению формализованного описания
информационных систем для образования и обучения // Международный
электронный журнал «Образовательные технологии и общество (Educational
Technology & Society)» – 2013. – V. 16. – № 1. – C. 536–547. – ISSN 14364522. URL: http://ifets.ieee.org/russian/periodical/journal.html.
2. Авраменко О. В. Статистичні методи в освітніх вимірюваннях /
О. В. Авраменко, Г. Ю. Павличенко, С. Д. Паращук. Частина І. Класична
теорія тестування : Навч.-метод. посіб. – Кіровоград : Лисенко В. Ф., 2012. –
120 с.
3. Андронатій П.І. Комп’ютерні технології в освітніх вимірюваннях : Навч.метод. посіб. / П. І. Андронатій, В. В. Котяк. – Кіровоград : Лисенко В. Ф.,
2011. – 144 с.
4. Дьяконов Г. В. Інтерсуб’єктні методи оцінювання психології особистості :
Навч. посіб. для вищої шк. – Кіровоград : Лисенко В. Ф., 2012. – 36 с. осіб. /
Т. М. К
5. Канівець Т. М. Основи педагогічного оцінювання: Навч.-метод. п анівець. –
Ніжин : Вид авець ПП Лисенко М. М., 2012. – 102 с.
6. Зовнішнє незалежне оцінювання в освіті України. Курс лекцій : Навч. посіб. /
Упорядники. : Кашина Ганна Сергіївна, Сергієнко Володимир Петрович. –
Луцьк, 2010. – 115 с.
7. Ковальчук Ю. О. Теорія освітніх вимірювань. – Ніжин : Видавець ПП
Лисенко М. М., 2012. – 200 с.
8. Лутченко Л.І. Основи педагогічного оцінювання : Навч.-метод. посіб. /
Л. І. Лутченко, Н. О. Пасічник. – Кіровоград : Лисенко В. Ф, 2012. – 72 с.
9. Гохберг Л. М. Системных развернутых исследований по наукометрии в
России не ведется / Леонид Маркович Гохберг, д.э.н., проректор ГУ ВШЭ,
директор Института статистических исследований и экономики знаний //
445
10.
11.
12.
13.
14.
15.
16.
17.
18.
Электронное издание «Наука и технологии России». – 2013. – C. 1024. URL:
http://www.informetrics.ru/pedia.
10. Грановский Ю. В. Можно ли измерять науку? // Электронный журнал
«Informetrics.ru». – 2013. – C. 2706. URL: http://www.informetrics.ru/index.php.
11. Куракова Н. Г. Наукометрия в оценке диссоветов / Куракова Наталия
Глебовна, д.б.н., директор Центра научно-технологической экспертизы
РАНХиГС при Президенте РФ // Электронное издание «Наука и технологии
России».
–
2013.
URL :
http://www.strf.ru/material.aspx?CatalogId=222&d_no=54402.
Трущелёв С. А. Методические подходы к анализу результатов научноисследовательской деятельности / С. А. Трущелёв, Р. Г. Оганов //
Рациональная фармакотерапия в кардиологии. – 2010. – Т. 6, № 5. – С. 623–
630.
Беспалько В. П. Слагаемые педагогической технологии / В. П. Беспалько. –
М.: Педагогика, 1989. – 192с.
Дахин А. Н. Педагогика для математиков: учебное пособие для студентов
НГПУ. / Дахин Александр Николаевич. – Новосибирск, 2006. – 147с.
Підласий І. П. Діагностика та експертиза педагогічних проектів. – К.:
«Україна», 1998. – 343 с.
Задорожная Н.М. Информационная система менеджмента научных
исследований в НАПН Украины / Наталия Тимофеевна Задорожная, Алексей
Александрович Каплун. // Международный электронный журнал
«Образовательные технологии и общество (Educational Technology &
Society)» – 2013. – V. 16. – № 1. – C. 679–698. – ISSN 1436-4522. URL :
http://ifets.ieee.org/russian/periodical/journal.html.
Морзе Н. В. Создание информационного образовательного пространства
региона как катализатор формирования ИК-компетенций учителей / Наталия
Викторовна Морзе, Галина Александровна Проценко // Международный
электронный журнал «Образовательные технологии и общество (Educational
Technology & Society)» – 2013. – V. 16. – № 1. – C. 787–799. – ISSN 14364522. URL : http://ifets.ieee.org/russian/periodical/journal.html.
Вешнева И. В. Математические модели в системе управления качеством
высшего образования с использованием методов нечеткой логики:
Монография. – Саратов: Изд-во «Саратовский источник», 2010. – 187 с.
446