close

Вход

Забыли?

вход по аккаунту

Тимофеев Артем Алексеевич. Разработка и проектирование системы онлайн тестирования на профпригодность.

код для вставки
МИНИСТЕРСТВО ОБРАЗОВАНИrI И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ
УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИrI
(ОРЛОВ СКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
имени И.С.
ТУРГЕНЕВА)
Факультет Физицо-математический
Кафедра ал.ебр,
"
rаrемаr"".
Направление (специапьность) 09.04.03
- Прикладная информатика
Направленность (профиль) Прикладная информатика в аналитической
экономике
УТВЕРЖДАЮ
п
(В.Д.Селютин)
(подпись)
<28> ноября
20t7 г.
зАдАниЕ
на выполнение выпускной квалификационной работы
студента Тимофеева Артёма Алексеевича шифр 165164
1. Тема ВкР. РАЗРАБоТкА
И
ПРоЕкТИРоВАНИЕ СИСТЕМы
OHJIAI)IH ТЕСТИРОВАНИrI НА IIРОФПРИГОДНОСТЬ
Утверждена прикЕlзом по университету от <21> ноября
2. Срок сдачи студентом законченно работы
З.
ИСХОДНЫе Данные
<<1>>
20]17 г. Ns
2-3369
июня 2018 г.
к работе. Теоретический материаJI,
техниrIеское
задание, база вопросов для проведения онлайн олимпиады.
4.
Содержание
ВКР
(перечень вопросов, подлежащих разработке).
Рассмотреть теоретические основы проблемы оценки профпрцгодности и
ион€LIIьнои
к
нтности пе
использовани
разработке тестовых систем для оценки уровня профессиональной
еленных по
5. Перечень графического матери€lла
б. Консультанты по
не предусмотрен
Вкр (с указанием относящихся к ним
рЕвделов) не
предусмотDены
,Щата
выдачи задания
<<29>>
на1^lный руководитель
Задание к исполнению
ноября 2017
r
йц
вкр
принял
Чернобровкина
(подпись)
"v-й/'
_
(подпись)
и.и.
(ФИО)
Тимофеев
д.д.
(Фио)
КАЛЕНДАРНЫЙ ПЛАН
наименование этапов
Срок выполнения
этапов работы
вкр
Литературный обзор
04.12.20|7-
Рассмотрение теоретических основ
дрqблемы
Из1.,rение подходов к
проектированию и разработке
18.I2.2017
Выполнено в срок
и полностью
28.12.20|7
Вьтполнено в срок
и полностью
20.|2.201715.01.2018з 1.01.2018
тестовых систем
Выявление основных принципов 05.02.2018построения систем тестирования
'
Примечание
19.02.2018
Выполнено в срок
и полностью
Выполнено в срок
и полностью
Анапиз существующих систем
тестирования
Проектирование и
2I.02.20L8-
Выполнено в срок
12.03.2018
И ПОJIНОСТЬЮ
разработка 14.03.20l8системы онлайн тестирования для 30.04.2018
оценки
профессиональной
пригодности и профессиональной
компетентности педагогов
||.|2.20|7-
02.03.2018
Студент
И ПОJIНОСТЬЮ
Вьшолнено в срок
И ПОJIНОСТЬЮ
Тимофеев А.А.
(подпись)
Науrный
Руководитель
Выполнено в срок
ВКР
{/rh*1
(подпись)
(ФИО)
чернобровкина и.и.
(ФИО)
2
АННОТАЦИЯ
Магистерская диссертация на тему «Разработка и проектирование системы
онлайн тестирования на профпригодность» содержит 78 страниц текста, рисунков
– 15, формул – 16, использованных источников – 35, приложений – 4.
Актуальность темы работы определяется наличием запроса от системы образования на разработку систем дистанционного тестирования для оценки профпригодности и профессиональной компетентности педагогических работников в соответствии с требованиями профессионального стандарта «Педагог» и задачами
Национальной системы учительского роста (НСУР).
Ключевые слова: профессиональная пригодность, профессиональная компетентность педагогов, тест, дистанционная система тестирования, проектирование и
разработка системы онлайн тестирования.
Цель исследования – спроектировать и разработать систему онлайн тестирования для оценки профессиональной пригодности и профессиональной компетентности педагогов. Объектом исследования являются подходы к оценке компетенций
педагогов средствами тестовых систем. Предмет исследования – потребительские
качества систем тестовых заданий для оценки уровня профессиональной пригодности и компетентности педагогов.
В ходе исследования проводился теоретический анализ литературы по проблеме выпускной квалификационной работы, изучались существующие тестовые
системы, проводилось моделирование систем тестирования, а также экспериментальная проверка разработанных систем на работоспособность.
Теоретическая значимость исследования состоит в определении научных
подходов к проектированию и разработке систем дистанционного тестирования
для оценки профпригодности и профессиональной компетентности педагогов в соответствии с современными требованиями, отраженными в профессиональном
стандарте «Педагог». Практическая значимость исследования заключается в проектировании и разработке системы дистанционного тестирования для оценки
профпригодности и профессиональной компетентности педагогов в соответствии с
3
современными требованиями, отраженными в профессиональном стандарте «Педагог». В магистерской диссертации представлено разработанное нами программное обеспечение с использованием фреймворка Laravel, позволяющее проектировать и проводить тесты, анализировать полученные результаты. ПО использовано
для проведения региональных олимпиад учителей начальных классов на базе БУ
ОО ДПО «Институт развития образования».
Разработанное программное обеспечение может использоваться для организации различных диагностических процедур в сфере профессиональной деятельности педагогических работников. Информационаая система может быть усовершенствованна и доработана для дальнейшего использования: возможно расширение за
счет дополнительных статистических модулей, добавления логики взаимодействия
агентов системы, а также создания новых типов вопросов и алгоритмов работы тестов.
4
СОДЕРЖАНИЕ
ВВЕДЕНИЕ............................................................................................... 5
Глава 1. Предпроектный анализ вопросов создания системы
онлайн тестирования профпригодности ...................................................... 8
1.1. Актуальность темы исследования .................................................... 8
1.2. Теоретические основы проблемы использования
онлайн тестирования для оценки профпригодности
и профессиональной компетентности педагогов ........................................... 13
1.3. Анализ существующих моделей и систем тестирования ............. 20
Глава 2. Проектирование системы онлайн тестирования
профпригодности............................................................................................. 29
2.1. Проектирование концептуальной модели ИС .............................. 29
2.2. Проектирование в рамках концепции MVC .................................. 35
2.3. Выбор фреймворка. Особенности разработки в Laravel .............. 36
Глава 3. Разработка системы онлайн тестирования
профпригодности ............................................................................................ 40
3.1. Структура базы данных и миграции Laravel ................................. 40
3.2. Структура бэкенда приложения ...................................................... 51
3.3. Разработка UI с использованием Bootstrap и Laravel Blade ........ 60
3.4. Апробация системы онлайн тестирования профпригодности
педагогов ........................................................................................................... 65
ЗАКЛЮЧЕНИЕ ..................................................................................... 73
СПИСОК ЛИТЕРАТУРЫ ................................................................... 75
ПРИЛОЖЕНИЕ .................................................................................... 79
5
ВВЕДЕНИЕ
В октябре 2013 года был утвержден профессиональный стандарт педагога
(далее – Стандарт). Являясь инструментом реализации стратегии образования, повышения его качества, объективным измерителем квалификации педагога, Стандарт задает ориентиры для оценки профессиональной пригодности и развития профессиональной компетентности учителя. Профессиональную пригодность педагога мы рассматриваем как совокупность психологических и психофизических
свойств, а также специальных знаний, умений и навыков, необходимых для достижения приемлемой эффективности труда [29]. Профессиональная компетентность
педагога – это проявляющаяся готовность к педагогической деятельности, отношение специалиста к делу, личностные качества, а также стремление к новому, творческому осмыслению своей работы.
В настоящее время в рамках формального обучения как инструмент вводной
и итоговой диагностики, оценки уровня знаний и компетенций будущих и действующих педагогов, в процессе аттестации педагогических работников широко применяется тестирование. Тестирование является одним из методов оценки психолого-педагогической компетенции в рамках оценочных процедур созданной по
приказу президента Российской Федерации В.В. Путина Национальной системы
учительского роста. Предполагается, что тесты по профильному направлению станут обязательной частью процедуры по оценке профпригодности педагогов.
Тестовые системы в образовании обеспечивают: накопление информации о
процессе тестирования каждого испытуемого (учет времени тестирования, статистику результатов, рейтинг и др.); большой объем банка заданий, распределенных
по уровням сложности; расчет статистических характеристик и показателей надежности функционирования тестовых заданий; динамическую оценку знаний испытуемого при любой системе оценивания; уменьшение доли субъективизма при
оценке результатов освоения дисциплины испытуемым и др. [9].
Проблемой проведения тестирования как средства контроля и оценки знаний
обучающихся на разных уровнях основного общего и профессионального образо-
6
вания занимались В.С. Аванесов, В.И. Васильев, Д. Вейса, К.Х. Калугян, П.И. Канивец, М.Б. Челышкова и другие. Задачу о моделировании информационных процессов изучали А. Боггс, Г. Буч, А.М. Вендрова, А.В. Леоненков, Д. Рамбо, Г.Н.
Хубаев. Но на сегодняшний день не существует научно и общественно признанных
математико-статистических моделей измерения педагогических компетенций и систем тестирования в условиях дополнительного профессионального образования,
призванного решать задачи НСУР. Этим определяется актуальность разработки
тестовых систем для оценки профпригодности и профессиональной компетентности педагогических работников в соответствии с требованиями профессионального
стандарта «Педагог», и процедурами НСУР.
Отсутствие комплексных разработок систем тестирования, позволяющих
оценить качество педагогической деятельности в соответствии с современными
требованиями определяет возникновение противоречия между запросом системы
образования на разработку процедур оценивания профессиональной пригодности
и профессиональной компетентности и отсутствием адекватных ему моделей и методов тестирования. Данное противоречие позволяет сформулировать проблему
исследования – какие базовые принципы могут быть положены в основу проектирования и разработки систем онлайн тестирования для оценки профессиональной
пригодности и профессиональной компетентности педагогов, отвечающих запросам системы образования.
Цель исследования – спроектировать и разработать систему онлайн тестирования для оценки профессиональной пригодности и профессиональной компетентности педагогов.
Объектом исследования являются подходы к оценке компетенций педагогов средствами тестовых систем.
Предмет исследования – потребительские качества систем тестовых заданий для оценки уровня профессиональной пригодности и компетентности педагогов.
Для достижения поставленной цели необходимо решить следующие задачи:
- рассмотреть теоретические основы проблемы оценки профпригодности и
7
профессиональной компетентности педагогов с использованием систем дистанционного тестирования;
- изучить подходы к проектированию и разработке тестовых систем для
оценки уровня профессиональной компетентности педагогов, виды тестов, атрибуты их качества;
- выявить основные принципы построения систем тестирования;
- проанализировать существующие системы тестирования, выявить их достоинства и недостатки;
- на основе выделенных подходов спроектировать и разработать систему онлайн тестирования для оценки профессиональной пригодности и профессиональной компетентности педагогов;
- апробировать разработанную систему онлайн тестирования для оценки профессиональной компетентности педагогов начального общего образования.
Структуру работы: введение, основная часть, заключение и список литературы. Во введении обоснована актуальность выбранной темы работы, сформулирована цель и соответствующие ей объект и предмет исследования, представлены
задачи, которые необходимо решить, описана структура работы.
В основной части работы рассмотрены подходы к проектированию и разработке тестовых систем для оценки профессиональной пригодности и уровня профессиональной компетентности педагогов, виды тестов, атрибуты их качества (системность, целостность, время прохождения, содержание теста, валидность, эффективность и др.). Нами выявлены основные принципы построения тестовых систем,
сильные стороны и недостатки существующих теорий тестирования, выделены базовые подходы к построению компьютерных тестовых систем (КТС), направления
дальнейшего изучения проблемы оценки и повышения их качества. В работе представлены результаты исследований, посвященных анализу различных тестовых систем, выделены их функции, достоинства и недостатки существующих КТС.
Список литературы содержит источники, анализ которых позволил выявить
актуальное состояние изучаемой проблемы, наметить направления исследования,
определить его теоретические основы, собрать необходимую информацию.
8
ГЛАВА 1. ПРЕДПРОЕКТНЫЙ АНАЛИЗ ВОПРОСОВ СОЗДАНИЯ
СИСТЕМЫ ОНЛАЙН ТЕСТИРОВАНИЯ ПРОФПРИГОДНОСТИ
1.1.
Актуальность темы исследования
Современный период развития российского образования характеризуется
наличием сложных задач в связи с присоединением России в 2003 году к Болонскому процессу и необходимостью повышения доступности качественного образования, соответствующего требованиям инновационного развития экономики, современным потребностям общества и каждого гражданина [21]. В период с 2000
года Министерством образования и науки РФ был принят ряд важных стратегических документов:
– Концепция модернизации российского образования (2002, 2011);
– Концепция профильного обучения на старшей ступени общего образования
(2002);
– Федеральная целевая программа развития образования (2006, 2011);
– Комплексный проект модернизации образования (2007);
– Национальная образовательная инициатива «Наша новая школа» (2010);
– Федеральные государственные стандарты общего образования (2009, 2010,
2012, 2013) [30];
– Указ Президента РФ от 1 июня 2012 г. N 761 «О Национальной стратегии
действий в интересах детей на 2012–2017 годы» в части создания мер, по созданию
общероссийской системы оценки качества образования;
– Государственная программа Российской Федерации «Развитие образования» на 2018—2025 годы.
Модернизация образования предполагает выдвижение в качестве основных
следующие направления деятельности:
– повышение квалификации педагогических и руководящих работников системы образования в области распространения моделей образовательных систем,
обеспечивающих современное качество общего образования;
9
– повышение квалификации специалистов для реализации федерального государственного образовательного стандарта общего образования, внедрение в связи
с этим персонифицированных моделей повышения квалификации, подразумевающих повышение квалификации, обеспечивающее возможность выбора обучающимися работниками образования индивидуальных образовательных программ, финансирование которых осуществляется из средств бюджета субъекта РФ;
– создание площадок для обучения и повышения квалификации управленческих кадров и специалистов, обеспечивающих распространение различных моделей успешной социализации детей [18].
Как отмечает Л.Ф. Савинова, в общей стратегии инновационного развития
страны как никогда ранее востребован педагог, быстро реагирующий на изменения,
происходящие в обществе, мобильный, способный участвовать в инновационной
деятельности, критически мыслить, умеющий ориентироваться в нестандартных
ситуациях, стремящийся к непрерывному личностному и профессиональному росту [24, с. 2]. В отечественной системе повышения квалификации, как и во всем
мире, происходит переоценка содержания обучения, организации образовательного процесса, моделей обучения [24, с. 4].
Необходимость повышения уровня качества образования, потребность в
адаптации образовательной системы к стремительно и существенно меняющемуся
миру предопределяют изменение требований к результатам подготовки обучающихся. Обеспечение этих результатов детерминируется качеством профессиональных компетенций педагогических работников. В рамках проводимых исследований
рассматриваются отдельные характеристики профессиональных компетенций педагогов, не дается их качественная оценка, не предлагаются подходы к определению профессиональной пригодности будущих и действующих специалистов в
сфере образования. Вместе с этим, очевидно, что разработка подходов к качественной и количественной оценке уровня профессиональной компетентности позволит
определить направления ремидиации педагогического профессионализма.
В нашем исследовании мы опираемся на современные определения и харак-
10
теристики понятий «профессиональная пригодность» и «профессиональная компетентность». Профессиональная пригодность — совокупность психологических и
психофизических свойств, а также специальных знаний, умений и навыков, необходимых для достижения приемлемой эффективности труда. В понятие профпригодности также входит удовлетворение, переживаемое человеком в процессе самого труда и при оценке его результатов.
Профессиональная пригодность включает отдельные функциональные системы и психические процессы человека (профессиональное восприятие, память,
мышление и пр.), а также личность специалиста. Профессиональная пригодность
для конкретной деятельности базируется на определенных психологических, психофизиологических, антропологических, медицинских и др. критериях. Для определения уровня профпригодности используется разнообразный арсенал диагностических средств: психологические тесты достижений, тестирование профессионально важных психофизиологических и психических функций, методики изучения мотивации, ценностных ориентаций и др. [29].
Профессиональная компетентность педагога – это проявляющаяся готовность к педагогической деятельности, отношение специалиста к делу, личностные
качества, а также стремление к новому, творческому осмыслению своей работы.
Она представляет собой сложное и многогранное явление и определяется не только
профессиональными базовыми знаниями и умениями педагога, но и ценностными
ориентациями мотивами его деятельности, пониманием им себя и окружающего
мира, стилем взаимоотношений с людьми, с которыми он работает, его общей культурой, и способностью к развитию своего творческого потенциала.
23 декабря 2015 года в Кремле прошло заседание Государственного совета
Российской Федерации по вопросам повышения профессионального уровня педагогических работников. В связи с чем, целях совершенствования технологий и методик преподавания учебных предметов в условиях введения ФГОС особую актуальность приобретают вопросы подготовки педагогических кадров и повышения
их квалификации. По итогам этого заседания, В.В. Путин поручил обеспечить фор-
11
мирование национальной системы учительского роста, направленной, среди прочего, на установление для педагогических работников уровней владения профессиональными компетенциями, подтверждаемыми результатами аттестации [15, с. 9].
С июля 2017 года Министерством образования и науки Российской Федерации в рамках НСУР осуществляется работа по подготовке наборов единых федеральных оценочных материалов (ЕФОМ) для уровневой оценки педагогов. Они
позволят оценить уровень владения учителями предметными, методическими, психолого-педагогическими, информационно-коммуникативными компетенциями.
Система уровней профессиональных компетенций и единый механизм
оценки уровня владения ими важен, в том числе, для использования результатов
подобной оценки в повышении квалификации и профессиональном развитии педагогических кадров. Существенным вопросом является повышение объективности
и надежности результатов уровневой оценки квалификации педагогов с использованием ЕФОМ. С учетом проведенной апробации следует минимизировать использование процедур и технологий, не обеспечивающих валидность и надежность,
объективность результатов, особенно в части методической и психолого-педагогической компетентности. Массовость подобных оценок не исключает необходимости принимать во внимание, что речь идет об оценочных процедурах «с высокими
ставками» для учителя [23].
В настоящее время в системе дополнительного профессионального образования тестирование применяется в рамках формального обучения как инструмент
вводной и итоговой диагностики, оценки уровня знаний и компетенций педагогов
в процессе аттестации. Тестирование является одним из методов оценки психолого-педагогической компетенции в рамках оценочных процедур НСУР. Предполагается, что тесты по профильному направлению станут обязательной частью процедуры по оценке профпригодности педагогов.
Построение национальной системы учительского роста требует разработки
надежного диагностического инструментария для выявления профессиональных
затруднений педагогов и программ обучения, поддержки самообразования учителей, отвечающих современным требованиям.
12
Важным этапом процесса целенаправленного развития профессиональной
компетентности учителя является определение ее уровня на основе надежных критериев. Значительным потенциалом для решения задачи выявления, существующего у педагога уровня профессиональной компетентности, обладают получившие
широкое распространение профессиональные онлайн олимпиады. При определенных условиях подобные олимпиады могут стать как эффективным способом самоаудита, так и действенным инструментом внешней оценки соответствия компетенций учителя требованиям профессионального стандарта «Педагог. Содержательной и критериальной основой при разработке заданий олимпиады должны
стать выделенные в Стандарте компетенции педагога [27].
Внедрение профессионального стандарта «Педагог», разработка процедур
оценки качества профессиональной деятельности педагогов в рамках НСУР актуализируют поиск новых форм оценки знаний и компетенций специалистов в сфере
образования. Предполагается, что первый (базовый) уровень предметной и методической компетенций педагогов будет устанавливаться преимущественно на основе выполнения заданий с автоматической проверкой ответа. Компьютерный тест
должен содержать систему тестовых компетентностно-ориентированных заданий,
разработанных для всей совокупности владений (опыта, действий) или умений,
обозначенных в паспортах компетенций; содержание тестовых заданий должно
быть направлено на оценку внешних проявлений владения ею (действий) и умения
применять компетенцию на практике; совокупность тестовых заданий обеспечивает свободный выбор комплекта заданий в разных вариантах.
Таким образом, анализ ситуации показал, что в разработке системы оценки
качества профессиональной деятельности педагогов значительное место занимают
системы тестирования. Вместе с этим, на данном этапе нет теоретических работ,
посвященных проблеме оценке качества подобных систем. В литературе представлены результаты исследований по проблемам проведения тестирования как средства контроля и оценки знаний обучающихся на разных уровнях основного общего
и профессионального образования (В.С. Аванесов, В.И. Васильев, Д. Вейса, К.Х.
Калугян, П.И. Канивец, М.Б. Челышкова и др.), моделирования информационных
13
процессов (А. Боггс, Г. Буч, А.М. Вендрова, А.В. Леоненков, Д. Рамбо, Г.Н. Хубаев
и др.). Отсутствие научно и общественно признанных математико-статистических
моделей измерения педагогических компетенций [4, с. 39], тестовых систем для их
оценки актуализирует необходимость изучения существующих теоретических подходов к проектированию и разработке систем онлайн тестирования.
1.2. Теоретические основы проблемы использования онлайн тестирования
для оценки профпригодности и профессиональной компетентности педагогов
Вопросам проведения тестирования, контроля и оценки знаний посвящены
работы В.С. Аванесова, В.И. Васильева, Д. Вейса, К.Х. Калугян, П.И. Канивца, Дж.
Раша, Т.Н. Тягуновой, М.Б. Челышковой и др.
Тест (от англ. test – проба, испытание, исследование) – стандартизированные
задания, результат выполнения которых позволяет измерить личностные характеристики, а также знания, умения и навыки испытуемого [6]. Среди тестов, используемых как методов определения профпригодности и развития сотрудников, различаются две категории:
- тесты, созданные для оценки эффективности исполнения работы, профессиональных знаний и умений;
- тесты, созданные для оценки черт характера и свойств (специальных способностей), которые способствуют эффективному исполнению работы.
Тест, как система, обладает составом, целостностью и структурой, состоит из
заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов [28]. Рассмотрение теста как системы определяется идеей измерения с его помощью некоего системного образования (компетенции, уровня знаний и т.д.). Целостность означает взаимосвязь заданий, их принадлежность общему измеряемому фактору. Каждое задание теста
выполняет отведенную ему роль и потому ни одно из них не может быть изъято из
теста без потери качества измерения [9]. Структура теста (чаще всего используется
факторная структура) определяется взаимосвязями заданий теста, единством их содержания. Соблюдений данных требований к тесту определяет его гомогенность,
14
позволяет оценить заданное качество (свойство).
ГОСТ 17369-85 «Единая система классификации и кодирования технико-экономической информации. Термины и определения» выделяет основные формы и
виды тестов. Тесты различаются по форме, результату, содержанию и другим параметрам. На основе данной классификации можно осознанно выбрать вид теста в
соответствии с целями и задачами оценки качества профессиональной деятельности, профессиональной компетентности.
Анализ литературы позволил выделить такие группы тестов:
- по процедуре: стандартизированные, нестандартизированные;
- по средствам: бланковые, аппаратурные, предметные;
- по количеству людей: индивидуальные, групповые;
- по форме ответа: устные, письменные;
- по ведущей ориентации: тесты-скорости, тесты-мощности, смешанные;
- по степени однородности задач: гомогенные, гетерогенные;
- по характеру действия: вербальные, невербальные;
- по направленности: тесты на интеллект, личностные тесты, тесты достижений (узкоориентированные, широкоориентированные);
- по виду нормирования: нормированно-ориентированные, критериальноориентированные, прогностические, ненормированные;
- по характеру ответов: открытого типа (задания-дополнения, свободное изложение), закрытого типа (альтернативные, множественный выбор, исключения
лишнего, последовательности);
- по результату: учебные проверки (текущая аттестация, промежуточная аттестация, итоговая аттестация (классификационная, квалификационная)), конкурсные испытания (критериальная ориентация, выборочная ориентация, социальная
ориентация) [2, 28, 20].
Важным для повышения потребительского качества тестовой системы является понятие «адаптивного тестирования», определяемого как компьютерное тестирование, приспосабливающееся к возможностям экзаменующегося, последовательная форма тестирования, при которой последующие пункты (задания) теста
15
выбираются в зависимости от ответов на предыдущие пункты (задания). Адаптивное тестирование также рассматривается как вариант автоматизированной системы
тестирования, в которой заранее известны параметры трудности и дифференцирующая способность каждого задания, что позволяет реализовать алгоритм адаптации. Для обеспечения эффекта адаптивности создаются компьютеризованные системы научно обоснованной проверки и оценки результатов обучения, обладающие
высокой эффективностью за счет оптимизации процедур генерации, предъявления
и оценки результатов выполнения тестов [20].
В основе адаптивного тестирования лежат принципы последовательного анализа (А. Вальд и др.). Создание подобных тестовых систем ограничивает комплекс
заданий параметрами, определяемыми способностями испытуемого и областью измеряемых величин. Данный эффект обеспечивается ранжированием заданий на основе проведения предварительного тестирования и выявления соотношения правильных ответов [33].
Научные основы для создания систем адаптивного тестирования связаны с
математическими моделями поведения объектов, современной теорией тестирования, методологией латентного структурного анализа, технологиями компьютерного адаптивного тестирования (КАТ) [34, 35]. На современном этапе разработаны
программы для создания тестовых систем компьютером в реальном режиме времени. Задача компьютера – выбор из банка очередного задания по сложности на
основе результатов тестируемого. Задания в этом банке градуируются с использованием ПТГ-методов, реализованных на уровне программного обеспечения. Таким
образом, тест, по сути, сам адаптирует себя к заданным условиям. Основная задача
использования технологий КАТ – создание тестовой системы, демонстрирующей
идентичную валидность и надежность в отношении всего диапазона тестируемого
содержания [8].
Среди систем адаптивного тестирования различают:
1) пирамидальное тестирование;
2) flexi level-тестирование – случайное тестирование;
3) stradaptive тестирование – тестирование по возрастающей сложности.
16
Пирамидальное тестирование. Этап 1 – все тестируемые получают аналогичные задания, уровень сложности – средний. Этап 2 – в зависимости от результата выполнения заданий на предыдущем этапе испытуемый получает либо более
сложное, либо более простое задание.
Flexi level-тестирование. Не существует единого подхода к начальному
уровню трудности заданий.
Stradaptive-тестирование. Последующее задание отличается от предыдущего на один шаг по трудности.
На основе изучения исследований, посвященных проблемам разработки и
оценки КТС, можно выделить функции адаптивного тестирования.
Функции адаптации процесса тестирования:
установка диапазона количества вопросов в тесте;
- установка или выбор отправной точки (тестируемому устанавливается уровень знаний, определенный в предыдущих испытаниях);
- обратная связь (отбор заданий строится, когда при правильном ответе тестируемого очередное задание выбирается более трудным, а неверный ответ влечет
за собой предъявление последующего более легкого задания);
- получение уникального варианта прохождения теста (отбор заданий строится без повторов между испытуемыми группы тестируемых);
- выбор приоритетных вопросов тестируемым;
- установка контрольных точек тестирования (промежуточный контроль, осуществляемый через установленное количество вопросов);
- установка критерия завершения (когда точность оценки достигает статистически приемлемого уровня, или выдано максимальное число вопросов, или когда
тестируемый выходит на некоторый постоянный уровень сложности);
- вычисление стандартной ошибки при тестировании (представляет ошибку,
связанную с оценкой способности, рассчитанную после каждого этапа испытания);
- создание свода правил (например, «если правильность ответов на легкие задания высокая, на задания средней сложности высокая и на сложные задания высокая, то оценка отлично»);
17
- использование векторного оценивания (оценка проставляется на каждом
уровне знания);
- формирование промежуточных оценок (позволяет исключить случайность
ответов тестируемых и динамически оценивать тестируемого на каждом вопросе);
- установление количества угаданных ответов тестируемым и количества
сделанных им случайных ошибок;
- формирование оценки (полученная оценка масштабируется с учетом выбранного при настройке теста диапазона изменения оценок и полученных результатов);
- расчет вероятностей соответствия уровня знания тестируемого той или иной
оценке;
- определение уровня успешности освоения дисциплины тестируемым
(уровня соответствия компетенций педагога требованиям Стандарта);
- выявление проблемных областей тестируемого;
- дополнительная диагностика (задание дополнительных вопросов по темам,
которые тестируемый знает плохо, для более точного выяснения уровня знания в
данных областях).
Функции адаптации банка заданий:
- формирование банка заданий (формируется на основе функций «Объединение вопросов в темы» и «Калибрование вопросов в баллах»);
- использование фасетности (запись возможных параллельных вариантов задания в банке заданий для увеличения общего количества вопросов в тесте);
- ассигнование времени или распределение (каждому вопросу можно устанавливать время на ответ, регулируя при этом его уровень сложности);
- расчет показателей качества тестовых заданий;
- статистические показатели вариации (математическое ожидание (отношение среднего арифметического количества правильных ответов по тестовому заданию ко всем вопросам банка заданий), дисперсия (показывает меру разброса, отклонение тестовых результатов от математического ожидания), коэффициент вариации (показывает, какую долю среднего значения количества правильных ответов
18
составляет их средний разброс), позволяющие делать вывод о близости к нормальному закону распределения вопросов адаптивного теста;
- коэффициент корреляции, направленный на проверку гипотезы о связи
между тестовыми вопросами и общим результатом теста;
- коэффициент надежности (характеристики теста, которые показывают,
насколько точны его измерения и насколько устойчивы результаты измерения к
действию случайных факторов) [9].
Функционирование адаптивной системы тестирования осуществляется за
счет изменении ее параметров и структуры. Для разработки КАТ предварительно
опытным путем выявляется трудность тестовых заданий, проводится обработка результатов с использованием методов дисперсионного анализа и теории тестирования для определения надежности, валидности, дифференцирующей способности и
трудности [28]. Путем предъявления испытуемому в определенной последовательности задач разного уровня сложности определяется средний уровень трудности.
Поскольку понятия «трудность», «уровень знаний», «способности испытуемого» не могут быть строго определены, для их формализации применяют аппарат
нечетких множеств. В качестве единицы измерения трудности предлагается использовать «логит трудности» заданий, определяемый из выражения
ln(qj/pj) (1),
где берется значение натурального логарифма отношения доли неправильных к доле правильных ответов на задание j, определяемых по множеству испытуемых. Единицей измерения знаний является «логит знаний»
ln(pi/qi) (2),
где pi – доля правильных ответов тестируемого i, а qi – доля неправильных
ответов [8].
В своей работе мы не рассматриваем качества теста, связанные с его содержанием. Мы будем оценивать такие критерии качества как валидность и надежность [2, 5, 10, 31, 32]. Валидность означает пригодность тестовых результатов для
той цели, ради чего проводилось тестирование. Валидность зависит от качества за-
19
даний, их числа, от степени полноты и глубины охвата содержания области профессиональной деятельности. Кроме того, валидность зависит также от баланса и
распределения заданий по трудности, от метода отбора заданий в тест из общего
банка заданий, от интерпретации тестовых результатов, от организации сбора данных, от подбора выборочной совокупности испытуемых [9].
Надежностью называется такая характеристика теста, которая показывает,
насколько точны его измерения и насколько устойчивы результаты измерения к
действию случайных факторов. Следовательно, тест надежен, если он обеспечивает
высокую точность измерений и если результаты измерений устойчивы к действию
внешних факторов (места и времени тестирования, состава тестируемых и т.д.)
[16].
Также исследователями рассматривается понятие «эффективность теста».
Эффективным можно назвать тест, который лучше, чем другие тесты, измеряет
оцениваемые параметры с использованием меньшего числа заданий, качественнее,
быстрее, дешевле, и все это, по возможности, в комплексе [13]. Можно выделить и
другие аспекты, определяющие эффективность теста: соответствие уровня сложности реальным возможностям испытуемых, соблюдение базовых принципов подбора заданий.
Разработчики содержания тестовых заданий должны учитывать такие критерии отбора содержания тестового материала как соответствие цели, значимость,
научная достоверность, репрезентативность, возрастающая трудность учебного материала, вариативность, системность, комплексность и сбалансированность содержания, взаимосвязь содержания и формы [1, 6, 7, 11, 12, 14, 17, 19]. Содержательная
валидность теста проверяется экспертами на этапе сертификации тестовых заданий
[8].
Из всех атрибутов теста для разработчиков компьютерных систем тестирования наиболее важными являются: описание спецификации тестовых заданий; принципы выбора структуры банка тестовых заданий; установление среднего времени
выполнения каждого задания; подготовка тестовых заданий и заключений на них
20
для ввода в банк тестовых заданий; установление показателей верности и объективности; разработка инструкций для испытуемых, испытующих и администратора
тестирующей системы; установление соотношения тестовых заданий по видам;
корректировка эргономических характеристик заданий; выбор и установка интервалов качества шкалы оценивания; описание технологии и организации тестовых
проверок; проведение предварительного компьютерного тестирования, сбор эмпирических данных по результатам репрезентативного отбора тестируемых, констатация показателей качества оценки; установка тестовых заданий на сервер вычислительной сети.
1.3. Анализ существующих моделей и систем тестирования
Актуальные направления оптимизации тестов как инструмента оценки качества образования – сокращение временных затрат на их разработку и обработку
результатов, повышение точности их оценивания, расширение спектра оцениваемых параметров, увеличение контингента испытуемых, индивидуализация процедуры контроля.
Работу по построению модели системы тестирования целесообразно начать с
изучения существующих в данной сфере подходов. Все современные подходы основаны на двух теориях тестирования: СТТ (классическая теория тестирования –
Classical Test Theory) и IRT (современная теория тестирования – Item Response
Theory) [2, 28, 20].
Отличия IRT и методом ЛСА состоят в алгебраической трактовке последнего, не требующей нормального закона распределения для плотности вероятности
ошибки вычисления уровня учебных достижений тестируемых в любой точке латентного континуума, а также в возможности применения функции распределения
вероятности получения корректного заключения на требования программно-дидактических тестовых заданий различной формы [28].
Выявленные нами в ходе анализа недостатки СТТ – зависимость результата
испытуемых от сложности теста, разная достоверность тестовых баллов для разных
21
экзаменуемых – определили выбор IRT в качестве теоретической основы разработки тестовой системы. Выделяют следующие преимущества IRT: получаемые
при тестировании баллы обучаемых определяются ненаблюдаемыми переменными
(латентными параметрами); характеристики заданий не зависят от группы экзаменуемых; оценки способностей обучаемых не зависят от используемого теста; итерационная процедура нахождения оценок параметров позволяет по-разному оценивать разные по сложности задания [8].
В рамках IRT выделяют несколько моделей. Рассмотрим три из них: модель
Раша (1960, Rasch, 1PL), двухпараметрическая и трехпараметрическая модели Бирбаума (Birbaum, 2PL) для дихотомических данных.
Модель Раша (1960, Rasch, 1PL) для дихотомических данных:
 = exp( −  )/ (1 + ( −  )) (3)
Вероятность успеха зависит только от разницы между уровнем способности
и сложностью задания.
Модель Раша не позволяет заданиям различаться по дискриминации: задания
можно расположить только по уровню их сложности.
Достоинства модели Раша по сравнению с другими моделями IRT:
1. Простота.
2. Для оценивания параметров не требуется никаких предположений и достаточно только сырых данных. В других моделях IRT необходимы дополнительные
ограничения для контроля взаимодействия параметров.
3. Минимальные полезные данные: 4 задания для 10 человек. Для других моделей IRT необходимо не менее 1000 человек.
4. Данные для стабильных оценок: 20 заданий для 200 человек. Для других
моделей IRT: не существует.
Двухпараметрическая модель Бирбаума (Birbaum, 2PL) для дихотомических данных:
 = exp ( ∗  ∗ ( −  )) / (1 +  ∗  ∗ ( −  )) (4),
где aj – различающая способность (дискриминация задания), D - константа
22
шкалирования (обычно, 1,7), используемая для того, чтобы сделать распределение
близким к нормальному.
Трехпараметрическая модель Бирбаума (Birbaum, 3PL) для дихотомических данных:
 =  + (1 −  ) ∗ exp ( ∗  ∗ ( −  )) / (1 +  ∗  ∗ ( −  )) (5),
где aj – различающая способность (дискриминация задания), cj – вероятность
угадывания правильного ответа на j-е задание. Иногда также cj называют уровнем
псевдо-успеха, то есть вероятностью ответить на задание правильно для экзаменуемых с минимальной способностью.
Свойства моделей Раша и Бирбаума:
- очевидно, что если с = 0, то получается двухпараметрическая модель Бирбаума; а если с = 0, а = 1, то модель Раша;
- в тестах, где экзаменуемому предлагается выбрать правильный ответ из нескольких возможных, и где есть существенная вероятность случайного выбора правильного ответа, использование трех параметров может увеличить соответствие
между данными и моделью;
- чем выше b, тем сложнее задание; в идеале, среднее должно быть нулем,
показывая, что кандидаты и вопросы примерно одной сложности/способности;
- чем выше дискриминация, тем лучше задание (оно повышает надежность
теста); значения ниже 0,3 следует считать подозрительными;
- чем выше с, тем больше угадывание влияет на результат теста. Если в задании есть п возможных вариантов ответа, то с = 1/n.
Оценка латентных параметров:
1. Используется метод максимального правдоподобия. Для теста из n заданий
и N кандидатов, необходимо оценить 3n+N параметров для 3PL, 2n+N для 2PL и
n+N параметров для 1PL.
2. Необходимо исключить экзаменуемых, которые ответили на все вопросы
правильно или на все неправильно.
3. Начальное значение параметра способности устанавливаем как ноль, или
23
как отношение правильных ответов по всем зданиям к неправильным, нормированное к среднему 0 и стандартному отклонению 1:
Θ 0 =  ∗ ln( /(1 −  )), i = 1,2 …n (6),
где N — число обучаемых, рi - число правильных ответов i-го обучаемого на
все задания теста.
4. Начальное значение параметра сложности задания устанавливаем как ноль,
или как отношение неправильных ответов всех экзаменуемых по этому зданию к
правильным, нормированное к среднему 0 и стандартному отклонению 1:
b 0 =  ∗ ln((1 −  )/ ), i = 1,2 …n,
где n - число заданий, рj – число правильных ответов всех обучаемого на j-ое
задание теста.
5. Для нахождения оценок значений параметров используется итеративная
процедура Ньютона-Ральфсона. Например, для модели Раша формулы имеют вид:
Θ = Θ 0 + 4 ∗ ( − ∑ )/, (7)
b = b 0 + 4 ∗ ( − ∑ )/, (8)
Где ∑  = ∑ 1 / (1 + (θ 0 − b 0 )) , ∑  = ∑ 1 / (1 + (θ 0 − b 0 )), (9)
 – балл i-го экзаменуемого,  – сумма баллов всех экзаменуемых по j-му
заданию.
6. Проверка достижения необходимой точности :
|Θ − Θ 0 | <  (10)
|b − b 0 | <  (11)
7. Если требуемая точность не достигнута, то повторяем шаги 5 и 6, подставляя вместо Θ 0 и b 0 значения, полученные на предыдущем шаге, пока неравенства
не будут выполнены.
8. Для экзаменуемых с экстремальным баллом 0 вычисляем Ɵ, используя
шаги 5, 6 и 7, с xi = 0,25. Для экзаменуемых с экстремальным баллом n вычисляем
Ɵ, используя шаги 5,6 и 7, с xi = n - 0,25.
24
9. Для нормально распределенных данных: стандартные ошибки оценок персональной способности и сложности задания оцениваются соответственно (включая случаи xi = 0,25 и xi = n - 0,25).
Θ ≈ 1/√(∑ (1/ (1 + ( −  )))) (1 − 1/ (1 + ( −  ))) (11),
Θ ≈ 1/√(∑ (1/ (1 + ( −  )))) (1 − 1/ (1 + ( −  ))) (12)
10. На практике мера способности не удобна, так как она может меняться
между ±∞, что трудно сопоставить с тестовым баллом. Поэтому обычно используется ее линейная трансформация, которая дает значения между 0 и максимальной
оценкой теста. Например:
 ∗ =  ∗ ( )/(1 + ( )) (13), где T – максимальный балл теста.
В отличие от ССТ, где используются описательные статистики, полезность
моделей современной теории тестирования зависит от того, насколько они подходят к данным. Гамбельтон и Шваминазан (Hambleton and Swaminathan, 1985) предположили, что мера того, насколько модель подходит к данным, основывается на
трех типах свидетельств:
1. Выполнение предположений для данных:
- одноразмерность. Измеряется ковариация заданий и итогового балла теста.
Если она отрицательна, то, вероятно, предположение нарушено (McDonald, 1981);
- угадывание минимально (для 1PL и 2PL). Если наблюдаемый уровень правильных ответов экзаменуемых с самым низким уровнем способностей на наиболее сложных заданиях близок к нулю, то предположение верно;
- все задания имеют одинаковую дискриминацию (для 2PL). Корреляция
между заданиями и итоговым баллом должна быть однородной;
- тест решался, то есть экзаменуемый не писал ответы наугад. Если отношение дисперсии числа пропущенных заданий к дисперсии числа неверно отвеченных
заданий близко к нулю, то предположение верно (Gulliksen, 1950);
2. Степень, в которой обнаружены ожидаемые свойства:
- инвариантность оценок параметров заданий. Если разница между оценками
25
параметров, полученными при использовании различных групп экзаменуемых, не
превышает ошибок измерения, то предположение верно (Wright, 1968);
- инвариантность оценок параметров способностей. Если разница между
оценками параметров, полученными при использовании различных частей теста,
не превышает ошибок измерения, то предположение верно (Wright, 1968);
3. Точность предсказаний модели. Проверка производится при помощи нормированных остатков:
 = ( − ( )) /√(( )) ∗ (1 − ( )) / (14)
где i – номер задания, j – уровень способности, Nj – число экзаменуемых
уровня способности Pij - наблюдаемая доля правильных ответов на задание i кандидатов уровня способности j, М(Pij) – его математическое ожидание. Если наблюдаемые данные соответствуют модели, то zij распределены более или менее случайно со средним 0 и дисперсией 1:
 = ∑  2  ,  ~ 2 (15)
с m-k числом степеней свободы, где m – число интервалов по уровням способности, k – число параметров в модели.
Ниже изложены основные возможности создания тестов в рамках классической и современной теории тестирования.
CTT
Основная задача теста:
Получить значение истинного балла (Т) испытуемого исходя из наблюдаемого результата (X), с учётом случайной ошибки измерения (Е), откуда вытекает
основной постулат классической теории тестирования:
Хj=Тj+Еj (16)
Возможности:
Извлечь первичную информацию о тесте, на основании матрицы результатов
апробационного тестирования, а именно:
1) оценить статистическую сложность заданий;
2) интеркорреляцию между заданиями теста и корреляцию баллов заданий и
26
внешнего критерия (суммы баллов испытуемых), для определения валидности тестовых заданий;
3) оценить качество теста на основе графического вида кривой распределения
тестовых баллов испытуемых;
4) получить оценку надёжности результатов тестирования посредством корреляционного анализа баллов испытуемых по тесту, либо по нескольким его вариантам;
5) построить доверительный интервал, в пределах которого находится истинный балл испытуемого, либо получить точечную регрессионную оценку;
6) интерпретировать результаты в терминах выбранной шкалы, либо процентильной шкалы, то есть определить место (рейтинг) испытуемого в выборке.
IRT
Основная задача теста:
Получить устойчивую объективную оценку латентного параметра уровня
знаний испытуемого по исследуемому предмету, независящую от конкретного теста.
Возможности:
1) установление связи между латентными параметрами испытуемых и наблюдаемыми результатами выполнения теста; наблюдаемые результаты выполнения
теста порождаются взаимодействием двух множеств латентных параметров теста:
уровнем знаний испытуемых и трудности заданий;
2) параметры уровня знаний испытуемого и трудности заданий теста отображаются в единую шкалу логитов, что позволяет реализовать идею адаптивного тестирования, когда для каждого испытуемого (с конкретным уровнем знаний) отбираются задания определённой сложности;
3) существует возможность помимо стандартных критериев качества, ввести
новый критерий – эффективность теста, путём введения особого класса информационных функций, посредством которых происходит оценка количества информации, обеспечиваемое j-м заданием при уровне знаний Ɵj;
27
4) реализована возможность применения не только рейтинговой, но и интервальной шкалы, а это значит, что уровень подготовки можно оценить количественно.
Анализ возможностей классической и современной теорий тестирования позволяет выявить достоинства и недостатки каждой из них. Мы полагаем, что необходимо использовать интегральный вариант системы тестирования, построенный
на основе достоинств обеих систем.
Рассмотрение теста как системы определяется идеей измерения с его помощью некоего системного образования (компетенции, уровня знаний и т.д.).
Были изучены существующие на рынке системы дистанционного тестирования.
Online Test Pad – онлайн конструктор тестов предоставляющий количество
различных настроек. Типы вопросов, которые включает в себя инструмент: один
выбор, мультивыбор, ввод числа, ввод текста, ответ в свободной форме, установление последовательности, установление соответствий, заполнение пропусков числа/текст, интерактивный диктант, последовательное исключение, слайдер (ползунок), загрузка файла, служебный текст. Созданные тесты делятся на категории.
Психологический тест, личностный тест, образовательный тест оцениваются посвоему с помощбью «Профессиональной настройки шкал», которая позволяет реальзовать практически любую логику расчета результата.
Полученные данные также можно просмотреть в табличном виде и экспортировать в Excel.
Google Формы — часть офисного инструментария Google Drive. Инструмент
просто в освоении и интуитивно понятен. Основное удобство Google Forms в его
интеграции в общий пакет офисных приложений от фирмы. Получившийся тест
можно сразу отправить по электронной почте или встроить на свой сайт с помощью
специального кода. Для ускорения работы можно добавить плагин Flubaroo, автоматически проверяющий ответы тестируемых и расставляющий оценки по заданным критериям. На сегодняшний день инструмент предоставляются бесплатно.
Для использования ресурса нужно только иметь аккаунт Google.
28
SurveyMonkey – оналйн инструмент для создания тестов, фокусирующийся
на разработке опросов, статистическом анализи полученных данных. SurveyMonkey обладает обширной базой готовых вопросов, созданных экспертами. Сервис предоставляется бесплатно, но ограничивает пользователя созданием опроса не
больше чем с десятью элементами, а также обрабатывает всего 100 первых результатов опрошенных.
Изучив представленные выше программные решения была выявлена общая
схема организации, которая их объединяет (рисунок 1).
Рисунок 1. Схема организации дистанционного тестирования
Разрабатываемая ИС должна выполнять следующие функции:
•
ввод, хранение и обработку информации об участниках тестирования, об-
служивающем персонале, проводимых и архивных тестах, о результатах тестирования, а также статистической информации собранной на основе прошедших тестов.
•
проработанный интерфейс создания теста онлайн и автоматизация про-
цесса последующей оценки;
•
формирование отчетов экспертом по предложенным шаблонам;
•
разграничение прав доступа (эксперт может редактировать и оценивать
только те тесты, которые были созданы им; права пользователей могут быть отредактированы исключительно администратором).
Проанализировав представленные на рынке информационные системы дистанционного тестирования, мы выявили ряд объединяющих их параметров. Основываясь на полученных данных можно приступить к проектированию информационной системы для определения профпригодности и уровня профессиональной
компетентности педагогов.
29
ГЛАВА 2. ПРОЕКТИРОВАНИЕ СИСТЕМЫ
ОНЛАЙН ТЕСТИРОВАНИЯ ПРОФПРИГОДНОСТИ
2.1. Проектирование концептуальной модели информационной системы
В рамках данной работы планируется автоматизировать деятельность действующих лиц, принимающих участие в проведении онлайн тестирования. Для
этого необходимо решить следующие задачи:
1. Определить функции разрабатываемой ИС. Результаты решения задачи будут служить исходными данными для всех остальных поставленных задач. Информацию для решения поставленной задачи получим из анализа деятельности участника тестирования, эксперта и администратора.
2. Выбрать архитектуру разрабатываемой ИС. Архитектура должна быть выбрана исходя из функций разрабатываемой ИС.
3. Выбрать средства разработки ИС. Выбор должен проводиться с учетом поставленных задач и анализа программного обеспечения представленного на рынке.
4. Построить логическую модель базы данных. Информацию для решения поставленной задачи получим из анализа деятельности участника тестирования, эксперта и администратора, а также планируемых операций разрабатываемой ИС.
5. Разработать пользовательский интерфейс. Информацию для решения поставленной задачи получим из анализа деятельности участника тестирования, эксперта и администратора, и планируемых функций разрабатываемой ИС.
Проектирование ИС — это процесс преобразования входной информации об
объекте проектирования, а также о методах проектирования и опыте проектирования объектов аналогичного назначения в проект ИС в соответствии с имеющимися
нормативными требованиями и стандартами [1].
В основе технологии проектирования лежит технологический процесс, который определяет действия, их последовательность, состав исполнителей, средства и
ресурсы, требуемые для выполнения этих действий. Таким образом, технология
проектирования задается регламентированной последовательностью технологических операций, выполняемых в процессе создания проекта на основе того или
30
иного метода, то есть дает ответы не только на вопросы «что» и «как» должно быть
сделано для создания проекта, но и на вопрос «в какой последовательности» и
«кем» [2].
Концептуальная модель предметной области ориентирована на восприятие
пользователя и разработчика, а не на обработку данных в ЭВМ. Именно с помощью
этой модели разработчики ИС достигают высокого уровня понимания существа информационных потребностей пользователей.
В методологиях проектирования, основанных на непосредственном создании
концептуальной модели предметной области, основной задачей является получение формального описания предметной области, которая должна моделироваться в
БД. При этом проектирования и методология проектирования должны поддерживать как получение от пользователей знаний о свойствах предметной области, так
и на отображение этих упорядоченных составляющих собственно концептуальную
модель предметной области [28]. Для проектирования концептуальной модели информационной системы в данной работе применен язык UML. Язык UML находится в процессе стандартизации, проводимом OMG (Object Management Group) —
организацией по стандартизации в области объектно-ориентированных методов и
технологий, в настоящее время принят в качестве стандартного языка моделирования и получил широкую поддержку в индустрии программного обеспечения. Язык
UML принят на вооружение практически всеми крупнейшими компаниями [5].
UML содержит стандартный набор диаграмм и нотаций самых разнообразных видов. Сегодня это получивший широкое распространение открытый стандарт, использующий графические обозначения для создания объектной модели системы.
UML привнес в бизнес-моделирование новую парадигму: структурный подход
IDEF сменился объектно-ориентированным. Среди различных типов диаграмм, которые включает в себя UML, в данной работе воспользуемся диаграммой прецедентов (вариантов использования), диаграммой классов и диаграммой пакетов.
Диаграммы прецедентов применяются для моделирования вида системы с
точки зрения внешнего наблюдателя. Данная диаграмма состоит из актеров, вари-
31
антов извне или множество логически связанных ролей, исполняемых при взаимодействии с прецедентами [6].
В свою очередь вариант использования — это спецификация сервисов (функций), которые система предоставляет актеру. Другими словами, каждый вариант
использования определяет некоторый набор действий, совершаемых системой при
взаимодействии с актером.
Между актерами и вариантами — основными компонентами диаграммы прецедентов могут существовать различные отношения, которые описывают взаимодействие экземпляров одних субъектов и прецедентов с экземплярами других субъектов и прецедентов.
В данной работе выделяются следующие группы пользователей: «незарегистрированный/неавторизованный пользователь», «зарегистрированный/авторизованный пользователь», «Эксперт/проверяющий» и «Администратор системы».
Как видно из рисунка 2, пользователь, неавторизованный в системе, может
только просматривать информацию о системе, регистрироваться и авторизовываться в системе.
«Администратор системы» — служебная роль, основными задачами которой
являются:
• управление пользователями;
• управление ролями, назначение ролей пользователям;
• поддержка сервера.
«Эксперт» — это организатор тестирования, который создает тест в системе, приглашает пользователей и проверяет результаты. В его обязанности входит:
• добавление общей информации о тесте;
• настройка критериев оценки;
• рассылка приглашений пользователям;
• проверка тестов;
• анализ данных и формирование отчетов по тесту.
«Пользователь/Тестируемый» — зарегистрированный пользователь, он же
32
участник тестирования. Пользователь получает приглашение на прохождение тестов, выполняет тестовые задания и получает обработанные результаты. За ним
закреплены следующие действия:
• просмотр информации о тесте;
• ответ на вопросы теста;
• получение результатов.
Рисунок 2. Диаграмма прецедентов системы дистанционного тестирования
33
Прежде чем приступить к проектированию программной части следует рассмотреть логику и организационную структуру бизнес-процессов, связанных с проведением теста.
В настоящий момент существует несколько конкурирующих стандартов для
моделирования бизнес-процессов, но наиболее распространенным и повсеместно
используемым является BPMN.
Спецификация BPMN (нотация и модель бизнес-процессов) описывает
условные обозначения для отображения бизнес-процессов в виде специальных диаграмм. Нотация ориентирована как на специалистов IT-сферы, так и на управленческий персонал. BPMN включает набор интуитивно понятных элементов, которые
позволяют проектировать сложные семантические конструкции. Нотация определяет, как диаграммы, бизнес-процессов, могут быть преобразованы в исполняемые
модели на языке BPEL. Исполняемость и переносимость также присущи новой версии стандарта – BPMN 2.0, что позволяет процессу, спроектированному в одном
редакторе, быть запущенным в другом.
Основная цель BPMN — создание стандартного набора условных обозначений, понятных бизнес-аналитикам, разработчикам, менеджерам и управляющим.
BPMN призвана служить связующим звеном между фазой проектировки бизнеспроцесса и фазой его реализации.
Рассмотрим модель пользователя и бизнес-процессы, связанные с ней (рисунок 3).
Рисунок 3. BPMN диаграмма бизнес-процессов пользователя
Бизнес-процессы эксперта (менеджера системы) связаны в основном с управлением тестами, а также включают в себя взаимоействие с другими пользователями
34
системы (рисунок 4):
Рисунок 4. BPMN диаграмма бизнес-процессов эксперта
Администратор системы занимается поддержкой программного и аппаратного обеспечения, управлением пользователями и их ролями (рисунок 5).
Рисунок 5. BPMN диаграмма бизнес-процессов эксперта
Ниже приведена схема, описывающая совокупность действующих лиц и
элементов системы дистанционного тестирования в нотации BPMN 2.0 (рисунок
6).
Рисунок 6. BPMN диаграмма
бизнес-процессов ИС
35
2.2.
Проектирование в рамках концепции MVC
MVC (Model – View - Controller) – популярный паттерн разработки современных веб-приложений. В рамках MVC приложение делится на три составляющие,
связанные между собой: модель, контроллер и представление(вид). Такое деление
позволяет четко разграничить функционал и упростить проектирование и разработку.
Модель предоставляет данные и реагирует на пользовательские команды через контроллер, изменяя своё состояние. Часто модель привязана к SQL таблице,
ее поля соответсвуют колонкам в базе. Некоторые фреймворки включают в модель
базовый CRUD функционал и набор вспомогательных функций для работы с табличными данными. Примером модели может служить объект «User». Данные о
пользователях хранится в таблице «users», а в коде самой модели реализованы методы получения объекта из базы, записи нового объекта, обновления и удаления
существующих пользователей. Часто возникает проблема, когда данные удобнее
хранить в одном формате, но их требуется отображать в другом. Так, например, для
модели «User» в базе будет хранится дата рождения в формате ISO 8601, но на странице профиля должен показываться возраст. В таком случае оправдано использование функции «getAge()», которая извлекает информацию из базы и сразу обрабатывает ее для дальнейшего использования.
За отображение данных модели пользователю отвечает представление. Представление (Вид) может варьироваться от статичных страниц, до полноценных SPA
(Single Page Application). Для динамических страниц часто используется вариация
паттерна MVC – MVW: Model – View – Whatever (Модель – Представление – ЧтоУгодно). MVW свойственны AJAX запросы, связывание данных и размытие границ
между фронтенд и бекенд контроллерами. В современных фреймворках представления используют шаблоны для отрисовки похожих страниц и повторяющихся элементов интерфейса. Это позволяет сэкономить время верстки, а «умная номенклатура» автоматизирует процесс создания и привязки представлений к соответсвующим контроллерам. В случае php фреймворка Yii2, например, встроенный генератор Gii создает директорию с именем модели, а также два файла: «index.php», где
36
отображаются все объекты модели, и «view.php», для отображения конкретной
сущности.
Контроллер интерпретирует действия пользователя, проводит валидацию и
предает данные модели. Как правило, принято использовать так называемые «тонкие контроллеры», когда логика переносится в «поставщики услуг». Валидация и
перенаправление также могут быть вынесены за пределы котнроллера в
«middleware» – связующее программное обеспечение. К примеру, «UserController»
отвечает за регистрацию, переход на страницы связанные с работой пользователя.
Генерация надежных паролей, токенов, ключей подтверждения электронной почты
реализована в поставщике услуг «UserServiceProvider». В зависимости набора прав
пользователя «AuthMiddleware» и «UserRightsMiddleware» перенаправляют его на
соответствующие его уровню доступа страницы.
2.3.
Выбор фреймворка. Особенности разработки в Laravel
На сегодняшний день существует множество фреймворков отвечающих стандарту MVC. Следует выбрать какой лучше всего подходит данного проекта.
Было принято решение использовать php, как язык, который обеспечит
наилучшую масштабируемость и долговременную поддержку.
Рассмотрим наиболее популярные php фреймворки представленные на
рынке.
1. Phalcon – это MVC PHP-инфраструктура, построенная на движке, написанном на чистом C, что делает фреймворк невероятно быстрым. Phalcon использует очень мало ресурсов по сравнению с другими платформами, что позволяет
очень быстро обрабатывать HTTP-запросы, что может иметь решающее значение
для разработчиков, работающих с системами с высокими накладными расходами
на компьютерное время.
Phalcon активно развивается с 2012 года и включает компоненты ORM, MVC,
кеширования и автозагрузки. Его первая и последняя версии долгосрочной поддержки включают поддержку PHP 7. Phalcon предоставляет разработчикам инструменты для хранения данных, такие как собственный диалект SQL: PHQL, а также
37
сопоставление объектных документов для MongoDB. Другие функции включают в
себя генераторы шаблонов, формировщики форм, простое создание приложений с
поддержкой множества языков и многое другое. Phalcon идеально подходит для
создания как REST API, так и полноценных веб-приложений.
2. Codeigniter – фреймворк для быстрой разработки приложений. Это легкий
в усвоении, легковесный фреймворк, который можно установить, просто загрузив
его на хостинг.
У Codeigniter активное сообщество и подробная документация. Развитию
фреймворка способствует академическая поддержка со стороны Технологического
института Британской Колумбии.
Codeigniter поставляется со многими встроенными библиотеками для модульного тестирования, валидации форм, электронной почты, сеансов и многого
другого.
3. Symfony уже давно известна как очень стабильный, высокопроизводительный, хорошо документированный и модульный проект. Symfony разрабатывается
и поддерживается французскими SensioLabs.
Symfony используется многими крупными компаниями, такими как BBC и
проектами с открытым исходным кодом, как Drupal и eZpublish. Symfony была
написана с акцентом на стабильность, обладает подробной документацией и активным сообществом. Фреймворк используется как для написания простых REST API,
так и полноценных веб-приложений.
4. Cakephp – идеальная среда для начинающих разработчиков и для быстрого
развития коммерческих веб-приложений. Фреймворк включает в себя автоматическую генерацию кода и «скаффолдинг» (метод метапрограммирования для создания веб-приложений, взаимодействующих с БД) для ускорения процесса разработки, а также использование множества пакетов.
Уникальность Cakephp состоит в том, что конвенции MVC помогают управлять процессом разработки. Для настройки фреймворка не требуется конфигурация
файлов XML или YAML. Cakephp отличается быстрой сборкой, а его функции безопасности включают меры по предотвращению XSS, SQL инъекций, проверки
38
CSRF токенов и инструментов для валидации форм.
CakePHP находится в активной разработке с хорошей документацией и множеством порталов поддержки. Cake Development Corporation также предоставляет
премиум-поддержку, как услугу.
5. Zend Framework – популярная инфраструктура, обычно используемая для
крупных проектов. Zend ориентирован на безопасность данных, производительность и расширяемость.
Из-за того, что он ориентирован на корпоративные решения, фреймворк обладает множеством компонентов для аутентификации, отрисовки форм, создания
сервисов и т. д. Из-за своего корпоративного характера Zend не идеален для быстрой разработки приложений, хотя в нем есть инструменты, облегчающие жизнь
разработчика, включая проприетарную IDE Zend: Zend Studio, которая интегрируется с Zend Framework.
6. Laravel – это комплексная инфраструктура, предназначенная для быстрого
создания приложений с использованием паттерна проектирования MVC. В настоящее время Laravel является самой популярной инфраструктурой PHP, с огромным
сообществом разработчиков.
Он включает в себя множество пакетов для частотных задач, легковесный и
интуитивно понятный шаблонизатор Blade, модульное тестирование, ORM, систему управления пакетами, RESTful контроллеры, а также уникальную абстрактную схему маршрутизации, которая устраняет проблему организации кода.
Очереди и задачи - позволяют обрабатывать код в фоновом режиме, логируя
результаты, без нарушения работы основной программы. Расширения можно легко
добавить с помощью Composer, встроенного в Laravel. Он интегрируется с Gulp и
Elixir, поэтому любые пакеты npm и bower можно вызывать непосредственно через
ssh.
Laravel хорошо интегрируется с noSQL структурами, как MongoDB или
Redis. С Laravel легко начать работу благодаря обширной документации, популярности фреймворка и таким обучающим инструментам как Udemy и Laracasts: популярные видеоуроки и учебные пособия.
39
7. FuelPHP – это сложный, современный, модульный MVC PHP фреймворк,
построенный с учетом архитектуры HMVC. Он обладает нативной поддержкой
ORM, интерпретацией шаблонов, алгоритмами для обеспечения безопасности данных, собственную систему аутентификации и множество пакетов, расширяющих
базовый функционал.
Активное сообщество постоянно развивает и дорабатывает FuelPHP. Запланированные в версии 2.0 изменения включают в себя полноценный переход к объектно-ориентированному подходу, а также возможность установки фреймворка с
использованием «Composer» и поддержку нескольких приложений в одной установке.
Рассмотрев существующие варианты, мы приняли решение использовать
Laravel для разработки, ввиду удобства его применения, простоты развертки завершенного проекта, а также наличия подробной и доступной документации.
40
ГЛАВА 3. РАЗРАБОТКА СИСТЕМЫ
ОНЛАЙН ТЕСТИРОВАНИЯ ПРОФПРИГОДНОСТИ
3.1.
Структура базы данных и миграции Laravel
Определившись с фреймворком, следует приступить к разработке базы данных. Laravel нативно поддерживает MySQL, PostgreSQL, SQLite, SQL Server.
Кроме того, есть возможность развернуть MongoDB или Redis для более оперативного доступа к данным. В данном проекте используется MySQL. Для удобства работы, поверх базы данных развернут Adminer (phpMinAdmin) – инструмент работы
с базами данных (MySQL, PostgreSQL, MS SQL, SQLite и Oracle). Файл
«Adminer.php» встраивается непосредственно в корневой каталог проекта, что позволяет администратору приступить к работе с базой через считанные минуты после
загрузки данных из системы контроля версий.
Выявим основные объекты системы и принципы взаимодействий между
ними.
«Пользователь» – модель, отвечающая за регистрацию, авторизацию пользователей. Тестируемые, эксперты и администраторы подпадают под эту категорию.
Для разграничения прав создается отдельная сущность «Роль» и необходимые таблицы, связывающие ее и объекты пользователей.
Тесты представляют собой вложенную систему, где модели «Тест», «Вопрос» и «Ответ» связаны друг с другом, а также с создавшим их пользователем. В
отдельной таблице будут хранится пользовательские ответы и их оценка.
Отдельная таблица, хранящая в себе информацию о существующих миграциях и их состоянии будет автоматически создана Laravel. Конечное состояние
базы можно увидеть в Приложении 1.
Laravel позволяет упростить громоздкие SQL запросы для создания базы, используя нативные миграции. Необходимо создать таблицы для объектов «пользователь», «тест», «вопрос», «ответ», связующие и вспомогательные таблицы.
Ниже приведен код для создания таблицы «пользователи». Генерируются
поля для записи имени пользователя, его email’а и пароля в зашифрованном виде.
41
Также создается токен для восстановления пароля и поля регистрирующие дату создания и последнего изменения объекта пользователя.
class CreateUsersTable extends Migration
{
public function up()
{
Schema::create('users', function (Blueprint $table) {
$table->increments('id');
$table->string('name');
$table->string('email')->unique();
$table->string('password');
$table->rememberToken();
$table->timestamps();
});
}
public function down()
{
Schema::dropIfExists('users');
}
}
Миграция для создания таблицы сброса пароля выглядит следующим образом:
class CreatePasswordResetsTable extends Migration
{
public function up()
42
{
Schema::create('password_resets', function (Blueprint $table) {
$table->string('email')->index();
$table->string('token');
$table->timestamp('created_at')->nullable();
});
}
public function down()
{
Schema::dropIfExists('password_resets');
}
}
Роли пользователей вынесены в отдельную таблицу «roles». Миграция содержит в себе поле с названием роли, а также набор прав пользователей, представленных бинарными значениями. Для связи с таблицей пользователей используется
вспомогательная таблица «user_roles». Кроме создания таблиц миграция заполняет
их тремя стандартными записями – моделями ролей пользователя, эксперта и администратора.
class UserRoles extends Migration
{
public function up()
{
Schema::create('user_roles', function (Blueprint $table) {
$table->increments('id');
$table->integer('user_id');
$table->integer('role_id');
});
}
43
public function down()
{
Schema::drop('user_roles');
}
}
class Roles extends Migration
{
public function up()
{
Schema::create('roles', function (Blueprint $table) {
$table->increments('id');
$table->string('name');
$table->boolean('create_tests')->nullable();
$table->boolean('check_own_results')->nullable();
$table->boolean('check_test_results')->nullable();
$table->boolean('handle_users')->nullable();
});
DB::table('roles')->insert(
array(
'name' => 'user',
'create_tests' => false,
'check_own_results' => true,
'check_test_results' => false,
'handle_users' => false,
)
);
44
DB::table('roles')->insert(
array(
'name' => 'expert',
'create_tests' => true,
'check_own_results' => true,
'check_test_results' => true,
'handle_users' => false,
)
);
DB::table('roles')->insert(
array(
'name' => 'admin',
'create_tests' => true,
'check_own_results' => true,
'check_test_results' => true,
'handle_users' => true,
)
);
}
public function down()
{
Schema::drop('roles');
}
}
При проектировании миграции для объекта теста необходимо учесть его отношения с объектами вопроса и пользователя. Внешний ключ «user_id» в данном
45
случае будет ссылаться на эксперта, создавшего тест. Пользователи, зарегистрированные за данным тестом, будут записаны в отдельной связующей таблице. Таблица «test_users» будет отвечать не только за регистрацию пользователей за определенными тестами, но также фиксировать информацию о их выполнении и сроках
для каждого пользователя. Вопросы, принадлежащие тесту будут хранить в себе
ключ с уникальным идентификатором объекта теста. В самой таблице останутся
поля с названием, описанием теста и его прочими параметрами.
class Tests extends Migration
{
public function up()
{
Schema::create('tests', function (Blueprint $table) {
$table->increments('id');
$table->unsignedInteger('user_id');
$table->string('title');
$table->longText('description');
$table->dateTime('created_at');
$table->dateTime('closed_at');
$table->integer('time_limit');
$table->boolean('repeatable');
$table->boolean('public');
$table->foreign('user_id')->references('id')->on('users');
});
}
public function down()
46
{
Schema::dropIfExists('tests');
}
}
class TestUsers extends Migration
{
public function up()
{
Schema::create('test_users', function (Blueprint $table) {
$table->increments('id');
$table->unsignedInteger('test_id');
$table->unsignedInteger('user_id');
$table->foreign('user_id')->references('id')->on('users');
$table->foreign('test_id')->references('id')->on('tests');
});
}
public function down()
{
Schema::dropIfExists('test_users');
}
}
class UpdateTestUsers extends Migration
{
public function up()
47
{
Schema::table('test_users', function($table) {
$table->dateTime('started_at')->nullable();
$table->dateTime('submitted_at')->nullable();
});
}
public function down()
{
Schema::table('test_users', function($table) {
$table->dropColumn('started_at');
$table->dropColumn('submitted_at');
});
}
}
Для объекта «вопрос» необходимо создать таблицу с полями параметров, а
также вспомогательную таблицу для типов вопроса. Помимо этого, требуются промежуточные таблицы для связи с объектами ответов и тестов.
class Questions extends Migration
{
public function up()
{
Schema::create('questions', function (Blueprint $table) {
$table->increments('id');
$table->unsignedInteger('test_id');
$table->string('title');
$table->longText('description');
48
$table->unsignedInteger('type');
$table->foreign('test_id')->references('id')->on('tests');
$table->foreign('type')->references('id')->on('question_types');
});
}
public function down()
{
Schema::dropIfExists('questions');
}
}
class CreateQuestionTypesTable extends Migration
{
public function up()
{
Schema::create('question_types', function (Blueprint $table) {
$table->increments('id');
$table->string('title');
});
DB::table('question_types')->insert(
array(
'title' => 'choice',
)
);
DB::table('question_types')->insert(
49
array(
'title' => 'multiple',
)
);
DB::table('question_types')->insert(
array(
'title' => 'blank',
)
);
}
public function down()
{
Schema::dropIfExists('question_types');
}
}
Таблица ответов содержит текст ответа, ключ «question_id» – уникальный
идентификатор, связывающий вариант ответа и вопрос, которому он принадлежит.
Бинарный флаг «is_correct» назначается при создании теста и служит для автоматизации внутренней проверки, не отображаясь пользователям при прохождении теста. Таблица «user_answers» связывает пользователей и выбранные ими ответы. В
случае вопросов открытого типа, которые проверяются экспертами вручную,
предусмотрено поле «text», заполняемое во время отправки ответов тестируемым и
предоставляемое эксперту при проверке.
class CreateAnswersTable extends Migration
50
{
public function up()
{
Schema::create('answers', function (Blueprint $table) {
$table->increments('id');
$table->unsignedInteger('question_id');
$table->longText('description');
$table->boolean('is_correct');
$table->foreign('question_id')->references('id')->on('questions');
});
}
public function down()
{
Schema::dropIfExists('answers');
}
}
class CreateUserAnswersTable extends Migration
{
public function up()
{
Schema::create('user_answers', function (Blueprint $table) {
$table->increments('id');
$table->integer('user_id');
51
$table->integer('question_id');
$table->integer('answer_id')->nullable();
$table->string('text')->nullable();
});
}
public function down()
{
Schema::dropIfExists('user_answers');
}
}
3.2.
Структура бэкенда приложения
Бекенд (англ. back-end) – программно-аппаратная часть сервиса, включает в
себя некоторое API, которое использует фронтенд (англ. front-end – клиентская сторона пользовательского интерфейса). Бекенд также отвечает за внутреннюю логику
работы приложения, взаимодействие с базой данных и другие задачи, выполняемые
на стороне сервера.
Разработка бекенда в рамках концепции MVC в определенном фреймворке
предполагает четкую структуру файлов проекта, соблюдение номенклатуры
(наименования и расположения файлов, паттернов программирования). Данные
требования могут быть легко реализованы на основе базовой структуры фреймворка Laravel. При его установке создается система вложенных директорий, генерируются файлы, отвечающие за базовую авторизацию, валидацию данных, роутинг. Также создаются базовые математические и логические функции, файлы
стилей и скрипты. Это позволяет оперативно начать процесс разработки, обеспечить поддержку проекта при изменении таких условий как: требования заказчика,
совместимость подключенных расширений, аппаратные средства и др.
Структурира корневого каталога новой установки Laravel представлена на
рисунке 7.
52
Рисунок 7. Корневой каталог Laravel
Директория «app» содержит основной код приложения (рисунок 8).
Каталог «bootstrap» содержит файлы, которые загружают фреймворк и
настраивают автозагрузку, а также каталог кэша.
Папка «config», как следует из названия, содержит все файлы конфигурации
приложения.
Директория «database» содержит миграции базы данных и набор сидов. Иногда в этой директории хранятся файлы Базы данных.
Каталог «public» содержит фронтенд-контроллер и ресурсы, используемые
приложением (изображения, JavaScript, CSS и т. д.).
Папка «resources» содержит представления, «сырые» ресурсы (LESS, SASS,
CoffeeScript) и файлы локализации.
Директория «storage» содержит скомпилированные шаблоны Blade, файлы
сессий, кэша. Этот каталог включает в себя директории «app», «framework» и
«logs». Каталог «app» может использоваться для хранения любых файлов, используемых приложением. Каталог «framework» используется для хранения файлов, созданных фреймворком и файлов кеша. Наконец, каталог «logs» содержит файлы
логов приложения Laravel.
Папка «tests» содержит автоматические тесты. PHPUnit предоставляется из
коробки как пример.
53
Каталог «vendor» содержит зависимости, подключенные в Composer.
Большая часть кода функционала проекта реализована в директории «app».
Ее структура изображена на приведенном ниже изображении. «Http» содержит в
себе контроллеры и middleware. Папка «Models» хранит модели – абстрактные
представления объектов, связывающие их с базой данных. В директории
«Providers» регистрируются и привязываются сервисы, прослушиватели событий,
промежуточное программное обеспечение и маршрутизаторы.
Рисунок 8. Директория «app»
Пути, преобразующие url по которому переходит пользователь в действия на
бэкенде располагаются в файле «web.php». Ниже приведен участок кода, в котором
реализован роутинг для главной страницы, подключение путей для авторизации, а
также пути для работы с тестами со стороны пользователя. Следует обратить внимание что Laravel автоматически генерирует частотные пути. Так Auth::routes() обратится к методу модели Auth и сам заполнит «web.php». Для создания простого
CRUD api можно использовать Route::resource(), который создаст методы create,
read, update и delete, соответствующие запросам post, get, patch/put и delete на указанный URL. Дополнительные параметры позволяют ограничить обрабатываемые
запросы.
<?php
Route::get('/', '[email protected]')->middleware('guest');
Auth::routes();
54
Route::middleware(['authorized'])->group(function () {
Route::get('/tests', '[email protected]');
Route::get('/test/{test}', '[email protected]');
Route::get('/test/{test}/results', '[email protected]');
Route::post('/test/{id?}/submit', '[email protected]');
Route::get('/home', '[email protected]')->name('home');
Route::resource('tests', 'TestController', ['only' =>
['store', 'update', 'destroy']]);
});
Код
на
бэкенд,
соответствующий
данным
путям,
находится
в
«PageController» и «TestContoller». «PageController» отвечает за переадресацию на
страницы, соответствующие уровню прав пользователя. Ниже приведен код контроллера:
<?php
namespace App\Http\Controllers;
use App\Models\Test;
use App\Models\TestUser;
use App\Models\User;
use Carbon\Carbon;
use Illuminate\Support\Facades\Auth;
Объявляется пространство имен, подключаются используемые модели.
class PageController extends Controller
55
{
public function index()
{
return view('index');
}
Функция индекс перенаправляет неавторизованного пользователя на главную страницу или отрисовывает ее для гостей сайта.
public function home()
{
$user_id = Auth::id();
$user = Auth::user();
$permissions = auth()->user()->role;
if ($permissions->check_own_results) {
$finished_tests = TestUser::query()->where('user_id', $user_id)
->whereNotNull('submitted_at')->pluck('id')->toArray();
$parameters = [
'tests' => auth()
->user()
->tests()
->whereNotIn('tests.id', $finished_tests)
->where('closed_at', '>', Carbon::now())
->get()
->toArray(),
'test_results' => auth()
->user()
56
->tests()
->whereIn('tests.id', $finished_tests)
//->where('closed_at', '<', Carbon::now())
->get()
->toArray(),
];
}
if ($permissions->create_tests) {
$parameters['created_tests'] = Test::all()
->where('user_id', $user_id)->toArray();
}
if ($permissions->handle_users) {
$parameters ['users'] = User::all()->toArray();
}
return view('home', $parameters);
}
}
Функия «home» отрисовывает домашнюю страницу пользователя, эксперта
или администратора. В зависимости от прав, которые соответствуют их роли, передается определенный набор параметров и выбирается Blade.
В файле «TestController.php» хранятся обработчики событий CRUD api, а
также роутинг связанный с отображением тестов для пользователей.
<?php
namespace App\Http\Controllers;
57
use App\Http\Requests\IndexTestRequest;
use App\Http\Requests\TestRequest;
use App\Models\Answer;
use App\Models\Question;
use App\Models\Test;
use App\Models\TestUser;
use App\Models\User;
use App\Models\UserAnswer;
use Carbon\Carbon;
use Illuminate\Http\Request;
class TestController extends Controller
{
public function store(TestRequest $request)
{
$data = $request->validated();
$data['created_at'] = Carbon::now();
return response()->json(Test::query()->create($data));
}
public function update(TestRequest $request, Test $test)
{
$data = $request->validated();
return response()->json($test->update($data));
}
public function destroy(Test $test)
{
58
return response()->json($test->delete(), 204);
}
Выше приведен простейший CRUD для создания, обновления и удаления
объекта теста экспертом или администратором. За ним следуют функции для отображения теста пользователю и просмотра результатов.
public function view(Test $test){
$test_user = auth()->user()->tests->where('id', $test->id);
if($test_user->isEmpty()){
return redirect()->route('home');
}
$test_object = $test_user->first();
$parameters = [
'test' => $test_object,
'questions' => $test_object->questions()->with('answers')->get(),
];
return view('tests.test', $parameters);
}
public function results(Test $test){
$test_user = auth()->user()->tests->where('id', $test->id);
if($test_user->isEmpty()){
return redirect()->route('home');
}
$test_object = $test_user->first();
$questions = $test_object->questions()->with('answers')->get();
$user_answers_query = UserAnswer::query()->where('user_id', auth()->id())>whereIn('question_id', $questions->pluck('id')->toArray());
59
$choice_answers = UserAnswer::query()->where('user_id', auth()->id())>whereIn('question_id', $questions->pluck('id')->toArray())->whereNotNull('answer_id')->pluck('answer_id')->toArray();
$score = Answer::query()->whereIn('id', $choice_answers)->where('is_correct',
1)->count();
$parameters = [
'test' => $test_object,
'questions' => $questions,
'user_answers' => $user_answers_query->get(),
'score' => $score,
];
return view('tests.results', $parameters);
}
Функция «submit», приведенная ниже обрабатывает POST запрос пользователя, завершает тест и помещает результаты выполнения в базу данных.
public function submit($id, Request $request){
$test_user = TestUser::find($id);
$test_user->submitted_at = $test_user->submitted_at ?? Carbon::now();
$test_user->save();
foreach ($request->all() as $key => $value){
if(is_numeric($key)){
$question = Question::find($key);
$user_answer = new UserAnswer();
$user_answer->question_id = $question->id;
$user_answer->user_id = auth()->id();
60
if($question->type == 3) {
$user_answer->text = $value;
} else {
$user_answer->answer_id = $value;
}
$user_answer->save();
}
}
return redirect()->route('home');
}
}
Финальная версия структуры проекта приведена в Приложении 2. Написав
базовый API можно приступить к дизайну пользовательского интерфейса и его
привязке к бэкенду.
3.3. Разработка UI с использованием Bootstrap и Laravel Blade
При проектировании UI для web платформы приоритетом будет адаптивность, легковесность и возможность повторного использования кода. Всем этим
требованиям отвечает Bootstrap – графический фреймворк, обеспечивающий корректное отображение интерфейса приложения на ряде различных платформ. Последняя версия Bootstrap гарантирует поддержку Google Chrome, Firefox, Internet
Explorer, Opera, и Safari, а также ряда мобильных браузеров.
Начиная с версии 4.0 расширение поддерживает технологии Sass и flexbox.
Для обеспечения адаптивности интерфейса и удобства разработки используется
Bootstrap Grid. Система делит часть HTML страницы на 12 колонок, внутри которых размещается контент. Для отображения на мобильных устройствах, а также
61
других устройствах с нестандартным разрешением Bootstrap изменяет структуру
сетки, основываясь на ряде управляющих классов. Так например, «.col-md-6» сузит
HTML элемент в два раза для планшетов и более широких экранов. На узких экранах тот же самый объект займет всю ширину страницы или содержащего его родительского элемента.
Структура директории «resources/views», приведенная ниже (рисунок 9), показывает модульность шаблонизатора Laravel Blade. В папке «layouts» расположены шаблоны с базовой разметкой и набором стилей, которые наследуются в других файлах представления.
Рисунок 9. Директория представлений «resources/views»
Для пользователей с разными ролями «home.blade» – домашняя страница
представляется по-разному. Для проходящих тестирование пользователей будут
отображаться доступные тесты и результаты пройденных тестов (рисунок 10).
Рисунок 10. Дизайн домашней страницы пользователя
Для экспертов и администраторов будут добавлены колонки для создания,
62
редактирования и удаления тестов и пользователей (рисунок 11). При этом раскладка страницы претерпит незначительные изменения, не потребует написания
дополнительных стилей или создания новых файлов.
Рисунок 11. Дизайн домашней страницы для администратора
В рамках шаблонов Blade встроены простые скрипты на php, а также использованы управляющие конструкции: «@if», «@switch», «@include». Это позволяет
упростить отображение динамически формируемого контента и учесть частные
случаи для отсутствующей и неполной информации.
Использование Bootstrap нивелирует необходимость в разработке отдельного
дизайна для мобильных платформ. Колонки на домашней странице пользователей
автоматически выстраиваются вертикально (рисунок 12). Дизайн шапки сайта
изменяется, чтобы сделать меню более интуитивным для мобильных устройств.
При прохождении теста пользователем используется «tests/test.blade.php».
Получив данные о вопросах, входящих в модель теста из соответствующего
контроллера, представление отображает их. Управляющий код на странице
перебирает список вопросов, выбирает и отрисовывает соответсвующие их типам
HTML элементы. Такой подход позволяет одновременно компактно хранить
элементы страницы и легко изменять их при необходимости.
63
Рисунок 12. Мобильный дизайн домашней страницы
На снимке экрана (рисунок 13) изображены некоторые типы вопросов и пример их отображения на странице. Подобным образом собирается страница
проверенного
теста
(рисунок
14).
Количество
доступной
пользователю
информации определяется первоначальными настройками теста, уровнем доступа
тестируемого и рядом других факторов. Например, эксперт может предоставить
пользователю соотношение правильных и неправильных ответов, полный текст
теста и даже дополнительную статистику с инфографикой.
64
Рисунок 13. Дизайн страницы теста
Рисунок 14. Дизайн страницы результатов для пользовтеля
Мобильное представление страниц тестирования и просмотра результатов
реализовано по такому же принципу как и домашняя страница (рисунок 15).
65
Рисунок 15. Мобильный дизайн страницы теста
Реализовав графическую сторону приложения и фронтенд в целом, следует
приступить к тестированию разработанной ИС.
3.4. Апробация системы онлайн тестирования профпригодности
Апробация разработанной системы проходила в несколько этапов. Кратко
рассмотрим основные задачи, содержание и итоги каждого этапа.
I этап. Юзабилити тестирование
Задачи:

определить слабые места UX;

выявить проблемы в отображении пользовательского интерфейса на ре-
левантных устройствах;

устранить выявленные проблемы.
66
Содержание работы. Юзабилити тестирование системы дистанционного тестирования осуществлялась в рамках курсов повышения квалификации учителей
начальной школы, проводимых отделом начального общего образования БУ ОО
ДПО «Институт развития образования» в период с сентября по ноябрь 2016 года. В
качестве тестируемых в работе приняли участие 186 педагогов г. Орла и Орловской
области.
Итоги работы:

пользовательское меню было скорректировано с учетом полученных дан-

процесс регистрации претерпел изменения ввиду большой доли участни-
ных;
ков у которых возникли затруднения с авторизацией в системе.
II этап. Стресс-тестирование
Задачи:

провести нагрузочное тестирование системы;

осуществить анализ поведения ИС в условиях высокой нагрузки;

проанализировать UX в условиях большого количества одновременных
пользователей;

исправление выявленных недостатков.
Содержание работы. На втором этапе апробация системы дистанционного
тестирования осуществлялась в ходе проведения онлайн олимпиады для учителей
начальных классов города Орла и Орловской области. Формат онлайн олимпиады
позволяет увидеть, в какой мере педагог овладел необходимыми компетенциями,
может творчески применить полученные на курсах повышения квалификация, в
ходе внутрикорпоративного обучения и самообразования знания в своей профессиональной деятельности. Олимпиады обладают значительным потенциалом для
решения одной из задач профессионального стандарта «Педагог» – побуждение педагога к поиску нестандартных решений.
Онлайн олимпиады являются формой изучения профессиональных затруднений педагогов и развития профессиональной компетентности, рассматриваются
как эффективный способ внутреннего аудита, оценки соответствия компетенций
67
учителя требованиям Стандарта (п. 5.4.). Целью проведения олимпиады стало
предоставление педагогам возможности объективно и разносторонне оценить свои
профессиональные компетенции в области обеспечения достижения обучающимися метапредметных результатов обучения на уровне начального общего образования.
Создание тестовой системы для проведения онлайн олимпиады для учителей
начальных классов как элемента диагностического блока системы непрерывного
профессионального образования, нацелено на решение следующих задач:
•
создание условий для творческого самовыражения и самореализации пе-
дагогов начальной школы; выявление и поддержка творчески работающих учителей;
•
развитие мотивации педагогов к повышению своей профессиональной
компетентности;
•
выявление уровня профессиональной компетентности учителя в вопросах
реализации требований Стандарта, обеспечения эффективности образовательной
деятельности, качества образования в части формирования универсальных учебных действий;
•
оказание адресной помощи педагогам, внесение корректив в содержание
и реализацию дополнительных профессиональных программ повышения квалификации на основе анализа затруднений, ошибок, допущенных учителями в ходе выполнения олимпиадных заданий.
В рамках самоаудита педагоги могут поставить перед собой следующие задачи участия в онлайн олимпиаде:
•
осуществить анализ своей профессиональной деятельности;
•
определить степень соответствия ряда компетенций требованиям профес-
сионального стандарта педагога, задачам ФГОС НОО в части реализации требований к метапредметным результатам;
•
выявить профессиональные затруднения;
•
выбрать программы повышения квалификации, наметить пути самообра-
зования;
68
•
отразить позитивные результаты участия в олимпиаде в портфолио [27].
Важно отметить, что участие в подобных процедурах оценки профессиональной компетентности в период подготовки педагога к аттестации позволит экспертной комиссии более объективно оценить уровень квалификации педагога и проследить динамику его профессионального роста.
Разнообразие типов заданий Олимпиады и проведение ее в режиме онлайн
позволяет выявить уровень сформированности ИКТ-компетентности учителей.
Данная форма проведения имеет ряд преимуществ. Среди них: возможность доступа для большого количества педагогов, удобство оценки и обработки результатов, построение рейтинговой электронной таблицы, получение индивидуальных
результатов на электронную почту и др. С учетом количества заданий и опыта участия педагогов в подобной работе может быть определено оптимальное время тестирования. Опыт проведения Олимпиады, включающей 23 задания показал, что с
учетом организационных моментов это может быть от 1 ч. до 1ч. 30 мин.
Апробация системы дистаницонного тестирования проходила 2 ноября 2016
года. Отделом начального общего образования была проведена региональная дистанционная олимпиада для учителей начальных классов «Метапредметные результаты на уровне начального общего образования». В ней приняли участие 501
педагог из 145 образовательных организаций из 24 муниципальных образований
Орловской области (Приложение 3).
В наши обязанности входило администрирование системы. После проведения теста и рассылки результатов полученные данные были проанализированы и
заархивированы.
Итоги работы.
Были выявлены слабые места в работе с базой данных, в результате чего
структура таблиц «tests», «questions», а также ряда вспомогательных таблиц, была
оптимизирована. Тем не менее, даже во время максимальной нагрузки система не
задействовала мощность используемого сервера больше чем на 10 %.
III этап. Системное тестирование.
Задачи:
69

осуществление общей проверки функционала системы;

оснащение тестовой системы аналитическим аппаратом;

проведение анализа масштабируемости и адаптируемости системы.
Содержание работы. 25 декабря 2017 года была проведена региональная дистанционная онлайн олимпиада для учителей начальных классов «Современное содержание начального общего образования». В ней приняли участие 163 педагога из
61 образовательной организации из 20 муниципальных образований Орловской области: город Орел, Болховский, Верховский, Дмитровский, Орловский районы, города Ливны и Мценск. (Приложение 3) [оиуу.рф].
Аналитический аппарат системы дистанционного тестирования позволил выполнить техническое задание (ТЗ) заказчика (БУ ОО ДПО «Институт развития образования»), связанное с выявлением и количественной оценкой профессиональных затруднений и уровня сформированности у учителей начальных классов Орловской области следующих компетенций:
- уровня теоретической подготовки учителя в вопросах формирования метапредметных, в том числе личностных результатов (методическая и психолого-педагогическая компетентность);
- умения педагога подбирать задания для формирования определенного метапредметного результата в ходе изучения разных учебных предметов (русский
язык, математика, литературное чтение, окружающий мир) и оценивать задание с
точки зрения его ориентированности на формирование определенных УУД (методическая компетентность);
- компетенции учителя в конструировании заданий, нацеленных на формирование определенных универсальных учебных действий на содержании предметов
«Математика», «Окружающий мир», междисциплинарной программы «Чтение. Работа с информацией» (методическая компетентность).
В рамках ТЗ (Приложение 4) также была поставлена задача выявить процентное соотношение педагогов, справившихся с заданиями разного уровня сложности,
по различным образовательным областям.
70
Разработанный нами аналитический аппарат системы дистанционного тестирования позволил экспертам заказчика оперативно полуить статистическую информацию по результатам онлайн тестирования. Были получены следующие данные:
1) Наибольший процент выполнения был продемонстрирован в заданиях первого уровня на знание универсалых учебных действий (УУД) разных групп – 75—
81 %. Несколько ниже результат в задании на знание личностных результатов.
Было выявлено, что большинство педагогов демонстрирует знание требований федерального государственного образовательного стандарта (ФГОС) начального общего образования (НОО) к планируемым результатам освоения программы
НОО разных групп.
2) В заданиях второго уровня результаты отличаются в зависимости от типа
задания, предметного содержания и конкретного УУД, на формирование которого
нацелено задание.
Наивысший результат был продемонстрирован в задании на выбор одного
ответа на содержании предметов «Русский язык» и «Литературное чтение» – 79 %.
В аналогичном задании на выбор двух ответов правильно выбрали один ответ в
разных заданиях 46 %– 73 % педагогов. Полностью справились с заданиями всего
10 % тестируемых.
3) Верно осуществили подбор заданий, ориентированных на указанное УУД,
на содержании предмета «Окружающий мир» – 16 % учителей, выбрали только 2
задания – 50 %, только одно – 27 %. С аналогичными заданиями с выбором одного
ответа верно справились от 78 % до 93 % педагогов.
4) Успешность выполнения заданий на содержании предмета «Окружающий
мир», в которых требовалось определить нацеленность задания на формирование
УУД, достаточно высокая. 76 % тестируемых полностью справились с заданием,
20 % – справились частично. При этом результаты выполнения аналогичных заданий с выбором одного ответа значительно отличаются в зависимости от вида УУД:
76 % и 53%.
Подобная ситуация складывается и при выполнении заданий на предметном
содержании «Математика». С выбором УУД, на которое ориентировано задание,
71
справились в разных случаях 81 % и 43 % учителей. С подбором заданий для формирования УУД справились: 24% и 79 % тестируемых.
Анализ результатов выполнения заданий данной группы показывает, что значительное число педагогов демонстрирует умение критически оценивать информацию, выбрать при проектировании образовательной деятельности задания, нацеленные на формирование того или иного УУД из предлагаемых авторами учебнометодических комплексов (УМК).
5) Наибольшую трудность вызвали задания третьего уровня, предусматривающие конструирование разноуровневых вопросов и заданий, ориентированных на
формирование у учащихся определенных УУД. Из трех заданий данного типа
лучше всего справились с заданием на конструирование вопросов к тексту. 16 %
педагогов актуализировали три уровня осознания текста, 46 % сконструировали вопросы двух уровней, в том числе аналитического. 26 % учителей сформулировали
вопросы только для актуализации фактологического уровня осознания текста, т.е.
умения выявлять в тексте информацию, заданную в явном виде. С конструированием заданий, ориентированных на формирование определенного УУД, на предметном содержании «Математика» справились всего 6 % педагогов, «Окружающий
мир» – 3 %. 19 % тестируемых частично справились с данными заданиями.
На основе данных, представленных разработанной нами тестовой системой,
эксперты заказчика сделали следующие выводы:
- не все педагоги ориентированы на осуществление деятельности, нацеленной на достижение обучающимися метапредметных и личностных результатов;
- ряд учителей не влаеет умением осуществлять отбор задания, ориентированных на достижение определенных результатов в части формирования УУД;
- наблюдается недостаточный уровень компетентности части педагогов при
актуализации более высоких уровней осознания текста, при выполнении заданий
на констпуирование учебно-познавательных и учебно-практических задач.
Итоги работы.
72
Апробация аналитического аппарата системы дистанционного тестирования
прошла успешно. Техническое задание было выполнено. Качество выполнения задания высоко оценено заказчиком (Приложение 3). Система хорошо показала себя
в работе с пользовательскими данными. Олимпиада была проведена без участия
разработчиков и администраторов, что показывает жизнеспособность системы на
рынке и ее интуитивность со стороны пользователя.
73
ЗАКЛЮЧЕНИЕ
С утверждением в октябре 2013 года профессионального стандарта «Педагог» возникли новые ориентиры для оценки профессиональной пригодности и профессиональной компетентности учителя. Это актуализирует необходимость решения ряда задач: уточнение понятий «профессиональная пригодность», «ведущие
компетенции педагога», разработка моделей и инструментов оценки профпригодности и профессиональной компетентности педагогических работников. Одним из
методов оценки психолого-педагогической компетенции учителей в рамках оценочных процедур созданной по приказу президента Российской Федерации В.В.
Путина Национальной системы учительского роста является тестирование.
В ходе анализа актуальной информации по теме исследования мы выявили
противоречия между запросом системы образования на разработку процедур оценивания профессиональной пригодности и профессиональной компетентности и
отсутствием адекватных ему моделей и методов тестирования. Данное противоречие позволило на сформулировать проблему, цель, объектом и предмет исследования. Для решения проблемы исследования, достижения цели работы мы решали
ряд задач. Кратко представим ход и итоги решения основных задач исследования.
Нами были рассмотрены теоретические основы проблемы оценки профпригодности и профессиональной компетентности педагогов с использованием систем
дистанционного тестирования. По итогам анализа актуальных документов в основу
исследования были положены современные определения соответствующих понятий, выявлено значение тестовых систем для осуществления диагностических процедур в сфере образования. Нами выявлены основные принципы построения тестовых систем, сильные стороны и недостатки существующих теорий тестирования,
выделены базовые подходы к построению компьютерных тестовых систем (КТС),
направления дальнейшего изучения проблемы оценки и повышения их качества. В
работе представлены результаты исследований, посвященных анализу различных
тестовых систем, выделены их функции, достоинства и недостатки существующих
КТС.
74
На основе изучения подходов к проектированию и разработке тестовых систем для оценки уровня профессиональной компетентности нами были выбраны
методы проектирования и паттерны разработки ИС.
Проведенная аналитическая работа позволила нам спроектировать и разработать систему онлайн тестирования для оценки профессиональной пригодности и
профессиональной компетентности педагогов.
Апробация разработанной нами системы онлайн тестирования для оценки
профессиональной компетентности педагогов начального общего образования проходила на базе БУ ОО ДПО «Институт развития образования» в период с ноября
2016 по декабрь 2017 в три этапа: юзабилити тестирование, стресс тестирование,
стресс тестирование и заключительное системное тестирование
По теме диссертационного исследования опубликованы следующие работы:
Тимофеев, А.А. Отдельные аспекты разработки бизнес-симулятора / А.А. Тимофеева, Ю.А. Донцова. Вестник науки. Сборник научных работ аспирантов, магистрантов и студентов физико-математического факультета / под общ. ред. Т.Н.
Можаровой. – Выпуск 16. – Орел: ОГУ, 2017. – 81 с. С. 68—72.
Тимофеев, А.А. Разработка и внедрение обучающей бизнес-игры на базе факультета экономики и управления / А.А. Тимофеева, Ю.А. Донцова. Молодежный
научный форум: технические и математические науки. Электронный сборник статей по материалам XL студенческой международной заочной научно-практической
конференции. № 11 (40). – М., 2016.
Теоретическая значимость исследования состоит в определении научных
подходов к проектированию и разработке систем дистанционного тестирования
для оценки профпригодности и профессиональной компетентности педагогов в соответствии с современными требованиями, отраженными в профессиональном
стандарте «Педагог».
Практическая значимость исследования заключается в проектировании и разработке системы дистанционного тестирования для оценки профпригодности и
профессиональной компетентности педагогов в соответствии с современными требованиями, отраженными в профессиональном стандарте «Педагог».
75
СПИСОК ЛИТЕРАТУРЫ
1.
Аванесов, В.С. Адаптивное обучение: лекции. / В.С. Аванесов. [Элек-
тронный ресурс]: сайт. – Режим доступа: http://athena.wsu.ru/carina/test/lec8.htm. –
Дата доступа: 09.10.2017.
2.
Аванесов, В.С. Композиция тестовых заданий / В.С. Аванесов. – М.:
Центр тестирования Минобразования РФ, 2002. – 239 с.
3.
Бутримова, И. Профессиональная онлайн олимпиада «Метапредметные
результаты на уровне начального общего образования» / И.В. Бутримова, Л.Л. Тимофеева // Управление начальной школой. 2017. № 4. С. 44—52.
4.
Валеева, Е.Х. Особенности организации уровневой оценки Компетен-
ций учителей русского языка и математики. Материалы Всероссийской конференции по анализу хода внедрения национальной системы учительского роста (21 сентября 2017 года) / Е.Х. Валеева. – М.: ФГАОУ ДПО АПК и ППРО, 2017. С. 37— 41.
5.
Васильев, В.И. Культура компьютерного тестирования. Часть IV. Форма
тестовой ситуации и формирование теста / В.И. Васильев, Т.Н. Тягунова. – М.:
МГУП, 2002. – 83 с.
6.
Горбунова, Е.И. Методические рекомендации по созданию тестовых за-
даний итогового контроля знаний / Е.И. Горбунова, В.А. Самойлов, К.К. Шевченко.
– М.: МЭСИ, 2000.
7.
Доссэ, Г.Г. Обучающая функция тестов / Г.Г. Доссэ // Образование в со-
временной школе. 2001. № 12. С. 5—13.
8.
Жилина, Е.В. Использование бинарной логистической регрессии для
оценки качества адаптивного теста / Е.В. Жилина. Вестник Томского государственного университета. – Томск, 2010. № 334.
9.
Жилина, Е.В. Линейная модель адаптивного тестирования. Проблемы
создания и использования информационных систем и технологий: материалы III
межрегион. конф. 11 декабря 2009 / Е.В. Жилина. — Ростов-на-Дону: РГЭУ
«РИНХ», 2009.
10. Зайцева, Л.В. Модели и методы адаптивного контроля знаний / Л.В. Зайцева, Н.О. Прокофьева. – Рига: РТУ, 2008.
76
11. Касьянова, Н.Е. Создание системы компьютерного контроля как результат новых информационных технологий в обучении. / Е.Н. Касьянова. [Электронный ресурс]: сайт. – Режим доступа: http://ito.edu.ru/200 l/ito/VI/VI-0-31 .html. –
Дата доступа: 09.10.2017.
12. Кречетников К.Г. Методология проектирования, оценки качества и применения информационных технологий обучения / К.Г. Кречетников. – М.: Госкоорцентр, 2001.
13. Майер, Р.А. Статистические методы в психолого-педагогических и социологических исследованиях: учебное пособие / Р.А. Майер, Н.Р. Колмакова. –
Красноярск, 1997.
14. Майоров, А.И. Тесты и их виды / А.И. Майоров // Школьные технологии.
1998. № 4. С. 176—189.
15.
Мануйлова, И.В. Организационные механизмы, инструменты и опти-
мальные условия внедрения национальной системы учительского роста в Российской Федерации. Материалы Всероссийской конференции по анализу хода внедрения национальной системы учительского роста (21 сентября 2017 года) / И.В. Мануйлова. – М.: ФГАОУ ДПО АПК и ППРО, 2017. С. 8—13.
16. Минин, М.Г. Статистический анализ качества тестов, применяемых для
контроля знаний по химии. / М.Г. Минин, Н.Ф. Стась, Е.В. Жидкова. Известия Томского политехнического университета. – Томск, 2007. Т. 310. № 1.
17. Михайлычев, Е.А. Разработка и адаптация в педагогической практике
диагностических методик / Е.А. Михайлычев // Школьные технологии. 2002. № 4.
С. 126—132.
18. Никитин, Э.М. Федеральная система повышения квалификации работников образования. История становления, сравнительный опыт, современное состояние, прогнозирование, развитие: учеб. пос. / Э.М. Никитин. – М., 1995. – 191 с.
19. Новикова, Е.Ю. Контроль знаний учащихся при помощи тестов / Е.Ю.
Новикова // Образование в современной школе.2002. № 3. С. 49—52.
20. Переверзев, В.Ю. Критериально-ориентированные педагогические те-
77
сты для итоговой аттестации студентов / В.Ю. Переверзев. – М.: НМЦ СПО Минобразования РФ, 1998. – 152 с.
21. Программа реформирования и развития системы повышения квалификации и переподготовки работников образования Российской Федерации. МО РФ,
РИПКРО. М., 1993. – 84 с.
22. Профессиональный стандарт «Педагог (педагогическая деятельность в
дошкольном, начальном общем, основном общем, среднем общем образовании)
(воспитатель, учитель)» [Электронный ресурс]: приказ Минтруда России от 18 октября
2013
г.
№
544н.
–
Режим
доступа:
http:
//fgo
svo
.ru/uploadfiles/profstandart/01.001.pdf. – Дата доступа: 13.09.2017.
23.
Пуденко, Т.И. Проблемы обеспечения многовекторной уровневой
оценки компетенций учителя. Материалы Всероссийской конференции по анализу
хода внедрения национальной системы учительского роста (21 сентября 2017 года)
/ Т.И. Пуденко. – М.: ФГАОУ ДПО АПК и ППРО, 2017. С. 22—31.
24. Современные модели повышения квалификации: опыт, проблемы, перспективы // Научное обеспечение системы повышения квалификации кадров. 2013.
№
3—4
(16).
[Электронный
ресурс]:
сайт.
–
Режим
доступа:
https://cyberleninka.ru/article/n/sovremennye-modeli-povysheniya-kvalifikatsii-opytproblemy-perspektivy. – Дата доступа: 21.06.2018.
25. Тимофеев, А.А. Отдельные аспекты разработки бизнес-симулятора /
А.А. Тимофеев, Ю.А. Донцова. Вестник науки. Сборник научных работ аспирантов, магистрантов и студентов физико-математического факультета / под общ. ред.
Т.Н. Можаровой. – Выпуск 16. – Орел: ОГУ, 2017. С. 68—72.
26. Тимофеев, А.А. Разработка и внедрение обучающей бизнес-игры на базе
факультета экономики и управления / А.А. Тимофеев, Ю.А. Донцова. Молодежный
научный форум: технические и математические науки. Электронный сборник статей по материалам XL студенческой международной заочной научно-практической
конференции. № 11 (40). – М., 2016.
27. Тимофеева, Л.Л. Онлайн олимпиада для учителей начальных классов
78
как инструмент уровневой оценки компетенций педагогов. Материалы Всероссийской конференции по анализу хода внедрения национальной системы учительского
роста (21 сентября 2017 года) / Л.Л. Тимофеева, И.В. Бутримова – М.: ФГАОУ ДПО
АПК и ППРО, 2017. С. 288—293.
28. Тягунова, Т.Н. Философия и концепция компьютерного тестирования /
Т.Н. Тягунова. – М: МГУП, 2003. – 246 с.
29. Управление персоналом. Словарь-справочник. [Электронный ресурс]:
сайт. – Режим доступа: https://psyfactor.org/personal0.htm. – Дата доступа:
16.10.2017.
30. Харина, Н.В. Профессиональное образование в России: проблемы, пути
решения / Н.В. Харина. Научно-педагогическое обозрение. Вып. 1 (1). С. 8–15. –
М., 2013.
31. Челышкова, М.Б. Адаптивное тестирование в образовании (теория, методология, технология) / М.Б. Челышкова. – М.: Исследовательский центр проблем
качества подготовки специалистов, 2001. – 165 с.
32. Челышкова, М.Б. Теория и практика конструирования педагогических
тестов: учебное пособие / М.Б. Челышкова. – М.: Логос, 2002. – 432 с.
33. Lord, F.M. Application of Item Response Theory to Practical Testing Problems. [текст] / F.M. Lord. Hillsdale N – J. Lawrence Erlba- um Ass., Publ., 1980. – 266
p.
34. Weiss, D.J. The stratified adaptive computerized ability test. [текст] / D.J.
Weiss. – Minneapolis: University of Minnesota, Department of Psychology, Psychometric Methods Program, 1973.
35. Weiss, D.J. New Horizons in Testing: Latent Trait Test Theory and Computerized Adaptive Testing. [текст] / D.J. Weiss. – New-York, Academic Press, 1983. –
345p.
79
ПРИЛОЖЕНИЯ
Приложение 1.
Структура базы данных проекта
80
Приложение 2.
Структура файловой системы проекта
81
Приложение 3.
Запрос на проектирование и разработку ИС
82
83
Приложение 4.
Техническое задание
84
85
W
W
Ё\цтilгlлАгиАт
твOри"rЁ (ýýcTs[}lHblM
Орловский государственный
университет имени И.С. Тургенева
умýм
сп
рАвкА
о результатах проверки текстового документа
на наличие заимствований
Проверка выполнена в системе
Антиплаrиат.ВУ3
Автор работы
Тимофеев Артем Аленсеевич
Факультеъ кафедра,
номер группы
Физико-математический
Тип работы
Выпускная квалификационная работа
Название работы
Разработка и проектирование системы онлаЙн тестирования на профпригОдносгь
Название файла
ВКР Тимофеев.dосх
Процент заимствования
з2,6L%
Процент цитирования
L,L7Yo
Процент оригинальности
66,2t%
flaTa проверки
12:37:15 29 июня 2018r.
Модули поиска
Кольцо вузов; Модуль поиска "ФГБОУ ВО Оry им. И,С.Тургенева"; Модуль поиска
общеупотребительных выраrкений; Модуль поиска перефразирований Интернет;
Модуль поиска перефразирований eLlBRARY.RU; Модуль поиска Интернет;
Коллекция eLlBRARY.RU; L{итирование; Коллекция РГБ; Сводная коллекция ЭБС
Работу проверил
Селютин Владимир Дмитриевич
факультет
Фио проверяюч-(еrо
flaTa подписи
Чтобы убедиться
в подлинности справки,
используйте QR-код, который
содер}кит ссылку на отчет.
Ответ на вопрос, является ли обнаруженное заимствование
корректным, система оставляет на усмотрение проверякrшеrо.
Предоставленная информация не подле}t(ит использованию
8
коммерческих целях.
1/--страниц
Пожаловаться на содержимое документа