Презентация Мерцаловой Т.А - Академия социального управления

Механизмы общественного
участия в оценке качества
образовательных услуг в
образовательных организациях
дошкольного и общего
образования
Татьяна Анатольевна Мерцалова
Москва, 2014 г.
Обзор результатов анкетирования
ОБЩЕСТВЕННОСТЬ ПОДМОСКОВЬЯ О
НЕЗАВИСИМОЙ ОЦЕНКЕ КАЧЕСТВА
ОБРАЗОВАНИЯ
В опросах было использовано 4 анкеты,
приняло участие 720 человек
Руководители школ и дошкольных образовательных организаций
Из них:
- Директора ООШ
- Директора основных ООШ
- Заведующие ДОО
- Руководители комплекса «школа-детский сад»
Педагоги и сотрудниким дошкольных и общеобразовательных организаций
Из них:
- Воспитатель ДОО
- Учитель ООШ
- Заместитель руководителя ОО
- Иные специалисты 00 (психологи, логопеды социальные работники и др.)
Родители
Из них:
- Родители дошкольников
- Родители школьников
Специалисты муниципальных органов управления образованием
157
57
9
87
4
324
140
139
24
21
209
106
103
27
Опрос затрагивал различные аспекты
независимой оценки качества образования и
участия общественности в этой оценке
• Значение НОК и рейтингов для различных участников
образовательных отношений
• Проблемы и риски публикации результатов НОК, в т.ч.
рейтингов
• Каналы и форматы публикации результатов НОК
• Уровень доверия пользователей официальным
рейтингам
• Участие родителей в НОК
• Механизмы активизации участия родителей в НОК
• Направления и критерии НОК
• Использование результатов НОК и рейтингов в
управленческой деятельности
Оценка нужности рейтингов в
образовании, %
1.
1
50,3
5
49,7
39,5
3
2
4
6
7
8
3,7
0,0
0,0
3,8
0,0
3,2
0,0
77,8
70,4
2.
3.
51,9
13,4
4.
12,1
5.
11,5
Руководители ОО
6.
Сотрудники МОУО
7.
8.
Рейтинги очень нужны, они заставляют
руководителей образовательных организаций
мобилизоваться и стремиться повысить свои
результаты
Рейтинги нужны больше для руководства, они
позволяют выделить лучших и худших
Рейтинги нужны, но нужно лучше продумывать
методику их построения. Сейчас очень много
некачественных бесполезных и даже вредных
рейтингов.
Рейтинги нужны, но только для «внутреннего»
использования: для руководителей системы
образования. Публиковать открыто их результаты вредно
Рейтинги могут быть полезны при условии
грамотного принятия решений по ним со стороны
органов управления.
Рейтинги не нужны. Они не дают никакой новой
информации. Сравнивать между собой разные
школы бессмысленно и не корректно.
Рейтинги не нужны и даже опасны для системы
образования и образовательных организаций.
Другое
Оценка полезности публикации
официальных рейтингов ОО для
родителей и самих ОО, %
85,8
Безусловно полезна
Полезна, но есть и
негативные моменты
Может быть полезной,
но негативных
моментов больше, чем
позитивных
Такая публикация
вредна
86,4
Безусловно полезна
83,7
83,3
9,6
Полезна, но есть и
негативные моменты
9,1
Может быть полезной,
но негативных
моментов больше, чем
позитивных
2,2
3,3
1,5
2,4
6,5
8,1
2,5
2,4
Педагоги
Родители
Педагоги
Такая публикация
вредна
1,9
2,4
Родители
Персональная значимость рейтингов
для педагогов и родителей, %
Да, мне интересно, как выглядит
школа/сад, в которой я работаю по
сравнению с другими
школами/садами
Да, мне интересно, как выглядит
школа/сад, которую посещает мой
59,6ребенок по сравнению с другими
школами/садами
Нет, всю необходимую информацию
о школах/садах я знаю и без
рейтингов
Нет, всю необходимую информацию
о школах/садах я знаю и без
рейтингов
14,5
Нет, рейтинги не показывают
достоверную реальную картинку
того, что представляет из себя
школа/детский сад и как она
работает
Нет, это не информативно, рейтинги
ничего не дают
Да, зная место школы/сада в
рейтинге, можно понять, чего не
хватает в нашей школе/саду и
повлиять на директора, чтобы он
улучшил ситуацию
Да, я хотела бы работать в лучшей
образовательной организации. По
результатам рейтинга я смогу
принять решение о переходе на
другое место работы
11,1
6,5
5,9
2,5
35,9
23,4
Да, я использую рейтинги для
выбора школы/сада для своих детей
Нет, это не информативно, рейтинги
ничего не дают
Да, я хотел бы дать своим детям
лучшее образование. По
результатам рейтинга я смогу
принять решение о переводе своего
ребенка в лучшую школу/детский…
Да, зная место школы/сада в
рейтинге, можно понять, чего не
хватает в нашей школе/саду и
повлиять на директора, чтобы он
улучшил ситуацию
20,1
8,1
6,7
4,3
Проблемы и риски публикации
рейтингов
Родители
Педагоги
• Недостоверность
информации в рейтингах
• Формальность оценок
• Неадекватность специфике
ОО
• Некачественное
проведение оценки
• Риски повышения расходов
• Рост коррупции
• Эмоциональное «сгорание»
педагогов
• Рост агрессивности
• Недостоверность
информации в рейтингах
• Формальность оценок
• Неадекватность специфике
ОО
• Неадекватное восприятие
родителями
• Конкуренция
• Репутационные риски
• Некачественные методики
• Сложность оценки по
субъективным критериям
• Манипуляция данными
Предпочитаемые каналы публикации
результатов сопоставительной оценки
ОО, %
На официальных сайтах школ/детских садов,
которые участвовали в рейтин
41,1
На официальных сайтах муниципальных органов
управления образованием
29,2
На официальном сайте Министерства
образования Московской области
21,9
23,0
На сайтах Администраций муниципальных
районов
13,0
16,3
9,9
10,5
В печатных СМИ (газеты, журналы)
На самых разных сайтах, посвященных
образовательной тематике
В социальных сетях, в группах посвященных теме
образования
На сайте Правительства Московской области
Издаваться отдельным буклетом
35,2
7,1
9,1
4,3
5,3
3,1
2,9
2,2
2,4
Педагоги
Родители
46,3
Предпочитаемые форматы представления
результатов сопоставительной оценки
деятельности ОО, %
Все оценки всех школ/детских садов по всем
оцениваемым параметрам, без их выстраивания
по порядку, чтобы можно было самому
построить свой рейтинг
26,5
20,6
24,4
Перечни всех школ/детских садов,
сгруппированные по муниципалитетам
20,1
32,7
Перечень только группы лучших школ/детских
садов (например, 100 или 300 лучших)
20,6
26,2
Перечень всех школ/детских садов: от «лучших»
к «худшим»
Педагоги
32,1
Родители
Где и как представляются, публикуются
результаты НОК ОО
(ответы руководителей образовательных организаций), %
Озвучиваются на общешкольном (общесадовском)
родительском собрании
Озвучиваются и обсуждаются на заседании
управляющего совета
66,9
59,2
Озвучиваются на классных родительских собраниях
37,6
Публикуются в специальном разделе нашего сайта
28,7
Публикуются на сайте, в новостной ленте
19,7
Размещаются на информационном стенде школы
11,5
Публикуются в местных СМИ
1,9
Издается специальный информационный листок,
который распространяется по классам
1,3
Другое
0,6
Публикуются в школьной газете
0,6
Рассылаются всем родителям по электронной почте
0,6
Сайт ОО используют для
информирования о
результатах НОК всего
около 35%
руководителей ОО
Достоверность отражения официальными
рейтингами реальных результатов
деятельности ОО, %
64,5
Отражают многие значимые результаты, но
не все
60,8
29,0
Практически во всём соответствуют
реальному состоянию дел
Почти не соответствуют реальному
состоянию дел
Совершенно не отражают реального
состояния дел
23,4
4,0
10,5
2,5
5,3
Педагоги
Родители
Мнение родителей и педагогов об
опубликованном летом 2014 г. рейтинге
школ Московской области, %
Я бы принял ту версию рейтинга, которую
разработают специалисты
55,8
51,7
Я бы немного изменил набор критериев,
характеристик по которым оцениваются
школы, детские сады
28,8
22,5
Я бы не стал участвовать в построении
рейтинга, потому что рейтинги не нужны
Я бы сделал совсем другой рейтинг и
оценивал бы в нём совсем другие
характеристики деятельности ОО
Другое
9,0
17,7
5,6
4,8
0,7
3,3
Педагоги
Родители
Чья оценка точнее всего отражает
реальное положение дел в ОО, %
Оценка, сделанная внешними
специалистами, профессионалами в
области оценки качества образования
29,3
32,1
Оценка, сделанная родителями и
учениками/воспитанниками этой
школы/сада
20,4
31,1
Оценка, сделанная педагогами и
администрацией этой школы/сада
31,5
23,4
Оценка, сделанная руководителями и
сотрудниками органов управления
образования
Другое, в т.ч.:
10,8
10,0
8,0
3,3
Педагоги
Родители
Готовность родителей принять
участие в НОК, %
Да, готовы, если их попросит об этом
администрация школы/сада
42,6
39,2
Нет, не готовы. У них нет необходимых
знаний и компетенций
28,7
34,0
Нет, не готовы. У них нет на это ни времени,
ни желания
12,3
17,2
Да, готовы, если их попросят об этом
другие родители нашей школы/сада,
например, члены управляющего совета
9,0
6,7
Педагоги
Они уже занимаются такой оценкой
7,4
2,9
Родители
Мнение руководителей
ОО об участии родителей
в НОК
Да, мы проводим массовые
опросы мнения родителей,
анкетирование
70,1
Да, при управляющем
совете создана комиссия,
которая занимается
оценкой качества работы
нашей ОО
Нет, не участвуют
Да, активные родители
сами проявили инициативу
и проводят оценку качества
деятельности нашей ОО
16,6
Способы оценки
родителями качества
деятельности ОО
Отвечают на вопросы
предложенной им
оценочной анкеты
Проводят заседания
комиссий (экспертных
групп), где смотрят,
проверяют, оценивают и
коллегиально обсуждают,
выставляемые оценки
7,6
Другое
5,7
Выставляют оценки
образовательной
организации на
специальном оценочном
сервисе на нашем сайте
84,1
10,8
4,5
0,6
Направления деятельности ОО, в оценке
которых принимают участие родители
(ответы руководителей образовательных организаций), %
Как организовано питание?
87,3
Как работают педагоги?
64,3
Как педагоги общаются с детьми?
52,2
Как организован режим дня?
48,4
Как работают кружки, секции, факультативы?
42,7
Чем кормят детей (качество продуктов и блюд)?
31,2
Насколько чисто в образовательной…
25,5
Как организована работа во внеучебное время?
22,9
Как работает администрация образовательной…
17,8
Правильно ли распределяется стимулирующая…
16,6
Как расходуются внебюджетные деньги"?
13,4
Как работают группы продленного дня?
12,1
Использование результатов рейтингов
руководителями ОО и сотрудниками
МОУО, %
Провели обсуждение результатов с педагогической
общественностью
Провели обсуждение результатов с администрацией
36,3
По результатам рейтинга был проведен анализ причин
успехов и/или неудач
Провели обсуждение результатов с родительской
общественностью
Никак не использовали
55,6
74,1
35,0
0,0
33,1
3,7
30,6
По результатам рейтинга были приняты решения по
улучшению ситуации
66,7
29,9
Разместили на сайте информацию о занятом месте
Разместили на сайте подробную информацию о
рейтинге с разъяснениями
81,5
52,2
18,5
7,0
Используем результаты рейтинга как рекламу, чтобы
привлечь внимание
0,0
5,1
В рейтингах не участвовали
3,7
4,5
37,0
51,9
Сотрудники МОУО
Руководители ОО
Формы участия и механизмы вовлечения
УЧАСТИЕ ОБЩЕСТВЕННОСТИ В
НЕЗАВИСИМОЙ ОЦЕНКЕ КАЧЕСТВА
ОБРАЗОВАНИЯ
Два взгляда на один объект
Ведомственная
• Заказчик – орган управления
образованием
Неведомственная
• Заказчик - институт гражданского
общества
Два типа общественного участия
Институциональное
• Общественные советы при органах
власти
• постоянно действующие
• целевые
• Советы в ОО
• управляющие
• наблюдательные
• попечительские
• иные
Массовое
• Неорганизованное (стихийное)
• Организованное
• краудсорсинг
• опросы
Институализированная
• Малочисленность
• Ангажированность
• «Узость»
Неинституализированная
• Дифференцированность
• Неорганизованность
• Пассивность
• «Эмоциональность»
• Неартикулированность запросов
Основные позиции субъектов НОК
Ведомство/подведомственные орг-ии
Заказчик
Оператор
Общественные Советы/Палаты и др.
НКО (в т.ч. общественные организации)
Коммерческие рейтинговые агентства
Эксперт
СМИ (федеральные, региональные,
местные)
Иные субъекты, в т.ч. физические лица
Этапы независимой
оценки
Заказ / ТЗ / ГК
Разработка методики / Экспертиза
Сбор сведений, данных / Проведение оценки
Обработка результатов / Построение рейтинга
Публикация результатов / Продвижение / Обсуждение
Анализ результатов
Подготовка рекомендаций / Принятие решений
Контроль за реализацией
Зачем школе/детскому саду НОК?
Внутренняя неудовлетворенность ситуацией в ОО или
имиджем ОО в ближайшем социальном пространстве:
поиск причин
Неадекватность «чужих» оценок:
опровержение или подтверждение
Кому адресовать заказ?
Учредитель школы, орган управления образованием
(муниципальный или региональный)
• сложно уговорить
• возможен конфликт интересов
Внешние организации: коммерческие рейтинговые агентства,
социально ориентированные НКО, СМИ, независимые экспертные
группы и т.п.
• отсутствие квалифицированных игроков
• высокие цены на работы
Активная общественность (органы ГОУ) сама проводит оценку
• недостаток компетенций
Не целесообразно
привлекать к проведению
независимой оценки школы её
руководителей и педагогов
Механизмы вовлечения общественности в НОК
 Формирование прецедентов участия общественности в НОК, с
целью снятия страхов и формирования позитивных качественных
примеров
 Стимулирование активности общественных организаций с помощью
гос.заказа на НОК ОО
 Повышение компетентности заинтересованных субъектов через
обучение
 Сертификация организаций, занимающихся НОК ОО
 Методическая и информационная поддержка
 Нормативно-правовая поддержка деятельности общественных
субъектов рейтингования ОО
 Обеспечение открытости методик, процедур, результатов НОК
(рейтингов) и эффектов от их учета при разработке программ
развития образовательной сферы
 Формирование и организация деятельности коммуникативных
площадок для обсуждения процессов и результатов НОК
 Повышение заинтересованности потребителей в публичных
оценках (в т.ч. через учет интересов потребителей, прикладной
характер результатов оценки, дизайн публикаций)
Механизмы включения общественности в
НОК на уровне ОО (индекс эффективности, max=100)
Проводим анкетирование по классам, группам
81,1
Проводим представление и обсуждение результатов
оценки на родительских собраниях
79,3
Проводим устные опросы, интервью родителей
77,4
Рассказываем родителям, какие у них есть права и
возможности принять участие в НОК ОО
75,1
Персонально просим принять участие в оценке
73,1
Публикуем результаты оценки на сайте нашей ОО
Обсуждаем с родителями результаты других внешних
оценок нашей ОО
Публикуем на сайте результаты других внешних оценок
нашей ОО
Готовим и публикуем отчет о мерах, принятых по
результатам проведенной оценки
Создаем специальные общественные экспертные
группы, комиссии при органах ГОУ
Приглашаем всех желающих принять участие в работе
экспертных общественных комиссий
Делаем рассылку по электронной почте с анкетой и
просьбой её заполнить
Организуем на сайте интерактивные опросы,
голосования
71,0
68,0
67,4
66,6
62,2
61,9
47,0
46,4
Возможные субъекты
• Кто может участвовать в НОК?
Функции субъектов
Проектирование • Что они делают?
сценариев участия
субъектов
Задачи субъектов
образовательных
отношений в НОК • Для чего они это делают?,
образования
Механизмы
участия
Подмосковья
• Как они это делают?
Способы мотивирования
• Как их заинтересовать?
№
Возможные
субъекты
(кто может
участвовать в
НОК?)
1
2
3
4
Функции
Задачи
(что они
делают?)
(для чего
они это
делают?)
Механизмы
участия
Способы
мотивирования
(как они это
делают?)
(как их
заинтересовать?)
Как построить грамотный рейтинг
С ЧЕГО НАЧАТЬ?
Рейтинги бывают разные…
Концепция –
система
основных
характеристик
рейтинга,
которая
описывает:
• ведущий замысел,
• конструктивный
принцип,
• методологию
реализации,
• стратегию действий
Целеполагание
Для кого?
Целевая
аудитория
Для чего?
Цель
Какими
действиями?
Задачи
1. Потребители образовательных услуг,
заинтересованные в информации о различных
аспектах деятельности системы образования и
установлении обратной связи с образовательными
организациями;
внимания к проблеме
2. Привлечение
Представители общественности
и гражданских
информационного
взаимодействия
институтов, осуществляющих свою деятельность в
образовательных
учреждений с
сфере образования;
общественностью,
перспективам
его
1.3.Формирование
критериев
оценки
школьных
Профессиональные
пользователи
– специалисты
развития,
аобразовательной
также
оценка
возможностей
сайтов
на основе
нормативных
и
сферы
удовлетворения
информационных
потребительских
параметров
информационной
запросов
пользователей,
повышения
и коммуникационной
открытости
сайтов;
эффективности
школьных
2. Выбор
направлений работы
рейтингования
школьных
информационных
ресурсов
сайтов, соответствующих
запросу
родительской
общественности;
3. Разработка системы корректной оценки и
сравнения разных объектов рейтингования и
разных способов обеспечения
информационной открытости;
4. …
Общее представление о рейтинге:
уровень рейтингования
Региональный
Муниципальный
«Пирамида»
Субъекты рейтингования
Заказчик
• Муниципальный орган
управления
• Региональное Министерство
• Муниципальный
Общественный совет
• Региональный Общественный
совет
• Профессиональная
общественность
• Неинституализированная
общественность
• Общественная организация
• Другое
Высшая школа экономики, Москва, 2014
•
•
•
•
•
•
•
Роль Общественных советов
Роль заказчика
Роль со-заказчика
Роль эксперта по отношению к
качеству рейтинга
Роль оценщика, эксперта по
отношению к
образовательным
организациям
Роль потребителя,
использующего результаты
рейтинга
Другое
Никакой
Материалы для публикации
•
•
•
Концепция рейтинга
Методика (вся)
Только критерии, по которым будут
оцениваться ОО
• Формулы расчета итоговых индексов
• Инструменты оценивания
• Состав экспертов
• Результаты оценки всех ОО (рейтинг)
• Список всех ОО по группам
• ТОП лучших
• Аналитические материалы с
обобщенными стат. результатами
• Рекомендации по результатам
• Никакие, всё только для внутреннего
пользования
Высшая школа экономики, Москва, 2014
• Другое
Каналы информирования
• Официальные сайты МОУО
• Официальные сайты УОН ТО
• Официальные сайты
Правительства ТО
• Пользовательские сайты по
образовательной тематике
• Сайты подведомственных УОН
организаций
• СМИ
• Нигде
Степень доступности
• Любой желающий в открытом
доступе
• Любой – по запросу
• Только специалисты, имеющие
право доступа
• Никто, кроме тех, кто этот рейтинг
сделал
Кого рейтингуют?
Все ОО одного типа
• ООШ
• ДОО
• УДОД
Некоторые ОО
определенного типа
• ООШ
• ДОО
• УДОД
Принцип отбора участников
Добровольно, по решению
директора ОО
Добровольно, по решению
Управляющего совета ОО
Все, без исключения, без
права отказаться
По-другому
Другие
Высшая школа экономики, Москва, 2014
Источники данных
• Данные статистических отчетов (государственная и
административная статистика)
• Данные внешних мониторингов (проводимых,
например, Центром экспертизы и др.)
• Данные, размещенные на сайтах самих ОО
• Данные из публичных отчетов ОО или отчетов по
самообследованию
• Данные собираются дополнительно с самих ОО
• Результаты социологических опросов
• Экспертные оценки
• Другое
Целевые группы
• Для кого?
Цель
Проектирование • Для чего?
развития
независимой
Субъекты
оценке качества • Кто будет оценивать?
образования в
Объекты
Подмосковье:
«Какой рейтинг
нам нужен?»
• Кого оценивать? Какие организации?
Источники информации
• Где брать данные
Форма представления результатов
• Как представить результаты?
Татьяна Анатольевна Мерцалова
[email protected]
БЛАГОДАРЮ ЗА ВНИМАНИЕ!