Новый рейтинг российских вузов: о результатах мониторинга эффективности - 2017
На вопросы журнала «Аккредитация в образовании» ответил генеральный директор Научно-исследовательского Института мониторинга качества образования, доктор технических наук, профессор Владимир НАВОДНОВ.
- Владимир Григорьевич, к каким выводам вы пришли, анализируя итоги мониторинга эффективности деятельности вузов 2017 года?
- Выводы, как говорится, неутешительные.
Во-первых, вырисовывается нелицеприятная статистика. В этом году мониторинг проводился в пятый раз. За это время, с 2013 года по 2017-й, российская система высшего образования потеряла около тысячи вузов и филиалов. Получается, исключая выходные и праздники, в среднем каждый рабочий день Рособрнадзор закрывал одну образовательную организацию. Такого процесса никогда в истории не было. Надо сказать, не только в России, а вообще нигде.
Во-вторых, «информационный шум» (огромное количество данных), постоянные изменения правил игры и методик расчета не позволяют образовательным организациям оперативно моделировать и прогнозировать свои показатели.
- В таком случае имеет ли смысл делать какие-то прогнозы?
- Считаю, что всё-таки да. Надо быть хоть как-то морально готовым к не очень предсказуемой реальности.
Более того, нами создано такое программное обеспечение, которое позволяет с определенной степенью вероятности моделировать будущие ситуации. Но сначала - не об этом. Давайте посмотрим на технологическую цепочку составления рейтинга.
Любое рейтинговое агентство должно решить четыре задачи:
- формирование показателей;
- сбор данных по обозначенным показателям;
- верификация данных;
- расчеты, построение рейтинга.
Три задачи из четырех решило профильное министерство. Первое, формулировка показателей - это очень важно. По сути, это задание вектора развития системы, системы взглядов на развитие образования в стране. Второе, тяжелейшая задача - собрать данные. Это может делаться по открытым источникам или путем специализированного сбора. Задача решается, но как показал опыт, есть огромное количество несоответствий. Третье, проводится верификация данных. Ну и, наконец, все расчеты сводятся к делению на «эффективные» и «неэффективные» вузы.
- Достаточно грубое деление.
- Очень грубое. Ведь что получается? Есть вузы, легко преодолевшие все пороговые знамения, есть преодолевшие с большим трудом, есть почти преодолевшие и есть не преодолевшие почти по всем показателям. В связи с эти возникает задача - описать более тонкий инструмент деления на группы или. иначе говоря, лиги, а не валить всё в одну кучу.
- По результатам мониторинга эффективности 2016 года вы построили таблицу семи лиг. Составлялся ли подобный рейтинг по результатам 2017 года?
- Да, мы продолжили эту работу, усовершенствовали методику, и 7 лиг оказалось недостаточно, сделали 10.
Поясню. Публикация «Семь оттенков мониторинга»1 вызвала огромный интерес, было много звонков, обращений. Особенно по формированию последней, 7-й лиги, куда попали все «неэффективные» вузы. Она оказалась очень большой: от тех вузов, которые «чуть-чуть не дотянули до эффективных», до тех, кто действительно очень плохо выглядит. Поэтому возникла задача расширить количество лиг. Хочу подчеркнуть, что выбор количества лиг - это дело разработчиков. Пока мы остановились на 10. Посмотрим, как этот механизм будет работать.
- Что нового в этом году по сравнению с прошлым?
- Во-первых, была усовершенствована методика за счет увеличения количества лиг и введения дополнительных параметров, которые необходимы для расчета. Во-вторых, были сделаны расчеты не только по новым данным за 2017 год. но и «расчеты назад» за все пять лет проведения мониторинга. Это позволяет анализировать развитие системы образования.
Напомню, что в основу легла методика государственной аккредитации для определения пороговых значений'. Правда, когда двадцать лет назад она создавалась, в качестве порогового значения предлагалась нижняя квартиль, которая по каждому аккредитационному показателю делила вузы на 75 % лучших и 25 % худших. В мониторинге в качестве порогового значения была взята медиана, разделившая вузы пополам: на 50 % лучших и 50 % худших. По каждому показателю мониторинга эффективности вуз попадает в одну из четырех групп: А - 25 % лучших. В - если входит в 50 % лучших, но не входит в область А, С - если значение показателя выше порогового, но не входит ни в область А. ни в область В. и. наконец, й - если значение показателя ниже порогового. Плюс в этом году мы добавили оценку Е - значение показателя ниже нижней квартили и не входит в область О.
Каждая образовательная организация получила по показателям мониторинга определенный набор оценок. Вручную это сделать необычайно тяжело, поэтому было создано специальное программное обеспечение.
Оно получило название LiftUp. размещено на сайте msd-nica.ru, и любой желающий может им воспользоваться. Причем не только для анализа текущего состояния и сопоставления с предыдущими результатами, но и для прогноза и моделирования будущих результатов мониторинга эффективности.
- Что же показывают результаты? Перемещаются ли образовательные организации по лигам?
- Удивительный результат: в 2017 году только Российский государственный университет нефти и газа (национальный исследовательский университет) им. И М. Губкина получил все оценки «А» и оказался единственным вузом первой лиги. Кстати сказать, он занимает эти лидирующие позиции уже третий год подряд.
В целом произошедшие изменения можно отследить на сайте msd-nica.ru, где полная версия рейтинга по результатам мониторинга эффективности представлена в форме таблицы лиг.
Если мы посмотрим распределение вузов по лигам, то увидим, что оно близко к нормальному. То есть в 1-2-й и 9-10-й лигах достаточно мало вузов. а основная масса сосредоточена в 4-6-й лигах. Мы сделали таблицы, в которых приведено, как в течение пяти лет менялось количество вузов по лигам. Однозначного сравнения здесь не происходит. Наблюдается вот такой эффект: количество вузов, по которым есть данные на сайте министерства, разное. В первый год было обработано 1874 образовательные организации, затем количество падает, и это было бы вполне обосновано, поскольку количество вузов и их филиалов сокращается. но вот почему-то в 2016 году произошел всплеск - количество обработанных организаций увеличилось, а в 2017 году снова упало. Поэтому, видимо, здесь имеет смысл говорить не о количественном сравнении, а о процентном соотношении.
Плохая новость состоит в том. что стало меньше лидеров, но хорошая новость - уменьшилось количество отстающих. Резко уменьшилось количество вузов и филиалов, находящихся в »красной зоне». Это лиги 8-10. Много есть тому причин. Одна из них. что их просто, действительно, стало меньше - слабые вузы и филиалы закрыты. Во-вторых, часть результатов была не обработана. Ну и надо сказать, что всё-таки система реагирует. Пять лет мониторинг проводится. Вузы подстраиваются под те правила, которые есть сегодня, и подтягивают свои показатели - вполне закономерный процесс. Но. к сожалению. нельзя сказать, что он идет ровно по годам. Много, конечно, зависит от правил игры, они из года в год меняются. Но вместе с тем. правила одинаковые для всех, поэтому все находятся в одинаковых условиях.
На сайте msd-nica.ru представлена также дополнительная возможность проанализировать информацию не только по лигам, но и по субъектам федерации. И можно посмотреть динамику конкретного вуза по годам, сравнив его, допустим, не только с региональными конкурентами или по федеральному округу, но и по профилю: например, медицинские с медицинскими.
- Интересно, какие показатели оказались самыми трудновыполнимыми в этом году?
- На первом месте по невыполнению ожидаемо показатель - Трудоустройство»: он ниже порогового значения у каждой второй организации. Но. похоже, проблема не на стороне вузов. Взять хотя бы данные, представленные по трудоустройству выпускников Московского государственного университета им. М.В. Ломоносова. Не может быть, чтобы они были нулевые, а в таблице именно так.
Беседовала Екатерина СИНДЕЕВА.
Фрагмент статьи из журнала "Аккредитация в образовании" №6 (98) 2017 г.
Методика рейтинга:
По каждому из множества значений показателей эффективности вузов (с учетом специфики) проводится ранжирование в порядке убывания значений показателя.
Выделяются 5 областей (A, B, C, D, E). Для каждой области присваивается вес:
• Область A - значение показателя выше значения 1-ой квартили. Вес +5
• Область B - значение показателя выше порогового и выше медианы, но не входит в область A. Вес +3
• Область C - значение показателя выше порогового, но не входит в область A и B. Вес +2
• Область D - значение показателя ниже порогового, но выше 3-ей квартили. Вес 0
• Область E - значение показателя ниже порогового и не входит в область D. Вес -1
На основе попадания значений показателей в области вычисляется индекс J, как сумма весов принадлежности к областям.
Если значение показателя выше порогового, то он обозначается значком , иначе значком
Если ВУЗ выполнил 4 и более показателей (эффективный), то он обозначается значком , иначе значком
Всего выделяется 10 лиг:
• Лига 1: Эффективные ВУЗы у которых J = 35
• Лига 2: Эффективные ВУЗы у которых 29 <= J <= 34
• Лига 3: Эффективные ВУЗы у которых 22 <= J <= 28
• Лига 4: Эффективные ВУЗы у которых 18 <= J <= 21
• Лига 5: Эффективные ВУЗы у которых 13 <= J <= 17
• Лига 6: Эффективные ВУЗы у которых 9 <= J <= 12
• Лига 7: Эффективные ВУЗы у которых 0 <= J <= 8
• Лига 8: ВУЗы, которые выполнили менее 4-x показателей и 4 <= J <= 13
• Лига 9: ВУЗы, которые выполнили менее 4-x показателей и 1 <= J <= 3
• Лига 10: ВУЗы, которые выполнили менее 4-x показателей и J <= 0
Полная версия публикации во вложении
