Методология

Методологические подходы составления рейтинга вузов СНГ

Предпосылки

Решение о необходимости подготовки рейтинга вузов СНГ «Эксперт РА» принял в начале 2013 года. Целесообразность проведения исследования вызвана дефицитом актуальной информации и отсутствием адекватных ориентиров конкурентоспособности вузов на пространстве СНГ. Так, наиболее известные на сегодня британские рейтинги THE WUR и QS WUR, а также китайский ARWU рассматривают крайне ограниченное количество вузов на пространстве СНГ. Кроме того, методики данных рейтингов уделяют большее внимание научной, а не образовательной деятельности, что противоречит традициям развития высшей школы в странах СНГ и идет вразрез с национальными особенностями.

При обсуждении контуров методики рейтинга с представителями научного и академического сообщества весной 2013 года было отмечено два фундаментальных недостатка существовавших рейтинговых измерений. Во-первых, международные рейтинги не проводят оценку репутации вузов на страновом уровне – среди преподавателей, ученых и работодателей конкретной страны. Это представляется в корне неверным, так как репутация вуза в своей стране обязательно должна учитываться при ранжировании университетов.

Во-вторых, международные рейтинги не рассматривают востребованность выпускников вузов стран СНГ на локальных рынках труда. Между тем именно подготовка кадров для национальных экономик является одной из ключевых задач высших учебных заведений СНГ, и игнорировать эту миссию университетов недопустимо.

Исправление указанных фундаментальных недостатков стало ключевым вызовом для рейтингового агентства «Эксперт РА» и нашло прямое отражение при формировании рейтинга вузов СНГ. Отличительными чертами рейтинга стали:

• повышенное внимание к изучению условий для обеспечения высокого качества образования;
• анализ успешности выпускников на рынках труда, главным образом – в своих странах;
• присутствие не только международных, но и страновых критериев оценки, учитывающих различия систем высшей школы в СНГ;
• исследование репутации рассматриваемых вузов как на страновом уровне, так и на международном уровне, отражающем восприятие вуза в других странах СНГ.

Рейтинг вузов СНГ «Эксперта РА» представляет собой независимую оценку деятельности высших учебных заведений. «Эксперт РА» – полноправный член-участник IREG Observatory, наиболее влиятельной международной ассоциации в области ранжирования университетов. Методологические подходы «Эксперта РА» при формировании рейтинга вузов стран постсоветского пространства обсуждались в широком кругу экспертов, в частности, получили высокую оценку участников на заседании Совета по образованию при интеграционном комитете ЕврАзЭС.

Объект оценки

Главная миссия университетов – давать обучающимся знания, навыки и умения – остается неизменной и универсальной вне зависимости от времени или типа университета (научно-исследовательский университет или организация, фокусирующаяся на подготовке бакалавров для рынка труда). Ключевым в приведенной триаде являются именно знания, так как они также приводят к развитию навыков и умений.

Для терминологического определения понятия «знания» уместно использовать иерархию, предложенную Расселом Л. Акоффом (профессор Wharton School University of Pennsylvania, известный ученый в областях исследования операций и теории систем). Иерархия состоит из 5 уровней, она дополнила известную пирамиду DIKW (англ., data, information, knowledge, wisdom — данные, информация, знания, мудрость) важнейшим промежуточным звеном understanding (понимание). Под «пониманием» подразумевается понимание причинно-следственных связей, возможность генерировать новые знания с помощью ранее полученных знаний.

Учить пониманию, то есть наделить знанием, основанным на мыслительной работе, а не на заучивании, знанием, способным привести к генерации нового знания, – это высшая цель ведущих университетов.

Цель составления рейтинга вузов – оценить способность университетов обеспечивать выпускникам высокое качество знаний, навыков и умений, исходя из условий для их получения и результатов применения.

Рейтинг вузов «Эксперта РА» – интегральная оценка качества подготовки выпускников, определяемая количественными параметрами образовательной и научно-исследовательской деятельности вузов и качественными характеристиками, отражающими мнение ключевых референтных групп: работодателей, представителей академических и научных кругов, а также студентов и выпускников. В рейтинге не могут участвовать вузы творческой и спортивной направленности, а также учебные заведения силовых ведомств.

Порядок сбора информации и расчета рейтинга

На первом этапе подготовки рейтинга вузов СНГ в июле 2013 года был сформирован шорт-лист 195 вузов: на основании рейтинга Webometrics в него включены лучшие вузы Белоруссии, Казахстана, России, Украины и других государств содружества. Достаточные основания для включения вуза в шорт-лист: если вуз является одним из трех наиболее высоко оцененных вузов страны по оценке Webometrics, или если вуз вошел в топ-5000 университетов мирового рейтинга Webometrics. Для российских вузов применялся дополнительный фильтр отбора: вуз, не входившие в топ-100 рейтинга вузов России «Эксперта РА», в шорт-лист не включались.

К дальнейшему участию в рейтинге были допущены вузы, приславшие заполненную анкету по запросу «Эксперта РА» (154 вуза). Оценка одного из них (Американского университета Армении) не производилась, так как вуз не предоставил статистические данные по реализации программ бакалавриата. Наряду с анкетированием для исследования репутации вузов с августа по декабрь 2013 года на портале www.OIU.ru были проведены опросы представителей академических и научных кругов, а также работодателей, студентов и выпускников. Всего в опросах было задействовано свыше 5,5 тысяч респондентов, представляющих все страны – участницы рейтинга. Помимо этого, осуществляется сбор данных из наукометрических систем и открытых источников.

Определение рейтингового класса происходит на базе анализа следующих интегральных факторов, характеризующих качество знаний, навыков и умений выпускников:

1. условия для получения качественного образования в вузе (вес = 0,5);
2. уровень востребованности работодателями выпускников вуза (вес = 0,3);
3. уровень научно-исследовательской активности вуза (вес = 0,2).

Значение каждого из интегральных факторов определяется группами показателей, которые, в свою очередь, объединяют показатели, характеризующие ситуацию по важнейшим аспектам деятельности вуза. Фактор «условия для получения качественного образования в вузе» определяется группами: «уровень преподавания» (вес = 0,17), «международная интеграция» (вес = 0,17), «востребованность среди абитуриентов» (вес = 0,17). Фактор «уровень востребованности работодателями выпускников вуза» определяется группами: «качество карьеры выпускников» (вес = 0,15) и «сотрудничество с работодателями» (вес = 0,15). Фактор «уровень научно-исследовательской активности» определяется группами «инновационная активность» (вес = 0,1), «научные достижения» (вес = 0,1). Веса конкретных показателей, входящих в группу, в рамках группы одинаковы.

Значение параметра вуза по каждому конкретному показателю может оказывать либо позитивное, либо негативное, либо нейтральное влияние на рейтинговую оценку. Если, с учетом страновой особенности, критерий не применим к вузам конкретной страны, то влияние параметра вуза на рейтинговую оценку расценивается как нейтральное.

Результат оценки вуза по указанным факторам служит основанием для отнесения рассматриваемого вуза к одному из следующих рейтинговых классов – A, B, C, D или E. Рейтинговый класс А означает исключительно высокий уровень подготовки выпускников, рейтинговый класс В – очень высокий уровень подготовки выпускников, рейтинговые классы C, D и E отражают высокий, приемлемый и достаточный уровни подготовки выпускников соответственно.

Система критериев оценки вузов СНГ

Рейтинговый фактор 1: условия для получения качественного образования

Группа: уровень преподавания
№	Наименование критерия	Тип критерия*
1	Доля штатных преподавателей – лауреатов международных премий (%; учитываются Нобелевская премия, Филдсовская премия, Абелевская премия, премия Декарта и премия Академии наук страны)	международный
2	Количество штатных преподавателей в расчете на 1 студента**	международный
3	Оценка представителями академических кругов уровня преподавания в вузах(на страновом уровне)	страновой
4	Оценка представителями академических кругов уровня преподавания в вузах на международном уровне	международный
5	Доля студентов 1-го курса, получивших льготы при поступлении на основании участия/победы в международных олимпиадах, по отношению к общему количеству зачисленных на 1-й курс	международный
6	Средняя базовая стоимость обучения на 1-м курсе по очным программам бакалавриата по сравнению с другими вузами страны (эквивалент тысяч долларов в год)	страновой
7	Средний балл государственного экзамена абитуриентов, зачисленных по конкурсу на очную форму обучения в вуз на бюджетной основе, по сравнению с другими вузами страны	страновой
Группа: международная интеграция
8	Доля иностранных студентов в вузе по отношению к общему количеству студентов (в том числе из стран за пределами СНГ)	международный
9	Индекс международных образовательных программ двух дипломов (бакалавриат, специалитет и магистратура) – отношение количества программ двух дипломов к общей численности студентов	международный
10	Доля привлеченных магистрантов – выпускников программ бакалавриата и специалитета других стран (% от общего количества зачисленных магистрантов)	международный
11	Оценка представителями академических кругов уровня международной интеграции вузов	международный

Рейтинговый фактор 2: уровень востребованности выпускников работодателями

Группа: качество карьеры выпускников
12	Оценка студентами и выпускниками качества прикладных знаний и навыков выпускников	страновой
13	Оценка студентами и выпускниками способности выпускников вуза приобретать новые знания и навыки	страновой
14	Оценка студентами и выпускниками уровня преференций выпускников вуза на рынке труда	страновой
15	Оценка работодателями качества прикладных знаний и навыков выпускников	страновой
16	Оценка работодателями возможностей выпускников вуза для карьерного роста	страновой
17	Оценка работодателями интенсивности сотрудничества вуза с работодателями (на национальном уровне)	страновой
18	Индекс программ дополнительного образования (произведение количества прошедших обучение по программам дополнительного профессионального образования, профессиональной подготовки, на курсах целевого назначения за счет средств компании-работодателя в рассматриваемом учебном году и суммарной длительности обучения по данным программам, приведенной к 72-часовому интервалу)	международный

Рейтинговый фактор 3: уровень научно-исследовательской активности

Группа: научные достижения
19	Количество публикаций на единицу научно-педагогических работников с 2009 года (Scopus)	международный
20	Количество цитирований с 2009 года на единицу научно-педагогических работников (Scopus)	международный
21	Количество цитирований на одну статью с 2009 года (Scopus)	международный
22	Доля студентов – финалистов и победителей международных студенческих олимпиад	международный
23	Оценка представителями академического, научного и инновационного сообщества популярности научных публикаций сотрудников вуза	международный
Группа: инновационная активность
24	Количество малых инновационных предприятий, созданных при вузе с 2009 года с выручкой более $1 млн	страновой
25	Объем бюджета, привлеченного на НИОКР (R&D) в 2012 году	международный
26	Годовой бюджет международных исследовательских проектов, осуществляемых совместно с учеными из других стран и финансируемых совместно с зарубежными организациями	международный
27	Доля студентов, занятых в НИОКР вуза на платной основе, по отношению к общему числу студентов	международный
28	Оценка представителями научного и инновационного сообщества степени вовлеченности вуза в научные исследования по заказу сторонних организаций	страновой
29	Оценка академическим, научным и инновационным сообществом общего уровня научно-исследовательской активности на страновом уровне	страновой
30	Оценка академическим, научным и инновационным сообществом общего уровня научно-исследовательской активности на международном уровне	международный

* Международные критерии – критерии, по которым возможно сравнение позиций вузов из разных стран; параметры международных критериев сопоставимы и не нуждаются в корректировке/приведении. Страновые критерии – критерии, по которым сравниваются позиции вузов в рамках одной страны.

** Обучающиеся по программам бакалавриата, специалитета и магистратуры.