Методология Московского международного рейтинга вузов «Три миссии университета»

2020 год

Первый проект методологии Московского международного рейтинга вузов был сформирован по итогам масштабного общественного обсуждения, в котором приняли участие свыше 100 организаций – университетов, советов ректоров, экспертных ассоциаций и рейтинговых агентств. Перечень критериев рейтинга был представлен к рассмотрению Международному экспертному совету рейтинга, в который входят 25 авторитетных специалистов в сфере высшей школы, представляющих США, Великобританию, Бразилию, Китай, Индию, ЮАР, Иран, Италию, Бельгию, Турцию, Польшу и Россию.

После выхода в декабре 2017 года пилотной версии рейтинга консультации с экспертами были продолжены. По итогам обратной связи некоторые показатели рейтинга подверглись коррективам, а список университетов-участников рейтинга был расширен до 500 университетов. В 2019 году в шорт-лист вошло более 1700 вузов, в 2020 г. – свыше 1800 вузов, представляющих 110 стран и территорий.

Шорт-лист участников

Основу шорт-листа Московского международного рейтинга вузов в 2020 году составил шорт-лист рейтинга 2019 года, в который вошло около 1700 вузов. Количество вузов, представляющих страну, определялось пропорционально вкладу страны в мировую экономику. В 2019 году в перечень оцениваемых вузов вошло более 1700 университетов, занимающих ведущие позиции в глобальных рейтингах университетов и/или лидирующих в национальных академических рейтингах из списка IREG Inventory of National Rankings. В ряде случаев отбор осуществлялся на основании количества научных публикаций вуза за период 2015–2018 гг., индексированных реферативной базой Web of Science Core Collection, согласно данным, полученным с помощью аналитического инструмента InCites. При этом из рассмотрения были исключены узкопрофильные вузы, то есть те из них, которые не имеют образовательных программ в как минимум двух из шести областей знания по классификации ОЭСР, и вузы, не имеющие бакалаврских, магистерских программ и программ Ph.D. (аспирантуры) либо их эквивалентов. Впоследствии из шорт-листа были исключены вузы, численность обучающихся в которых составляет менее 500 человек.

Изменения в системе критериев и методике расчета

В методологию рейтинга в 2020 году был внесен ряд изменений, которые коснулись перечня критериев, их весов и используемых источников. Из перечня были исключен индикатор «Нормализованные просмотры научных публикаций». Повысился вес критериев, измеряющих количество научных премий из списка IREG у НПР и выпускников университета (с 6% до 7%), а также среднюю нормализованную цитируемость на национальном уровне (3% вместо 2%). Был снижен вес индикаторов «Общее количество страниц веб-сайта университета, индексированных ведущими поисковыми системами» (с 4% до 3%) и «Количество подписчиков аккаунта университета в социальных сетях» (с 4% до 3%). В группу «Университет и общество» был добавлен измеряющий информационную открытость показатель «Транспарентность» с весом 2%. Список олимпиад, которые учитываются при расчете критерия «Количество побед обучающихся в вузе на международных студенческих олимпиадах», дополнен студенческим соревнованием Global Investment Banking Valuation Olympiad (финансы) и конкурсом LafargeHolcim Awards (архитектура и строительство).

Источники данных

Для составления рейтинга использовались только объективные критерии, одобренные международными экспертами; репутационные опросы полностью исключены. Источниками информации стали открытые данные официальных сайтов университетов и национальных органов власти, а также данные независимых международных источников: Clarivate Analytics (поставщик данных и метрик из InCites и Global Institutional Profiles Project (GIPP)); онлайн-платформы массового образования Coursera и edX; общедоступная многоязычная универсальная энциклопедия «Википедия»; поисковые системы Google, «Яндекс», Baidu; социальные сети Facebook, Twitter, VK, Sina Weibo; компания Alexa, один из мировых лидеров в области веб-аналитики; веб-сайты международных олимпиад студентов; веб-сайты научных премий из списка IREG List of International Academic Awards.

Расчёт рейтинга

Суммарный вес показателей групп составляет: 45% у группы «Образование», 25% у группы «Наука» и 30% у группы «Университет и общество».

По каждому показателю рассчитывался балл вуза, характеризующий его позицию относительно конкурентов. Расчет осуществлялся двумя способами:

1) для нормализованных показателей (глобальная и национальная цитируемость, доля публикаций и транспарентность) балл вузов-участников рассчитывался по формуле:

 

где:

xi – балл i-го показателя;

ai – значение i-го показателя;

amax – максимальное значение i-го показателя;

amin – минимальное значение i-го показателя.

2) в случаях, когда линейный расчет неприменим, использовались методы нормализации данных.

Впоследствии баллы, набранные вузами по каждому из показателей рейтинга, умножались на соответствующие весовые коэффициенты. После этого взвешенные баллы вузов по всем показателям суммировались:

 

где:

f – рейтинговый функционал (балл);

xi – балл i-го показателя;

nx – количество показателей рейтинга;

vi – вес i-го показателя.

 

Критерии Московского международного рейтинга вузов «Три миссии университета», 2020 г.

 

Наименование критерия

Что измеряется

Вес критерия, %

Смысл критерия и обоснование его использования

Источник данных

Особенности учета

  1. Группа критериев «Образование»

1.

Количество побед обучающихся в вузе на международных студенческих олимпиадах

Конкурентоспособность студентов

7

В отличие от привычных наукометрических показателей, измеряющих успехи сотрудников вузов, инновационный критерий Московского рейтинга позволяет измерить конкурентоспособность самих студентов. Критерий показывает качество знаний, навыков и умений, полученных студентами в процессе обучения, и способность студентов применять эти ресурсы для решения сложных задач. Количество победителей международных студенческих олимпиад и других престижных международных соревнований не может быть большим, тем не менее число победителей и призеров престижных соревнований способно концентрированно показать результативность образования и возможности студентов вуза для прорывных научных исследований.

Веб-сайты международных олимпиад

Определялось количество побед в личных и командных состязаниях на 17 международных студенческих олимпиадах* в период с 2015 г. по 2019 г. аналогично «медальному зачету» Олимпийских игр (учитывались победители и призеры олимпиад). При этом каждой олимпиаде присваивался вес в зависимости от странового охвата (максимальный вес 1,00 имеет ACM ICPC, в которой участвуют студенты из более чем 100 стран; минимальный вес 0,09 имеют NSUCRYPTO и Belgrade Business International Case Competition, в которых участвуют студенты из 9 стран). Полученные взвешенные значения суммировались.

2.

Доля иностранных студентов в общем количестве студентов

Привлекательность для иностранных студентов

8

Индикатор, показывающий долю иностранных студентов в общем количестве студентов, широко используется в существующих академических рейтингах.

Веб-сайты университетов и органов власти

Иностранные студенты, обучающиеся на очной и очно-заочной формах обучения по программам бакалавриата, специалитета, магистратуры и программ подготовки кадров высшей квалификации, которые провели в университете более 3 месяцев в рассматриваемом году. (приводится к общей численности студентов, обучающихся на очной форме программ бакалавриата, специалитета, магистратуры и программ подготовки кадров высшей квалификации (ISCED-2011 Levels 6-8). Численность студентов рассчитывалась с приведением к эквиваленту полной нагрузки (full-time equivalent).

3.

Отношение бюджета вуза к количеству студентов

Финансовые ресурсы

15

Этот критерий измеряет уровень финансового благополучия вуза. Чем выше значение показателя, тем шире спектр возможностей у вуза для реализации трех основных миссий – образовательной, научной, общественной.

Веб-сайты университетов и органов власти

В связи с тем, что в разных странах стоимость продукции, работ и услуг может сильно различаться, расчет бюджета производился по паритету покупательной способности, определенному Всемирным банком (в случае отсутствия – паритету по данным ОЭСР). Учитывались студенты очной и очно-заочной форм обучения программ бакалавриата, специалитета, магистратуры и программ подготовки кадров высшей квалификации (ISCED-2011 Levels 6-8).

Численность студентов рассчитывалась с приведением к эквиваленту полной нагрузки (full-time equivalent).

4.

Отношение количества НПР к количеству студентов

Кадровые ресурсы

15

Показатель фактически измеряет степень кадровой обеспеченности университета. Чем больше преподавателей и научных работников приходится в расчете на студента, тем больше внимания сотрудники вуза могут уделить каждому студенту и, следовательно, тем лучше условия в вузе.

Веб-сайты университетов и органов власти

Численность научно-педагогических работников (профессорско-преподавательский состав и научные работники) рассчитывалась с приведением к полной ставке (full-time equivalent). При расчете численности студентов учитывалась численность обучающихся на очной и очно-заочной формах программ бакалавриата, специалитета, магистратуры и программ подготовки кадров высшей квалификации (ISCED-2011 Levels 6-8) и приводилась к эквиваленту полной нагрузки (full-time equivalent).

  1. IГруппа критериев «Наука»

5.

Количество научных премий из списка IREG у НПР и выпускников университета

Выдающиеся научные достижения

7

Предлагаемая метрика является развитием подхода, предложенного шанхайским рейтингом. Фундаментально идея подсчета количества лауреатов престижных премий для оценки научного потенциала вуза верна. Однако учет только Нобелевских премий и Филдсовской премии сильно ограничивает возможности для оценки вуза. Поэтому при составлении рейтинга используется список IREG List of International Academic Awards, в котором учтено 99 наиболее престижных в мире научных наград (с возможным расширением списка учитываемых премий в дальнейшем).

Веб-сайты международных премий

Определялось взвешенное количество премий из списка IREG List of International Academic Awards, полученных сотрудниками и выпускниками университетов в период с 2000 г. по 2019 г. Учитывались только сотрудники, находившиеся в штате вуза на момент вручения награды. В качестве выпускников учитывались лица, успешно прошедшие обучение в бакалавриате, магистратуре и аспирантуре вуза (и на программах, эквивалентных перечисленным).

6.

Средняя нормализованная цитируемость (глобальный уровень)

Качество научных публикаций (международный уровень)

10

Нормализованная цитируемость количественно показывает, насколько лучше или хуже, чем в среднем в мире, цитируется конкретная публикация по сравнению с работами того же типа, той же области знания и года публикации. Индикатор показывает, насколько научно-исследовательская деятельность вуза востребована глобальным научным сообществом, отражая ее актуальность и качество. Показатели нормализованной цитируемости широко используются при составлении академических рейтингов.

Web of Science Core Collection

Учитывались публикации за 2015–2018 гг. Расчет нормализованной цитируемости осуществлялся отдельно по 6 укрупненным областям знаний согласно классификации ОЭСР (естественные науки, инженерные и технические науки, медицинские науки, сельскохозяйственные науки, общественные науки, гуманитарные науки). После этого полученные показатели по всем областям знаний суммировались.

7.

Средняя нормализованная цитируемость (национальный уровень)

Качество научных публикаций (национальный уровень)

3

Индикатор свидетельствует о том, насколько научно-исследовательская деятельность вуза востребована научным сообществом страны расположения университета. Введение данного критерия в систему показателей позволяет лучше учитывать достижения национальных научных школ и точнее измерять результаты в гуманитарных областях.

Web of Science Core Collection

Учитывались публикации за 2015–2018 гг. Расчет этого показателя отличается от расчета показателя средней нормализованной цитируемости на глобальном уровне тем, что для каждой из 6 областей знания рассчитывалось отношение средней нормализованной цитируемости вуза к аналогичному показателю страны. Итоговый балл считался как отношение результата вуза к лучшему результату среди университетов страны расположения вуза.

8.

Отношение дохода от исследований к числу НПР

Вовлеченность сотрудников в научные исследования и разработки

5

Индикатор фактически показывает, какой объем средств, привлеченных на исследования и разработки, приходится на одного сотрудника. Чем больше объем привлеченных средств в расчете на сотрудника, тем востребованнее научные исследования университета. Для университетов, собирающих данные по расходам, а не доходам, предусмотрен расчет показателя по расходам (бюджету) на НПР.

Веб-сайты университетов и органов власти

Учитывался объем средств, привлеченных университетом на научные исследования и разработки. В эту сумму не входят иные составляющие, такие как доход от образовательной деятельности, инвестиций, коммерциализации и т.п. В случае если страновая или иная специфика не позволяет вычленять объем выручки от исследований, используется показатель исследовательского бюджета как объема потраченных на исследования средств. Расчет производился по паритету покупательной способности, определенному Всемирным банком (в случае отсутствия – паритету по данным ОЭСР). Численность научно-педагогических работников (профессорско-преподавательский состав и научные работники) рассчитывается с приведением к полной ставке (full-time equivalent).

  1. IIГруппа критериев «Университет и общество»

9.

Количество массовых открытых онлайн-курсов вуза, размещенных на крупнейших глобальных платформах

Вклад вуза в доступное онлайн-образование

5

Инновационный показатель, впервые примененный в практике составления глобальных академических рейтингов, измеряет активность вуза в области развития массовых открытых онлайн-курсов. На открытые онлайн-курсы сформировался четко выраженный общественный запрос, и динамичное развитие этого вида образовательной деятельности не подлежит сомнению. Чем большее количество открытых курсов размещено на глобальных онлайн-платформах, тем шире знание, передаваемое университетом посредством интернет-технологий, и тем весомее его вклад в доступность образования во всем мире.

Онлайн-платформы Coursera, edX

Суммарное количество онлайн-курсов вуза, размещенных на глобальных онлайн-платформах Coursera и edX и доступных для слушателей на момент сбора данных для рейтинга (май 2020 г.).

10.

Доля вуза в общем объеме публикаций по стране

Вклад вуза в развитие научных исследований в стране

4

Инновационный критерий рейтинга, измеряющий национальную значимость университетов для развития науки в своих странах. Чем выше доля публикаций вуза в общем количестве публикаций университетов страны, тем выше доля такого вуза в объеме проводимых в стране исследований, следовательно, тем значимее и ценнее такой вуз для социума.

Web of Science Core Collection

Отношение количества публикаций вуза за четыре календарных года, индексированных базой Web of Science Core Collection, к количеству публикаций страны расположения университета. Итоговый балл считался как отношение результата вуза к лучшему результату среди университетов страны расположения вуза.

11.

Общее количество страниц веб-сайта университета, индексированных ведущими поисковыми системами

Присутствие в Интернете

3

Показатель отражает ряд важнейших составляющих качества взаимодействия вуза с обществом: открытость и прозрачность, доступность информации, стремление вуза к информационному обмену.

Поисковые системы Google, Baidu, «Яндекс»

Количество проиндексированных поисковыми системами веб-страниц на официальных доменах вузов определялось при помощи стандартных синтаксических операторов поиска по домену поисковых систем Google, Baidu, «Яндекс». После замеров в течение апреля и мая 2020 г. было определено минимальное значение индекса согласно каждому из инструментов. В итоговый зачет вуза шел наивысший результат среди измерений тремя поисковыми системами.

12.

Количество просмотров страницы вуза в Википедии

Популярность в Интернете

1

Наряду с официальным веб-сайтом университета Википедия является важным источником информации. Большое количество просмотров страницы университета свидетельствует о его влиянии на общество.

Википедия

Суммарное количество просмотров страниц вуза в Википедии на английском и (если применимо) на официальном национальном языке (языках) страны расположения вуза в 2019 году.

13.

Количество подписчиков аккаунта университета в социальных сетях

Коммуникации в соцсетях

3

Социальные сети являются одним из наиболее оперативных инструментов коммуникации между университетом и кругом заинтересованных лиц; значительное число университетов использует соцсети для информирования общественности о своей деятельности. Популярность разных социальных сетей различается в зависимости от страны и вуза, поэтому для каждого университета были собраны данные о подписчиках в четырех социальных сетях.

Facebook, Twitter, VK, Sina Weibo

Анализировалось количество подписчиков страницы вуза в четырех социальных сетях – Facebook, VK, Twitter, Sina Weibo. Рассматривались страницы на английском языке и на национальных языках (если применимо). В итоговый зачет вуза шла сумма численности подписчиков в двух социальных сетях, где университет имеет наибольшую аудиторию.

14.

Количество выпускников вуза, которым посвящена отдельная страница в Википедии

Влияние выпускников на общество

8

Качественное образование складывается во многом из несоизмеримых явлений, в том числе определяется степенью влияния университета на общество. Один из наиболее эффективных способов такого измерения – посчитать количество успешных в различных сферах деятельности выпускников (в политике, науке, творчестве, искусстве, бизнесе, благотворительности), которым в Википедии посвящена отдельная статья. Индикатор количественно оценивает уровень воздействия вуза на общество.

Википедия

Суммарное количество выпускников университета, имеющих персональную страницу в Википедии, удовлетворяющую пороговым значениям: по году рождения выпускника – не ранее 1949 года, по количеству просмотров страницы – не менее 1000 за 2019 г. Таким образом, страницы выпускников, не востребованные пользователями, не учитываются при расчетах.

15.

Размер интернет-аудитории сайта вуза

Востребованность обществом

4

Показатель отражает востребованность официального интернет-сайта пользователями по всему миру. Чем выше доля пользователей интернета, посещающих сайт вуза, тем популярнее университет. Университеты, сайты которых посещает большое количество интернет-пользователей, высоко востребованы в обществе и ценны для социума.

Alexa

Оценивается доля посетителей сайта университета от всех интернет-пользователей. Используются данные компании Alexa (сайт alexa.com), одного из мировых лидеров в области веб-аналитики, замеры произведены в мае 2020 года.

16.

Транспарентность

Информационная открытость и качество информационной политики

2

Индикатор комплексно оценивает политику вуза в области информационной открытости обществу, ее последовательность, а также поощрение вузом горизонтальных связей.

Веб-сайты университетов

Индикатор учитывает наличие на официальном сайте вузов следующих ресурсов, материалов и публикаций: актуальный общий годовой отчет, актуальный финансовый отчет, портал для выпускников, открытый перечень либо система поиска сотрудников, миссия университета.

* — Перечень учитываемых студенческих олимпиад:

  1. ACM International Collegiate Programming Contest
  2. Belgrade Business International Case Competition
  3. Green Brain of the Year Contest
  4. International Mathematics Competition for University Students
  5. John Molson Undergraduate Case Competition
  6. McGill Management International Case Competition
  7. Network of International Business Schools Worldwide Case & Business Plan Competitions
  8. NSUCRYPTO
  9. SCORE Software Engineering Contest
  10. The Annual Willem C. Vis International Commercial Arbitration Moot
  11. The Mathematical Contest in Modeling
  12. The Philip C. Jessup International Law Moot Court Competition
  13. The SIAM Award in the Mathematical Contest in Modeling
  14. The University Physics Competition
  15. The World Universities Debating Championships
  16. Global Investment Banking Valuation Olympiad
  17. LafargeHolcim Awards