Рейтинг информационно-аналитических систем

Методика представлена четырьмя рейтинговыми факторами: 

• информационная наполненность систем (вес фактора - 30%);
• функциональные и сервисные возможности (30%);
• признание пользователями и представленность в медиа (20%);
• экспертные оценки (20%).

Общее количество исходных метрик (первичных оценочных значений), используемых при формировании рейтинга – 109. Метрики методом агрегации объединены в производные показатели (рейтинговые критерии), непосредственно участвующие в математической модели рейтинга. Количество показателей (рейтинговых критериев) – 31.

Среди принципиальных отличий обновлённой методики от пилотного выпуска рейтинга 2020 года необходимо отметить следующие:

• Из модели исключён рейтинговый фактор «стоимость подписки на ИАС». По мнению методического комитета RAEX, разделяемого участниками рынка, с одной стороны, стоимость доступа к системе не имеет прямой корреляции с уровнем развития ИАС; с другой стороны, с учётом разнородности ценовой политики ИАС, не всегда возможно корректно привести стоимость доступа к единой шкале, потому что часть сервисов тарифицирует доступ по календарным периодам, часть – по числу запросов, часть сервисов предоставляется пользователям на бесплатной основе.
• Внедрена более жёсткая формализация требований к оценкам по рейтинговым показателям: в ходе рассмотрения систем аналитики, выставляя каждой ИАС баллы по метрикам, руководствуются чётким алгоритмом. Тем самым была сведена к минимуму субъективность оценивания систем, которая в текущей редакции методики ограничивается лишь сводной оценкой эксперта, учитываемой в отдельном рейтинговом факторе («Экспертные оценки»).

Показатели рейтингового фактора «Информационная наполненность систем»

1. Масштаб информационных источников (6%)
2. Глубина архива отчётности (5%)
3. Данные налоговых органов (4%)
4. Данные о закупках (4%)
5. Данные судебных органов (3%)
6. Данные по ценным бумагам (3%)
7. Данные об интеллектуальной собственности (3%)
8. Данные отчётности МСФО (2%)

Показатели рейтингового фактора «Функциональные и сервисные возможности»

1. Выборки объектов (3%)
2. Сравнение объектов (3%)
3. Функционал мониторинга (3%)
4. Формирование справок (3%)
5. Обработка данных новостных источников (3%)
6. Возможность быстрого доступа (3%)
7. Аналитические индексы и скоринги (3%)
8. Функционал выгрузки данных (3%)
9. Интеграционный функционал (API) (3%)
10. Функционал мобильной версии (3%)

Показатели рейтингового фактора «Признание пользователями и представленность в медиа»

1. Общее число пользователей ИАС (4%)
2. Число подписчиков платной версии ИАС (4%)
3. Общее кол-во упоминаний в новостях (по данным Яндекс) (2%)
4. Кол-во упоминаний в СМИ (по данным Яндекс) за 2020 год (4%)
5. Динамика изменения упоминаемости в СМИ в 2020г к 2019г (0,5%)
6. Ранг сайта Web Rank (по данным SimilarWeb) (0,5%)
7. Посещаемость сайта (число просмотров в месяц, по данным SimilarWeb) (3%)
8. Индекс качества сайта ИАС («Яндекс ИКС») (2%)

Показатели рейтингового фактора «Экспертные оценки»

Для формирования пула экспертов RAEX привлекло специалистов, сгруппированных в пять кластеров: бизнес-аналитик, финансовый директор, риск-менеджер, специалист службы безопасности и журналист. По итогам систематизации полученных оценок были сформированы пять групп показателей (по числу экспертных кластеров), каждый из которых отражал субъективную оценку экспертов той или иной направленности:

• Среднее арифметическое оценок, выставленных выбранной ИАС кластером экспертов (вес 60%)
• Количество оценок, выставленных выбранной ИАС кластером экспертов (вес 20%)
• Среднеквадратическое отклонение оценок, полученных в отношении выбранной ИАС от кластера экспертов (вес 20%)

Перечисленные показатели были приведены к единой шкале, и итоговая экспертная оценка каждого кластера рассчитывалась как средневзвешенное значение входящих в неё трёх показателей. Веса итоговых экспертных оценок каждого кластера приняты равными на уровне 4%.

Принципиальной новацией второго выпуска рейтинга является расширение проекта «вторым измерением»: в дополнение к традиционному подходу, при котором объект рейтинга всесторонне оценивается независимыми экспертами, в настоящем выпуске рейтинга мы решили дополнительно проанализировать и систематизировать субъективное мнение рынка о самом себе. Это позволило сопоставить картину, формируемую рейтинговой моделью на основании объективных измеримых показателей и экспертных оценок, которые подчас подвергаются критике, с мнением рынка о самом себе.

Для реализации «второго измерения» участникам рейтинга предлагалось заполнить форму и оценить представленные на рынке ИАС по двум параметрам – информационная наполненность и функциональные возможности. Оценки, данные участниками в отношении самих себя, в итоговых расчётах не учитывались. В ходе анкетирования оценочные формы были получены более, чем от 20 участников рынка, по оценке RAEX представляющих более чем 70% рынка ИАС.

Для ранжирования участников во «втором измерении» использовались следующие показатели:

• Среднее арифметическое оценок, выставленных выбранной ИАС респондентами по параметру «информационная наполненность» (вес 35%);
• Среднее арифметическое оценок, выставленных выбранной ИАС респондентами по параметру «функциональные возможности» (вес 35%);
• Количество оценок, полученных в отношении выбранной ИАС (бóльшее количество полученных оценок означает бóльшую известность системы, что по сути представляет собой аналог фактора «Признание» основного рейтинга) (вес 15%);
• Среднеквадратическое отклонение оценок, полученных в отношении выбранной ИАС (чем более консолидированы в своих оценках участники опроса в отношении той или иной ИАС, тем более значимой и достоверной является эта оценка) (вес 15%).

Результирующие показатели были приведены к единой шкале, после чего все ИАС были упорядочены по убыванию средневзвешенного значения.

Корреляция позиций информационно-аналитических систем в сводном рейтинге RAEX с позициями систем по итогам опроса участников рынка составила 88,4%, что свидетельствует о солидарности рынка с подходами, используемыми RAEX в рейтинговом анализе.