Рейтинг региональных общественных палат (2022 год) — Методика

Рейтинг региональных общественных палат

Методологическая справка

Основная цель составления рейтингов – это получение в доступной и сжатой форме информации о соотношении объектов (участников рейтинга), образующих однородную в каком-либо отношении группу, в результате ряда аналитических и измерительных операций.

Такая форма подачи информации всегда вызывает интерес: «Где в списке я? Где мои знакомые, партнеры, конкуренты? На кого и на что стоит обратить внимание?». 

При условии соблюдения базовых принципов составления рейтингов, иного инструмента, превосходящего их по информативности и доступности, пока не предложено. 

В данном рейтинге проанализированы данные, характеризующие все 85 региональных общественных палат субъектов Российской Федерации по эффективности своей деятельности (полноте реализации своих функций и полномочий).

Ключевой элемент исследования – это рейтинговый вопрос, в соответствии с ответом на который упорядочиваются участники рейтинга. Он сформулирован разработчиками следующим образом: какая общественная палата наиболее эффективна (наиболее полно реализует свои функции и полномочия).

С методической точки зрения данный рейтинг, по сути, должен представлять собой рэнкинг (см. методологический словарь), то есть упорядоченный список регионов по эффективности деятельности региональных общественных палат. Именно таким рейтинг был ранее, будучи представленным в составе одного из факторов рейтинга «Регион-НКО». Однако для целей настоящего пилотного рейтинга с учётом предпосылок и причин, изложенных выше, было принято решение ограничиться делением всех рейтинговых объектов на три рейтинговых класса:

• «Лидеры рейтинга» (топ-10)
• «Средний уровень эффективности»
• «Отстающие регионы, обладающие максимальным потенциалом роста» (боттом-10)

Таким образом, настоящий рейтинг является классическим рейтингом, когда каждому из объектов рейтинга сопоставляется рейтинговый класс, в рамках которого все объекты равны.

Основной целевой аудиторией данного рейтинга является гражданское общество регионов. Мы надеемся, что результаты исследования будут интересны, в первую очередь, самим региональным общественным палатам, с его помощью они смогут произвести оценку своих достижений, использовать в качестве аргументов в переговорах с органами власти, институтами развития гражданского общества.

Помимо основной аудитории можно выделить также другие, сопутствующие целевые группы:

• федеральные органы власти и органы власти субъектов Российской Федерации;
• органы местного самоуправления;
• члены федеральной и региональных, а также муниципальных общественных палат;
• члены общественных советов при федеральных и региональных органах исполнительной власти;
• эксперты, исследователи, преподаватели, студенты;
• журналисты и средства массовой информации.

Основными источниками информации для данного рейтинга стали:

• Общественная палата РФ (данные о количестве сообщений, направленных от РОП);
• база данных СКАН-Интерфакс (цитируемость и упоминаемость в информационном пространстве региональных общественных палат, членов региональных общественных палат, коннотация таких упоминаний);
• данные региональных общественных палат о перечне членов палат, бюджетах региональных ОП, обеспеченности помещением для заседаний, количестве общественных экспертиз проектов региональных и федеральных НПА, количестве случаев применения законодательной инициативы;
• результаты специального экспертного опроса Общественной палаты РФ, охватившего 2438 участников из всех регионов России.

Рейтинговая модель исследования включает в себя 7 факторов (критериальных групп). Каждый фактор, в свою очередь, рассчитывается на основе нескольких показателей – в сумме их 20. При этом все они прямо или косвенно помогают ответить на основной рейтинговый вопрос.

Большее увеличение размерности рейтинговой модели на пока невозможно как из-за ограниченности доступных данных, так и из-за пока еще недостаточной разработанности многих методологических вопросов по данной теме. 

Сокращение модели (отказ от тех или иных критериев) авторы исследования сочли нежелательным, так как, во-первых, каждый из критериев так или иначе характеризует рейтинговый вопрос, во-вторых, сокращение размерности приводит к ухудшению качества модели (ее устойчивости). 

Таким образом, уровень эффективности деятельности региональной общественной палаты определяется 6 объективными факторами (определяются на основе статистических показателей), а именно:

1. нормотворческая и общественно-политическая активность
2. информационная открытость региональной палаты
3. взаимодействие с Общественной палатой Российской Федерации
4. медиаактивность региональной общественной палаты
5. активность членов региональной общественной палаты
6. материальная обеспеченность РОП

Помимо шести объективных факторов, седьмым фактором является результат экспертного опроса членов региональных общественных палат и других региональных экспертов. 

Веса между всеми факторами и параметрами в рамках каждого фактора изначально были определены равными. Однако затем, после многократных обсуждений и с учетом результатов тестирований модели, по ряду групп они были скорректированы. 

Фактор «Общественно-политическая активность РОП» (вес 10%) включает в себя следующие показатели:

• Кол-во общественных экспертиз проектов региональных нормативно-правовых актов, проведённых общественной палатой;
• Кол-во общественных экспертиз проектов федеральных нормативно-правовых актов, проведённых РОП;
• Кол-во случаев применения РОП права законодательной инициативы в 2020-2022 г.;
• Кол-во случаев применения РОП права законодательной инициативы в 2020-2022 г.

Фактор «Взаимодействие с ОП РФ» (вес 10%) включает в себя следующие показатели:

• Кол-во сообщений от региональных общественных палат, направленных в ОП РФ в контексте поддержки СО НКО региона;
• Количество членов общественной палаты и других региональных экспертов, принявших участие в экспертном опросе об уровне и качестве развития некоммерческого сектора

Фактор «Медиаактивность РОП» (вес 20%) включает в себя следующие показатели:

• Доля упоминаний РОП в СМИ в общем объеме публикаций о регионе (данные СКАН-Интерфакс);
• Доля федеральных публикаций с упоминанием РОП в общем числе публикаций РОП;
• Посещаемость сайта региональной общественной палаты (глобальный ранк по данным pr-cy.ru);
• Кол-во подписчиков страниц РОП в соцсетях (VK, Youtube, Telegram)

Фактор «Активность членов РОП» (вес 20%) включает в себя следующие показатели:

• Количество упоминаний членов РОП в СМИ за 3 года (по данным СКАН-Интерфакс);
• Концентрация упоминаний (индекс Херфиндаля-Хиршмана для упоминаний членов РОП);
• Индекс Хирша для публикаций с упоминанием членов РОП;
• Доля федеральных публикаций с упоминанием членов РОП в общем числе публикаций

Фактор «Информационная открытость РОП» (вес 15%) включает в себя следующие показатели:

• Информационная наполненность сайта региональной общественной палаты (экспертный анализ на предмет наличия и полноты информации о деятельности РОП, составе комитетов, проектов, мероприятий и др.);
• Актуальность новостей на сайте региональной общественной палаты;
• Количество новостей, регулярно размещаемых на сайте общественной палаты (в месяц).

Фактор «Материальная обеспеченность» (вес 15%) включает в себя следующие показатели:

• Бюджет региональной Общественной палаты, отнесенный к бюджету региона;
• Обеспеченность общественной палаты региона помещением для заседаний.

Экспертный опрос (вес – 10%) охватил 2 438 участников из всех субъектов Российской Федерации (годом ранее – 1 881).

Опрос основывался на теоретической модели, согласно которой деятельность РОП может быть описана как институциональная сфера, основной функцией которой является создание условий для распознавания и решения обществом, государством и бизнесом социально значимых проблем. 
    Исходя из этого, были сформулированы группы вопросов, позволяющие получить экспертную оценку функционального состояния и взаимодействия региональных общественных палат со всеми группами интересов (стейкхолдерами) процесса распознавания и решения социально значимых проблем.

Общие принципы подготовки рейтинга можно сформулировать следующим образом:

1. Максимальная информативность. Использованы все доступные на данный момент источники информации о предмете рейтинга, которые смогли рекомендовать разработчики и участники рабочей группы).
2. Валидность информации для рейтинга (по подавляющему числу параметров была собрана информация по всем 85 региональным общественным палатам, был проведен анализ информации на предмет выявления очевидных ошибок, была проведена математическая, строго формализованная фильтрация данных для удаления «выбросов»);
3. Устойчивость рейтинговой модели (то есть малые отклонения в исходных данных или настройках модели не приводят к существенному изменению результата);
4. Оптимальная размерность рейтинговой модели (точнее не избыточная размерность: любое сокращение числа показателей приводит к ухудшению качества модели).
5. Интегральность. Для целей экспертной оценки и принятия управленческих решений следует использовать, прежде всего, интегральный рейтинг, однако для большей наглядности и демонстрации достижений регионов в отдельных направлениях, возможно использовать субрейтинги по отдельным факторам.

Как было сказано выше, информационная база пилотного рейтинга региональных общественных палат пока несовершенна. Одновременно с этим, макроэкономические причины и внешнеполитические предпосылки создают условия, препятствующие непрерывности наблюдения одних и тех же показателей, и обеспечения их адекватной сопоставимости.
В числе таких причин можно отметить, в частности, следующие:

• ранее используемый показатель «Количество общественных наблюдателей, подготовленных региональной общественной палатой к единому дню голосования» не может быть полноценно использован, т. к. в 2022 году выборы проводились не во всех регионах Российской Федерации;
• суммарная аудитория социальных сетей всех региональных палат сократилась почти втрое: многие региональные палаты не успели адаптироваться после запрета Facebook, Instagram и Twitter, на которые в сумме приходилось более 65% сетевой активности;
• не все региональные общественные палаты обладают правом законодательной инициативы – что ограничивает возможность применения данного показателя.

Помимо факторов внешней среды, необходимо обратить внимание на то, что многие региональные палаты отнеслись к сбору данных для рейтинга достаточно формально: ряд регионов в ответ на запрос Общественной палаты Российской Федерации не предоставил своевременно информацию о бюджетах аппарата региональных общественных палат, некоторые региональные палаты не предоставили в срок вообще никакой информации.

Перечисленные аспекты привели к тому, что позиции многих сильных региональных общественных палат довольно существенно снизились в рейтинге по сравнению с их позициями по фактору «Значимость РОП для НКО» в составе рейтинга «Регион-НКО». В связи с этим результаты 2022 года не могут быть прямо сопоставлены с предшествующими результатами.