Можно ли доверять отечественным рейтингам?

Несмотря на то, что всевозможные рейтинги, особенно политиков и чиновников, регулярно взрывают информационное пространство, отношение к ним никогда не было однозначным. Собирая урожай на одном и том же поле, одни исследователи возвращаются с мешком картошки, другие - капусты, и выяснить, что растет на том поле на самом деле, уже не представляется возможным. Сегодня мы попытаемся разобраться в природе такой противоречивости и понять, откуда растут ноги у рейтингов.

Термин "рейтинг" имеет достаточно четкое обоснование, но в обыденной жизни напрашивается параллель с известной карточной игрой "Верю - не верю", правила которой вряд ли нуждаются в дополнительных пояснениях. Правда, в нашем случае трудно понять, кто на самом деле в оконцовке выигрывает - авторы рейтингов или их потребители. За примерами далеко ходить не будем. В канун новогодних праздников исследовательская группа "Саясат-Monitoring" обнародовала рейтинг эффективности глав регионов. Казалось бы, рейтинг как рейтинг, но у нас он породил ощущение оторванности от реальности, так как в списке аутсайдеров мы обнаружили акимов, которые, судя по данным из других источников, сработали не так плохо, чтобы оказаться у основания выстроенной исследователями лестницы. В частности, мы имеем в виду акима Акмолинской области Космана Айтмухаметова, занявшего предпоследнюю строчку в указанном рейтинге. Честно говоря, непонятно, каким образом он попал в категорию малоэффективных, имея в багаже за прошлый год результаты, аналогичные тем, которые имеют акимы-лидеры.

Пытаясь расставить точки над i, мы обратились к экспертам и попросили их ответить на следующие вопросы:

1. Как бы вы оценили надежность и достоверность появляющихся с завидной регулярностью рейтингов акимов областей и городов? Зачастую у различных рейтинговых агентств получаются взаимоисключающие результаты. Чем это можно объяснить и как понять, какой из результатов наиболее адекватно отражает реальность?

2. При изучении различных рейтингов часто возникают вопросы к репрезентативности выборки. Как вы считаете, насколько оправданно на основе мнения пары тысяч людей с неопределенным социальным статусом или десяти-двадцати экспертов делать далеко идущие выводы?

3. Насколько на эти рейтинги влияет человеческий фактор (имеются в виду те, кто непосредственно занимается замерами), и можно ли провести аналогию, например, с соседней Россией, где социологи откровенно заявляют о непрофессио­нализме "специалистов" в регионах и о том, что более-менее достоверные данные получают лишь в центре?

4. Какие проблемы лично вы видите в составлении подобных рейтингов и какие пути их решения обозначили бы?

Гульмира Илеуова, президент ОФ "ЦСПИ "Стратегия":

1. По-моему, рейтингов у нас, наоборот, недостаточно. Если бы их было "обилие", то было бы гораздо интереснее для потребителей (а их немало) и полезнее с точки зрения получения более достоверных данных. Более того, малое количество рейтингов, причем самых разных, необязательно политиков, я считаю показателем недостаточного развития исследовательского рынка в Казахстане. Во всем мире составляют кучи рейтингов, и я не вижу ничего необычного в том, что они есть и у нас. А различающиеся результаты получаются в том числе и потому, что разные компании используют разные показатели при оценке тех или иных политиков (например, регионального и центрального уровней), той или иной сферы. Про других говорить не буду, но мы регулярно формируем только один рейтинг - управленческой элиты Казахстана. Его мы делаем сами раз в квартал, без чьего-либо заказа и именно потому, что продукт востребован, его читают, комментируют. То есть,раз есть спрос, почему бы нам не ответить соответствующим предложением?

Вы спрашиваете: как отличить "хороший" рейтинг от "плохого"? Для меня самыми важными признаками являются: репутация компании, которая проводит подобное исследование, регулярность выхода материалов и, безусловно, если мы говорим о рейтингах политиков, распределение мест в списке. Немного поясню. Например, можно смело не обращать внимания на рейтинги, появляющиеся в предвыборный период за авторством организаций, которые создаются только ради того, чтобы этот самый "рейтинг" опубликовать. В то же время хочу отметить, что в социологии редко бывают "сенсации", т.е. ничем не объяснимые, резкие изменения в социальных настроениях. Вначале происходит определенное накопление изменений, вырисовываются тенденции, а уже потом происходит трансформация. В рейтингах мы сталкиваемся с чем-то подобным. И если наблюдаются ничем не объяснимые "прыжки" и "падения" участников списка, а к тому же тексты плохо их объясняют, то, как говорится, пиши пропало. Ну и при потреблении, конечно, играет роль "интуиция" самих читателей, которая у нас развилась до необычайных размеров - в любом рейтинге видят заговор или, как минимум, заказуху. Что ж, это их ­право.

2. Я думаю, некорректно сравнивать в данном случае опросы населения и экспертов. При опросах населения, например, наша организация для проведения рейтингования составляет списки с учетом уровня информированности жителей. То есть нет смысла спрашивать о деятельности политиков, управленцев, если их фамилии зачастую неизвестны большинству опрашиваемых. Да и вправе ли мы требовать это от "простого человека"? Поэтому обычно в рейтинг-листах стоят фамилии акимов областей, городов и районов, а также других персон, известных на уровне своего региона. Выборка в тысячу респондентов, конечно, не репрезентирует все области страны, но она является общенациональной, и при таком исследовании вопросы, связанные с рейтингами, не задаются. Но существуют более крупные выборки, которые позволяют выявить мнения жителей всех областей. Еще раз повторюсь, что здесь главное - составление списков для рейтингования. Что касается экспертных опросов, то здесь совершенно иная методика, другая целевая группа. В зависимости от целей исследования должны подбираться эксперты. Отмечу, что здесь есть две основные проблемы: первая - малочисленность экспертов по узким, специализированным, темам; вторая - их "занятость", нежелание участвовать в опросах. И в этом действительно может выражаться существенное влияние субъе­к­тивного фактора.

3. Не очень понятен вопрос. Какая страна - такие и эксперты. В областях эксперты, безусловно, есть, и ситуацию у себя они знают, естественно, гораздо лучше, чем мы, живущие в Алматы или Астане. Столичный снобизм при оценке экспертных возможностей присутствует, но какой от него смысл, если есть необходимость как можно глубже изучить ситуацию в регионе? Надо отталкиваться от того, что есть. Вспоминается случай из практики. Однажды работали мы в одной из областей по международному проекту. Начали искать экспертов, нам предложили одного с самыми наилучшими рекомендациями. Договорились по поводу интервью, при этом работу должен был выполнить также представитель области. В итоге при прослушивании записи интервью приговор иностранцев был таков: "Это что за разговор двух маргиналов?!". А для меня это было обычное интервью "областников" - проблема в иносказательности, "эзоповом языке" беседующих, который непонятен тем, кто плохо погружен в местный контент, особенно когда идет оценка, например, работы акима области.

4. Рецепт один - "много рейтингов хороших и разных", а читатель сам разберется. "Заказные" материалы есть и будут всегда, и не мне об этом говорить журналистам, которые, как я понимаю, часто сталкиваются с ними в своей профессиональной деятельности. Солидные рейтинговые агентства, смысл деятельности которых заключается в оттачивании инструментов для измерений, очень внимательно следят за своей репутацией и не допускают грубых ошибок, а если и допускают, то стараются быстро их исправить. Что касается некачественных "продуктов"… Если их кто-то производит, то совсем необязательно их потреблять, воспроизводить, тиражировать и т.д.

Даурен Сакенулы, директор Исследовательского агентства "Рейтинг.KZ":

1. Вероятно, вы имеете в виду ежемесячные рейтинги, составляемые нашими коллегами из группы "Саясат-Mo­nito­ring". В целом мы поддерживаем подобную работу, но нужно понимать, что объективность оценки зависит не только от профессионализма сотрудников агентства, но и в большей степени от квалифицикации и компетент­ности опрашиваемых экспертов, а также уникальности базы. В данном случае речь должна идти о достаточном количестве экспертов из регионов и различных отраслей.

Вообще, рейтинги стали эффективным мониторинговым инструментом и в наших прериях. К примеру, с недавних пор в администрации президента и в канцелярии премьер-министра тоже используют рейтинговые показатели для оценки работы центральных и местных исполнительных органов. При этом нельзя сказать, что рейтингами стало модно заниматься - скорее, это объективная необходимость. Сейчас мы видим, как часто используют слово "рейтинг" высокопоставленные чиновники, политики, СМИ. Данными рейтингов пользуются государственные органы, независимые исследовательские центры, общественные организации, те же СМИ. Я считаю, что подобная деятельность со стороны институтов гражданского общества очень востребована. Главное только, чтобы исследования проводились качественно и объективно.

Касательно рейтингов акимов областей и городов хочу сказать о том, что у различных социологических структур имеются свои методики, инструментарий для проведения - то есть свои подходы. Скажем, если наши коллеги проводили экспертный опрос для оценки деятельности региональных акимов, то мы ежегодно проводим исследование, направленное на ранжирование регионов Казахстана по 19 статистическим показателям-фактам (экономика, социальная сфера, уровень жизни населения), которые показывают реальную картину на местах и соответственно работу акимов. И если вы проанализируете итоги всех исследований, то увидите взаимоисключающие результаты. Поэтому каждый имеет свою точку зрения, позицию.

Кроме того, расхождения в результатах исследовательских центров даже по одной теме связаны с характером, географическим масштабом исследования, выборкой, инструментарием и т.д. Также имеет место проблема неискренних ответов респондентов (экспертов) на определенные вопросы, которые им задают социологи.

2. Однозначно ответить на этот вопрос сложно, поскольку в каждом конкретном случае найдется свой ответ. Поэтому отвечу на примере нашей работы. В наших исследованиях мы применяем главным образом экспертный опрос, где респондентами выступают эксперты. Это компетентные лица, имеющие глубокие знания о предмете и объекте исследования. С одной стороны, количество опрашиваемых в данном случае гораздо меньше, чем при анкетировании представителей широких слоев населения. Но с другой стороны, уровень квалификации и знание исследуемых вопросов у экспертов на несколько порядков выше, чем у обычных респондентов. В свою очередь, это положительно отражается на качестве итогового материала. Оптимальная выборка в экспертном опросе необязательно должна быть большой. Дело ведь в качестве, а не в количестве.

У нас есть свой "золотой список" экспертов, который постоянно пополняется.

3. В России абсолютно другие масштабы, реалии и государственное устройство. Там федерация, а мы - унитарное государство. Там регионы автономны в смысле подачи и выборки информации. Мы же получаем данные, которые, может быть, не получает администрация президента или кабинет министров, так как мы работаем не только с официальными структурами, но и с представителями НПО, оппозицией и иными гражданскими институтами, с которыми не сотрудничают госструктуры. В нашем случае влияние человеческого фактора минимально.

4. Приходится констатировать, что каковы бы ни были результаты тех или иных исследований, многие политики и псевдоэксперты неправильно оценивают и интерпретируют социологические данные. Возможно, это банальный непрофессионализм и невладение ситуацией в достаточной мере. Но существует и настоящий бич рейтингов - когда тот или иной политик или чиновник попросту покупает себе высокое место в рейтинге для формирования положительного имиджа. Некоторые агентства и создаются для того, чтобы зарабатывать на этом деньги. Но народ, в конце концов, не обманешь.

Мы предложим альтернативную существующим повестку - будем оценивать динамику изменения уровня жизни в регионах и соответственно работу акимов ежеквартально, также от нас будет новая линейка еже­квартальных рейтингов по итогам деятельности министерств, агентств, нацкомпаний и структур, находящихся в прямом подчинении главы государства (Совбез, Счетная палата, АП, КНБ и т.д.).

Подготовила Алмагуль Олжас