РЕЙТИНГ: НЕ ПРОСТО,
А ОЧЕНЬ ПРОСТО

Причиной появления этих заметок стало желание поделиться мыслями об особенностях рейтинговой системы, принятой химиками, и ответить на стандартные вопросы, возникающие как у сотрудников химических институтов, которых по долгу службы волнуют результаты рейтинга, так и коллег других специальностей, которые говорят, что "у химиков все считает машина".

Н.Сорокин, ученый секретарь
Объединенного ученого совета по химическим наукам,
кандидат химических наук

Сначала несколько слов об истории вопроса.

В Сибирском отделении РАН рейтинговая система существует вот уже семь лет. Один из основных ее разработчиков — академик В.Пармон. Первоначальной и единственной целью системы был сбор объективной количественной информации о текущем состоянии и жизнеспособности академических институтов на переломном этапе жизни страны. Эта информация заключалась примерно в десятке показателей, отражавших общую картину, хотя все прекрасно понимали, что с течением времени она может быть использована и для управления. Ничего необычного здесь нет, поскольку у любого руководителя есть стремление таким образом изменить входные параметры системы, чтобы появился желаемый результат. Здесь важно отметить то, что управляющая система изначально должна исключать субъективизм и возможность "интерполяции", т.е. расстановки точек там, где хочется. Поэтому бюро Объединенного ученого совета по химическим наукам СО РАН ввело так называемый кумулятивный рейтинговый показатель.

Использование двух иноязычных слов в названии нового параметра дает возможность произвольной трактовки, хотя всем интуитивно понятно, что за ними стоит: латинский глагол cumulo имеет широкий спектр значений и среди первых — складывать и насыпать. Слово ratio несоизмеримо более многозначно и переводится как счет, отчет, список, итог, категория и имеет, вообще говоря, и другие оттенки.

Интересно отметить, что rating, в переводе с английского, кроме оценки и классификации означает еще головомойку и нагоняй. С этой точки зрения ничего неожиданного нет в том, что после объявления результатов года у получивших в списке последние номера возникает желание устроить выволочку тому, кто считал.

Следует заметить, что использование количественных показателей для того, чтобы потом на основе их анализа каждый раз принимать коллективные решения, является несколько искусственным и, кроме того, допускает возможность произвола. Нужно учитывать, что для принятия экспертных оценок требуется время, необходимо отвлекать квалифицированных людей от их непосредственных дел и ввергать в пучину ненужных эмоций. Введение же кумулятивного рейтингового показателя — попытка формализовать процедуру и свести субъективизм шкалы к минимуму.

Что было сделано химиками при определении кумулятивного рейтингового показателя? Прежде всего, были определены параметры, которые имеют непосредственное отношение к оценке деятельности института в области фундаментальных, т.е. непосредственно академических исследований. Это, естественно, научная продуктивность, которую следует выражать как количество публикаций на одного научного сотрудника. Ничего более прямого пока нет. Для уменьшения осцилляций данный параметр усредняется за три последние года.

Далее — количество грантов научных фондов, также приходящееся на одного научного сотрудника. Следует подчеркнуть, что именно количество грантов научных фондов, а не привлеченное по ним финансирование, которое суть внутреннее дело института, — является одним из существенных показателей, который отражает надежность и стабильность работы института и активность его сотрудников. Грантовая система финансирования исследований во многом напоминает получение кредитов в банках. Научный сотрудник должен иметь устойчиво работающий собственный коллектив, необходимое оборудование, а также хорошую грантовую (читай — кредитную) историю — своевременно отчитываться перед фондами и регулярно публиковать результаты. Поскольку гранты даются под хорошо налаженный поток исследований, под интегрированность научного сотрудника в его среду, пул, данный показатель можно считать готовым к применению и достаточно обоснованно использовать для характеристики стабильности работы. Справедливости ради, следует отметить, что получение грантов временами сопровождается непонятными провалами, причины которых следует каждый раз внимательно анализировать и искать, в том числе, и внутри института.

Следующий важный фактор развития — кадры. В настоящее время в связи с катастрофическим процессом старения институтов, который связан, конечно же, не с ускорением бега времени в новой России, а с оттоком научных сотрудников, в основном молодых, за рубеж и в бизнес, следует предпринимать беспрецедентные меры по привлечению студентов в лаборатории институтов.

Такой параметр как доля заработанных средств, скорее всего, является производным и его пока решено не учитывать. Дело института — искать средства для исследований и платить научным сотрудникам и другому персоналу так, чтобы не вызывать горизонтальных перемещений, а также отъезда за границу. Кроме того, чрезмерное увеличение количества управляющих параметров создаст громоздкую систему, которая в сумме может дать ноль и не привести к желаемому результату.

Для того чтобы можно было ввести итоговый показатель и складывать "лошадей с яблоками", все используемые величины сделаны безразмерными, — параметр для каждого института делится на его среднее значение для всех химиков. Кумулятивный рейтинговый показатель до 2001 года определен как сумма отношений величин к их средним с весовыми коэффициентами: публикации — с весом 0,7, гранты — с весом 0,25, доля молодежи — с весом 0,05. Распределение рейтингового финансирования осуществляется пропорционально полученным суммам и числу научных сотрудников среди институтов, попавших в первую половину списка.

Интересно то, что уже в течение первых четырех лет применения система действительно доказала свою эффективность. Поскольку во главу угла было поставлено количество публикаций в рецензируемых журналах, даже в традиционно технологических институтах число статей стало подтягиваться к среднему значению по химическим институтам СО РАН.

Идеальным было бы оставить систему неизменной до тех пор, пока она не перестанет функционировать (дисперсии не превысят точность подсчета параметров), однако время течет, во многих институтах на гистограммах возрастного состава пик сотрудников старше 50 лет стал угрожающе доминировать и стало ясно, что необходимо предпринимать решительные меры.

Вклад молодежи в кумулятивный рейтинговый показатель теперь увеличится до 0,2, что означает поворот вектора целей и его большую ориентацию в сторону омоложения институтов. В числе молодых сотрудников будут учитываться и аспиранты институтов. Слишком смело сказать, что аспиранты — наиболее активная группа, однако дамоклов меч близкой и обязательной защиты делает свое. Ответственность за судьбу молодого человека, а также стремление поддерживать собственный имидж дисциплинирует и начальника. Все это вместе создает небольшие эффективно работающие коллективы, что в принципе должно приводить и к росту числа публикаций.

Начиная с текущего года будут несколько изменены правила подсчета монографий и обзоров. Если ранее монография, опубликованная в зарегистрированном издательстве, считалась как одна публикация, то теперь книга будет учитываться примерно по количеству авторских листов и приравниваться к числу статей, равному частному от деления количества страниц в ней на 16.

Относительно импакт-факторов. Введение их в систему рейтинговой оценки вызывает массу вопросов. Естественно, химики отдают отчет в том, что в новых условиях вынуждены принимать правила игры, навязанные извне. В условиях дробления монолитной системы необходимы индивидуальные критерии оценки труда, как отдельного научного сотрудника, так и лабораторий и институтов. Однако, по целому ряду причин, в том числе и объективных, импакт-факторы отечественных журналов занижены, что связано с методом подсчета, — неповоротливость нашей полиграфической системы, а также сложившаяся схема цитирования сделали свое дело.

Корректный учет импакт-факторов, скорее всего, невозможен, по крайней мере, по эту сторону российской границы. Очевидно, что введение импакт-факторов журналов в кумулятивный рейтинговый показатель будет дополнительным стимулом опубликовать статью в иностранных изданиях. Нужно сказать, что и без того большое количество рукописей направляется в зарубежные журналы. В нынешней ситуации, когда дефицитом стали деньги, в том числе и на подписку, публиковать результаты в иностранных изданиях, причем иногда и не самых лучших, — роскошество.

Кроме того, использование импакт-факторов приводит к неадекватному сравнению работ даже химиков, работающих в разных областях. Если человек публикуется в Fuel, то ему никак не перепрыгнуть через импакт-фактор этого журнала. Не может же он отправить свою статью в BBA, и вряд ли Nature заинтересуется его работами. Есть способы относительно корректного нормирования импакт-факторов для сравнения различных областей, но они громоздки и требуют больших дополнительных усилий.

И, в заключение, несколько слов о том, является ли рейтинговая система соцсоревнованием. И да, и нет. Сходство в том, что есть ранжирование. И не является потому, что в корне изменена процедура. Все прекрасно знают, что соцсоревнование родилось как идеологический ответ конкуренции в западном мире. В социалистические годы стиль жизни порождал очень сильные коллективные эффекты, составлявшие богатство внутренней жизни, как всего общества, так и лабораторий, которые чувствовали, что они вот-вот займут первое место. Время берет свое, и в нашей памяти произошло вытеснение цели управления атрибутикой и процедурой.

В рейтинговой системе упор делается не на внешней атрибутике подведения итогов или запрограммированном награждении, а на задачах управления. Если рассуждать в категориях, более близких химику, то нынешняя система больше напоминает термометры Бекмана. Причем величина обратной связи в регулирующем устройстве невелика и, определенная в денежных единицах, составляет проценты от общего зарплатного финансирования. Если же рейтинговая система вызывает бурную реакцию в институтах, то можно надеяться, что при разумном выборе управляющих параметров можно корректно достичь желаемого результата.