[ «1 МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ ЦЕНТР СОЦИОЛОГИЧЕСКИХ ИССЛЕДОВАНИЙ ИЗМЕРЕНИЕ РЕЙТИНГОВ УНИВЕРСИТЕТОВ: МЕЖДУНАРОДНЫЙ И РОССИЙСКИЙ ОПЫТ Под редакцией Ф.Э. Шереги и А.Л. Арефьева Москва • 2014 2 ...»
Стилман отмечал в 1947 году, что «потолок НИОКР фиксирован скорее наличием квалифицированного персонала, чем объемом доступных финансовых средств». Ряд проблем, связанных с измерением квалифицированного персонала, аналогичен тем, которые возникают при измерении финансовых средств, затрачиваемых на НИОКР, поскольку они используют те же самые базовые категории и классификации. Однако существуют и специфические методологические проблемы измерения персонала НИОКР. Прежде всего, это проблема определения: кого считать научным 1 OECD. Science and Technology Indicators. 1984, p. 22.
2 Steelman. Science and Public Policy. Op. cit., p. 15.
работником. Различие в методологиях возникает в зависимости от того, учитывается полученная квалификация или род занятий. Во-вторых, существует проблема, как измерять: по количеству реальных людей или в эквиваленте полной занятости (ЭПЗ). Ответы на эти вопросы были стандартизированы в «Руководстве Фраскати», однако они интерпретируются в разных странах по-разному.
Пионерами измерений в этой области стали США и Англия. Толчок измерению научно-технологического персонала был дан Второй мировой войной. После войны американские ученые озаботились сокращением научных кадров из-за того, что подавляющая часть выпускников университетов была призвана в армию. Это, в частности, отмечалось в отчете В. Буша, который прогнозировал к 1955 году дефицит научного персонала в 150 тыс. бакалавров и 17 тыс. специалистов с более высокими степенями.1 Два года спустя эта оценка была подтверждена в отчете Стилмана.
Такая линия аргументации была продолжена НФН, который стал развивать дискурс о нехватке специалистов в стране.
Первоначально он полагался на чужие данные. Так, в отчете 1957 года он сравнивал данные по реальной потребности страны в научных кадрах с расчетами Стилмана и сделал вывод о существенном отставании роста научных кадров от стоящих перед страной задач, особенно в области фундаментальных исследований. Смысл послания был вполне очевиден: федеральному правительству следовало оказать поддержку фундаментальной науке. Кроме того, НФН стал делать собственные прогнозы, экстраполируя в будущее существующие тенденции. С этой целью он запустил информационную программу определения спроса и предложения персонала НИОКР. Наконец, НФН разработал собственный инструмент: анкеты и базу данных по носителям докторских степеней.
В 1950–1970-е годы НФН разработал Систему данных по научному и техническому персоналу, которая включала в себя данные по носителям докторских степеней, выпускникам университетов, аспирантам, иммиграции научных и технических работников, их занятости. Используя эти данные, НФН из года в год лоббировал увеличение количества трудовых ресурсов в области науки и технологии. Несмотря на 1 Bush V. Science: The Endless Frontier., p. 158.
Методология измерения науки и технологии (опыт ОЭСР) то, что прогнозы по большей части оказывались неточными, НФН продолжал работу в рамках той же самой линии аргументации. Когда количественные данные утратили свою значимость, в ходе пошли качественные: недостаток наиболее способных. Если в основе американских исследований научнотехнологических кадров лежала идея нехватки, то для английских была характерна идея «утечки мозгов». Проблема «утечки мозгов» была актуальной для Великобритании, так как проводимая правительством политика сдерживания роста заработной платы в 1950-е годы приводила к массовой эмиграции ученых в США. В этой связи правительство даже планировало запретить рекламную деятельность иностранных рекрутинговых компаний. В 1950-е годы английский Консультативный совет по научной политике (Advisory Council on Science Policy) через свой Комитет по рабочей силе провел ряд пионерских исследований предложения рабочих и инженеров в Великобритании. При этом оценивалось не только текущее наличие квалифицированных кадров, но также делались прогнозы относительно будущего спроса. Отчеты регулярно публиковались до середины 1960-х годов, а затем уступили место статистике, собираемой Комитетом по человеческим ресурсам для науки и технологии (Committee on Manpower Resources for Science and Technology).
Однако вскоре эти отчеты подверглись масштабной критике.
В качестве основных недостатков приводились следующие:
• некритическое принятие данных работодателей;
• экстраполяция существующих трендов в будущее;
• неадекватное определение рода занятий и квалификаций, а также отношений между ними;
• отсутствие единой методологии;
• использование только американских иммиграционных • игнорирование данных по притоку кадров в страну. Эти недостатки не ограничивались исключительно английскими исследованиями, а были присущи практически 1 Godin B. Highly Qualified Personnel: Should We Really Believe in Shortages? // Project on the History of S&T Statistics. Working Paper #15, p. 11.
2 Ibid., p. 12.
3 Ibid., p. 14.
всем национальным исследованиями, направленным на документирование «утечки мозгов». Результатом явилось если и не создание виртуального феномена, то, во всяком случае, придание излишнего драматизма ситуации, которая на самом деле была далеко не катастрофической. Тем не менее, английские исследования оказали сильное влияние на работу в этом направлении ОЭСР во многом благодаря тому, что секретарь Комитета по рабочей силе Александр Кинг стал директором Бюро ОЭСР по научному и техническому персоналу, а затем и директором ДНД.
После окончания Второй мировой войны двумя основными проблемами, заботившими европейскую бюрократию, были производительность труда и наличие человеческих ресурсов.
Это обусловило то, что Организация европейского экономического сотрудничества (ОЕЭС) стала заниматься измерением человеческих ресурсов даже раньше измерений финансовых инвестиций в науку и технологию.
Комитет ОЕЭС по рабочей силе провел первое международное исследование положения с научным и техническим персоналом в 1954 году. В отчете был сделан вывод о том, что нехватка кадров не представляет серьезной проблемы для научных исследований и производства, однако также указывалось на недостаточность только количественных данных, поскольку нехватка даже небольшого числа высококвалифицированных специалистов может серьезно сказаться на реализации проектов.1 С целью преодоления этого недостатка комитет побуждал страны-члены собирать информацию по квалификации и занятости научных и технических работников.
Этот вывод был подтвержден в следующем исследовании, результаты которого были опубликованы два года спустя.
В нем опять речь шла о необходимости подготовки достаточного для поддержки технического прогресса количества ученых и инженеров. При этом указывалось на то, что в современных условиях не существует опасности их перепроизводства. 1 OEEC. Shortages and Surpluses of Highly Qualified scientists and Engineers in Western Europe. Paris, 1955, p. 21.
2 OEEC. The Problem of Scientific and Technical Manpower in Western Europe, Canada and the United States. Paris, 1957, p. 5.
Методология измерения науки и технологии (опыт ОЭСР) В этой связи была создана рабочая группа по научным и высококвалифицированным кадрам, которая должна была заниматься общими вопросами их подготовки. В 1958 году эта группа была преобразована в Бюро по научному и техническому персоналу (Office of Scientific and Technical Personnel), входящее в ЕПА. Бюро осуществило третье исследование научного и технического персонала в странах-участницах, в котором была поставлена проблема адекватного определения кадрового состава. Бюро было закрыто в 1961 году, и его место занял Комитет по научному и техническому персоналу. В середине 1960-х годов комитет провел пионерское исследование миграции ученых между странами-членами ОЭСР, США и Канадой. В силу сложностей со сбором данных и их обработкой оно распространялось всего на шесть стран. Тем не менее, был сделан важный вывод о том, что оценка миграции среди ученых и инженеров является преувеличенной, и она охватывает лишь небольшую часть персонала — его элиту.2 С этого времени вопрос об «утечке мозгов» был снят с повестки дня ОЭСР.
Первые измерения ОЭСР не были основаны на международных стандартах. Организация пользовалась данными, предоставлявшимися национальными правительствами, которые получались различными методами: посредством переписей, обследований рабочей силы или готовой административной статистики. Таким образом, отсутствие единой методологии делало практически невозможным проведение адекватных сравнений. Кроме того, в основу данных обычно клалась квалификация, полученная при образовании, а не связанная с выполняемой работой.
Все эти проблемы были идентифицированы и рассмотрены на состоявшемся в 1981 году семинаре ОЭСР по измерению научного и технологического персонала, однако первые международные стандарты были утверждены лишь к началу 1990-х.
Вплоть до издания 1993 года «Руководство Фраскати»
ограничивало сбор данных по научному и технологическому персоналу измерением сферы НИОКР и рекомендовало исOECD. Resources on Scientific and Technical Personnel in the OECD Area.
Paris, 1963, p. 28.
2 OECD. International Movement of Scientists and Engineers. Paris, 1970, p. 4.
пользование эквивалента полной занятости вместо подсчета количества реальных людей. Это делало данные по науке и технологии несопоставимыми с демографической, образовательной и трудовой статистикой.
Интерес к более широкой концепции научного и технологического персонала был проявлен ОЭСР в начале 1990-х годов в рамках реализации программы «Технология-экономика», в которой важная роль в инновационном процессе отводилась человеческому капиталу. В результате перед Отделом по научным, промышленным и технологическим индикаторам была поставлена задача подготовки соответствующего руководства. Это руководство было подготовлено отделом совместно с «Евростатом» и одобрено странами-членами ОЭСР в 1994 год на конференции в Канберре.1 В руководстве не предлагались совершенно новые виды статистических данных, однако содержались указания относительно того, как можно использовать существующие данные для построения индикаторов науки и технологии.
Выход руководства стимулировал новые усилия по измерению человеческих ресурсов в сферах науки и технологии.
К ним можно отнести проведенное совместно ОЭСР и «Евростатом» в 1995–1996 годах пилотное исследование с целью тестирования предложенных руководством данных, понятий и индикаторов; разработку индикаторов потоков человеческих ресурсов и проведение анализов международной мобильности высококвалифицированной рабочей силы. В ходе этих исследований был выявлен ряд проблем, часть из которых сходна с теми, которые были идентифицированы в 1960-е годы. К ним относятся:
• различие в источниках и методологиях;
• проблематичность конвертации национальных систем в стандартизированные международные классификации образования и занятости (ISCED и ISCO);
• переоценки в результате наложения квалификаций по образованию и выполняемой работе;
• несовпадения квалификаций.
В связи с этим начиная с 2001 года предпринимаются усилия по переработке руководства.
1 OECD. Manual on the Measurement of the Human Resources Devoted to S&T (Canberra Manual). Paris, 1995.
Методология измерения науки и технологии (опыт ОЭСР)
ИЗМЕРЕНИЕ РЕЗУЛЬТАТОВ
Как уже указывалось выше, научная политика во второй половине XX века прошла два этапа. На первом (1950–1970-е годы) речь шла об общем финансировании научной деятельности с целью создания научного потенциала, т.е. построения исследовательской инфраструктуры и развития научных сообществ. Во второй период, начавшийся в 1970-е годы, главной задачей стало распределение дефицитных ресурсов между научными направлениями в соответствии с поставленными социально-экономическими целями. Это также поставило в повестку дня проблему измерения результативности деятельности ученых и инженеров.Соответственно, на первом этапе основной акцент делался на показателях затрат. Это в полной мере отразилось в первом издании «Руководства Фраскати», ориентировавшем исключительно на измерение затрат, хотя некоторые индикаторы результатов там упоминаются в порядке дискуссии. Тем не менее, систематическая разработка индикаторов результатов началась лишь в 1970-е годы в США, а в 1980-е эстафету подхватили страны-члены ОЭСР. Если НФН первоначально сосредоточился на разработке академических индикаторов (прежде всего библиометрических), то ОЭСР отдала предпочтение экономическим.
Впервые идея дополнения индикаторов затрат индикаторами результатов была выдвинута в период подготовки первого издания «Руководства Фраскати», однако в то время она не нашла поддержки. Как указывалось в руководстве, «измерение результатов пока еще не достигло такой стадии развития, когда можно выдвигать какие-либо предложения по стандартизации».1 Тем не менее, издание 1981 года уже включало приложение, в котором в порядке дискуссии обсуждались такие индикаторы, как данные по патентам, технологический баланс платежей, торговля высокотехнологичной продукцией, инновации и производительность труда.
В дальнейшем в «Основные индикаторы науки и технологии»
вошли лишь первые три.
1 OECD. The Measurement of Scientific and Technical Activities: Proposed Standard Practice for Surveys of Research and Experimental Development (Frascati Manual). Paris, 1963, p. 37.
ПАТЕНТЫ
Преимуществом патентных данных является простота их стандартизации. С другой стороны, им присущи следующие важные ограничения: избирательность охвата (не все изобретения патентуются) и различия в ценности патентов. Тем не менее, ОЭСР восприняла эти ограничения как поддающиеся корректировке и начиная с 1988 года стало включать индикаторы патентов в свой сборник «Основные индикаторы науки и технологии». В 1994 году было выпущено методологическое руководство по сбору и интерпретации патентной статистики.ТЕХНОЛОГИЧЕСКИЙ ПЛАТЕЖНЫЙ БАЛАНС
Технологический платежный баланс (ТПБ) соотносит между собой средства, заплаченные и полученные за приобретение и использование патентов, лицензий, торговых марок, проектов, ноу-хау и технических услуг. Он позволяет сравнивать уровень технологического развития стран по типу торгового баланса. Как и индикатору патентов, этому показателю также присущи определенные ограничения. Так, ТПБ не включает потоки технологии, не сопровождающиеся соответствующими финансовыми потоками (например, между дочерними и материнской компаниями), не всегда возможно разделить затраты и поступления в различных категориях (лицензии, торговые марки, ноу-хау и т.д.), кроме того, существенно различаются методы сбора данных, практикуемые в различных странах.Принимая во внимание эти ограничения, ОЭСР рекомендовала с осторожностью относиться к данному индикатору и использовать его только наряду с другими. Так, в частности, отрицательный ТПБ не всегда указывает на технологическую слабость (как в случае с Японией), а может свидетельствовать об активной политике, ориентированной на повышение конкурентоспособности. ТПБ был включен в сборник индикаторов ОЭСР в 1990 году. В том же году было выпущено 1 OECD. The Measurement of Scientific and Technical Activities: Data on Patents and Their Utilization as Science and Technology Indicators.
Paris, 1994.
Методология измерения науки и технологии (опыт ОЭСР) методологическое руководство по сбору и интерпретации соответствующих данных. Однако первый опыт проведения международного обследования с целью получения статистики по ТПБ оказался обескураживающим. Три четверти стран-участниц не смогли ее должным образом детализировать и задокументировать, в результате чего разрыв между суммами, задекларированными получателями и плательщиками, составил от 60 до 120%2.
ТОРГОВЛЯ ВЫСОКОТЕХНОЛОГИЧНОЙ ПРОДУКЦИЕЙ
Еще более противоречивым индикатором является торговля высокотехнологичной продукцией. Основная проблема здесь заключается в отсутствии как единого представления о критериях высокой технологии, так и общего языка ее описания.Работа над индикаторами «высокотехнологичности» началась в ОЭСР в 1980-е годы и была обусловлена двумя причинами. В аналитическом плане это было продолжение усилий по выявлению тенденций развития НИОКР и классификации стран в соответствии со степенью их интенсивности. Индикатор «высокотехнологичности» рассматривался тогда как развитие применительно к промышленности индикатора GERD/ВВП, применявшегося к стране в целом. В соответствии с этим подходом, отрасли промышленности классифицировались на три группы (высоко-, средне- и низкотехнологичные) в зависимости от уровня инвестиций в НИОКР. Так, высокотехнологичными признавались те отрасли, в которых уровень инвестиций превышал средний.
Второй причиной было поручение Совета Министров стран-членов ОЭСР секретариату этой организации изучить проблемы, связанные с торговлей высокотехнологичной продукцией. Комитетом по промышленности и Комитетом по науке и технологии Дирекции по науке, технологии и промышленности была проведена исследовательская работа, целью которой было связать технологию с торговлей. Первые статистические данные в этой области были опубликованы 1 OECD. Proposed Standard Method for Compiling and Interpreting Technology Balance of Payment Data (TBP Manual). Paris, 1990.
2 Godin B. Measuring Output: When Economics Drives Science and Technology Measurement // Project on the History of S&T Statistics. Working Paper #14, 2002, p. 10.
в 1986 году в очередном издании «Индикаторов науки и технологии».
Взяв за основу реестр десяти высокотехнологичных отраслей, составленный американским Министерством торговли по критерию отношения затрат на НИОКР к объему продаж, специалисты ОЭСР составили собственную классификацию, использовав выборку из одиннадцати стран. Однако основной проблемой этого подхода было то, что в нем речь шла об отраслях промышленности, а не о продукции. Иначе говоря, вся продукция высокотехнологичных отраслей автоматически считалась высокотехнологичной, даже если она таковой в действительности не являлась, и наоборот:
вся продукция низкотехнологичных отраслей классифицировалась как низкотехнологичная. Другим недостатком было то, что данный индикатор учитывал только НИОКР, а не конечную продукцию. Таким образом, высокотехнологичной отрасль могла быть признана только на основании интенсивности НИОКР, даже если она не создавала никаких высокотехнологичных продуктов или процессов.
Второй реестр был составлен в середине 1990-х при участии «Евростата». В нем сначала подсчитывалось отношение затрат к выпуску в 22 секторах 10 стран, охватывавших 95% всех промышленных НИОКР, а затем каждый сектор оценивался по своему вкладу в общий выпуск по паритету покупательной способности. Однако и этому подходу были присущи свои ограничения: «высокотехнологичность» вычислялась при учете лишь основной деятельности компаний, относящихся к отрасли.
В результате был составлен третий реестр, в основу которого была положена классификация не по отраслям, а по продукции, и который включал лишь высокотехнологичную продукцию. В соответствии с этим подходом, высокотехнологичной признавалась любая продукция, для изготовления которой проводились НИОКР с интенсивностью выше средней по отрасли (3,5% от общего объема продаж).
Индикаторы «высокотехнологичности» регулярно публикуются в сборнике ОЭСР начиная с 1988 года, однако специального руководства по сбору и интерпретации данных выпущено не было.
1 Ibid., pp. 12–14.
Методология измерения науки и технологии (опыт ОЭСР)
БИБЛИОМЕТРИЯ
В 1980–1990-е годы ОЭСР также проводились исследования с целью разработки библиометрических индикаторов, однако эта работа не завершена вплоть до настоящего времени. Двумя основными проблемами в этой области являются: отсутствие четких дефиниций (что измеряется) и неопределннность релевантности (для кого проводятся измерения).Основные сложности, связанные с библиометрическими индикаторами, были обобщены в изданном в 1989 году дополнении к «Руководству Фраскати», посвященном вопросам измерения с сфере высшего образования. В список входили:
• ограниченность анализа публикациями в периодических изданиях;
• различие целей цитирования;
• распространение самоцитирования;
• проблема языка (чаще цитируются англоязычные публикации);
• временной лаг между публикацией результатов и цитированием;
• путаница, связанная с совпадением имен авторов;
• проблема коллективных публикаций (преимущество имеет автор, упомянутый первым). Впрочем, помимо этих очевидных ограничений, присущих библиометрическим индикаторам, существуют другие объяснения их неохотного использования специалистами ОЭСР по научно-технологической статистике. Прежде всего, сам характер деятельности этой организации, отраженный в ее названии, обусловил акцент на экономических индикаторах. Во-вторых, именно экономисты являются основными производителями и потребителями научно-технологической статистики. Кроме того, экономическая сторона научной и технологической деятельности гораздо легче поддается измерению, чем сущностная, связанная с нематериальными благами.
Однако главной причиной является нежелание национальных статистических агентств иметь дело с библиомеOECD. The Measurement of Scientific and Technical Activities: R&D Statistics and Output Measurement in the Higher Education Sector. Paris, 1989, pp. 50–51.
трическими данными. Это нежелание мотивировано тем, что, во-первых, методология сбора этих данных не соответствует стандартной; во-вторых, эти данные изначально не предназначались для измерения результатов НИОКР и, соответственно, нуждаются в адаптации; и, в-третьих, они собираются широким спектром различных неуполномоченных организаций (банками, патетными бюро, научными учреждениями, частными фирмами и т.д.).
ИЗМЕРЕНИЕ ИННОВАЦИЙ
Первые проявления правительствами интереса к данным по инновациям относятся к 1960-м годам, однако систематические исследования в этом направлении стали проводиться отдельными странами-членами ОЭСР лишь в 1980-е. При этом, измеряя инновацию, правительственные агентства использовали уже существующую косвенную информацию вроде количества выданных патентов или затрат на НИОКР.В 1990-е годы началась совместная методологическая работа ОЭСР и «Евростата» по стандартизации измерения инновации. В качестве основной цели этой работы указывалось создание индикаторов результатов, которые измеряли бы инновацию посредством продуктов, процессов и услуг, вытекающих из инновационной деятельности. Однако с течением времени это измерение все в большей степени стало концентрироваться на самой деятельности.
До 1970-х годов инновация обычно измерялась с помощью косвенных показателей, к главным из которых относились патенты и промышленные затраты на НИОКР. Широкое использование патентной информации началось в 1950-е годы, однако вскоре специалистам стало ясно, что патенты в большей степени являются показателями уровня изобретательской деятельности, а не инновации как таковой.
К счастью, в 1960-е годы стали систематически проводиться исследования промышленных НИОКР, состояние которых и стало следующим косвенным индикатором инновации.
Однако к середине 1970-х годов специалистами ОЭСР были выявлены существенные ограничения такого подхода.2 ПреGodin B. Measuring Output, p. 20.
2 Godin B. The Rise of Innovation Surveys: Measuring of Fuzzy Concept // Методология измерения науки и технологии (опыт ОЭСР) жде всего, было установлено, что существующая методология не включает в измерение такие важные для превращения результатов НИОКР в технологическую инновацию факторы, как расходы на оборудование, инженерная деятельность и маркетизация. Кроме того, она также не учитывала неформальную и неосновную инновационную деятельность. Наконец, она не была ориентирована на измерение результатов в терминах нового знания или новых продуктов и процессов.
Тем самым было признано, что измерение инновации не может быть сведено к измерению НИОКР и был поставлен вопрос об измерении собственно инновации. В частности, было предложено включать в опросные листы вопросы о доли деятельности компании, ориентированной на инновации, расходах на промышленную инновацию и списке важных продуктов и процессов, внедренных компанией. Таким образом, инновацию было предложено измерять одновременно как деятельность и результат этой деятельности.
ИННОВАЦИЯ КАК РЕЗУЛЬТАТ
Самое первое исследование инновации как таковой было осуществлено в Великобритании в конце 1950-х годов. Авторы1 изучили 201 значимую инновацию, осуществленную 116 фирмами, характеристики этих инноваций и их источники. Этот подход использовался и в первых официальных статистических исследованиях. В частности, в проведенном по заказу американского НФН в 1963–1967 годах опросе участвовали непосредственно задействованные в инновациях сотрудники 121 фирмы. В исследовании изучались источники инноваций (собственные или приобретенные), их характер (продукты или процессы), стоимость и влияние на производственный процесс.2 Во втором исследовании, использовавшем тот же самый подход, изучались 500 крупных продуктовых инноваций, внедренных за период с 1953 по 1973 годы. При этом исследовались: время между изобретением и инновациProject on the History of S&T Statistics. Working Paper #16, p. 6.1 Carter C.F., Williams B.R. Industry and Technical Progress: Factors Governing the Speed of Application of Science. Oxford, 1957, chap. 10; Carter C.F., Williams B.R. Investment in Innovation. Oxford, 1958, chap. 5.
2 Myers S., Marquis D.G. Successful Industrial Innovation; A Study of Factors Underlying Innovation in Selected Firms. NSF, 1969, Washington.
ей, окупаемость инвестиций, «радикальность» инновации, объем и интенсивность НИОКР компаний. В этот же период интерес к измерению инноваций проявился и в ОЭСР. Уже в опубликованном в 1968 году докладе «Разрывы в технологии»2 показатели инноваций стали основным фактором объяснения различий между США и Западной Европой.
Данные основывались на анализе 140 значимых инноваций начиная с 1945 года в металлургии, электронной и металлургической промышленности. Измерялись два аспекта инноваций:
1) производство (приоритет в коммерциализации новых продуктов и процессов) и 2) внедрение (уровень использования новых продуктов и процессов). Согласно выводам исследования, приблизительно 60% всех инноваций приходилось на американские фирмы. При этом американские компании часто конвертировали в успешные рыночные продукты результаты европейских фундаментальных исследований и изобретений. Следующее исследование по изучению условий успешной инновации было проведено ОЭСР в 1971 году.4 В нем прослеживалось происхождение 110 наиболее значимых инноваций из указанных в «Разрывах в технологии». Лидировали США с 74 инновациями, а за ними шли Великобритания с 18 и Германия с 14.
ИННОВАЦИЯ КАК ДЕЯТЕЛЬНОСТЬ
Первоначально и НФН и ОЭСР измеряли инновацию в терминах скорее результата, чем деятельности. Однако в дальнейшем обе организации изменили свой подход.Переориентация статистики по инновации произошла во многом под влиянием публикации в 1967 году отчета американского Министерства торговли,5 в котором содержалось решение важной методологической проблемы, связанной с изGellman Research Associates. Indicators of International Trends in Technological Innovation. NSF, Washington, 1976.
2 OECD. Gaps in Technology: General Report. Paris, 1968, p. 14.
3 Ibid., p. 15.
4 OECD. The Conditions for Success in Technological Innovation. Paris, 1971.
5 US Department of Commerce. Technological Innovation: Its Environment and Management. USGPO, Wasington, 1967.
Методология измерения науки и технологии (опыт ОЭСР) мерением инновации. Так, в отчете ОЭСР о технологических разрывах признавалось, что не существует экономической или статистической теории, которая позволяла бы простым и непротиворечивым образом измерить результат технологической инновации. Авторы отчета отмечали также, что используемый подход, основанный на идентификации наиболее значимых инноваций, содержит ряд существенных недостатков, к которым относятся: ограниченность и необъективность выборки, отсутствие оценки относительной важности инноваций, сложности с определением страны происхождения. Предлагавшееся в отчете американского Министерства торговли решение заключалось в том, чтобы распространить на инновацию подход, применявшийся ранее к НИОКР, т.е. измерять инвестиции в инновационную деятельность, а не продукты и процессы, являющиеся результатом этой деятельности.
В отчете инновации измерялись по пяти категориям деятельности: НИОКР, инженерно-конструкторские работы, инженернотехнологические работы, производство и маркетинг. При этом было показано, что только 5–10% стоимости инноваций приходится на НИОКР, откуда был сделан вывод о неадекватности методов измерения инновации с помощью показателей НИОКР.
Под влиянием данного отчета стали появляться первые национальные обследования инновационной деятельности.
В начале 1970-х годов НФН обратился к помощи ученых для разработки инструментов измерения инновационной деятельности и ее стоимости. В силу связанных с этим подходом методологических сложностей первое исследование такого рода было проведено лишь в середине 1980-х годов. Что же касается ОЭСР, то она впервые включила понятие инновации в очередное издание «Руководства Фраскати»
в 1981 году. Там инновационная деятельность была исключена из НИОКР и определялась как «смежная с научной деятельность».3 Однако по мере роста числа национальных 1 OECD. Gaps in Technology: Comparisons between Member Countries in Education, R&D, Technological Innovation, International Economic Exchanges.
Paris, 1970, pp. 183–4, 191.
2 A Survey of Industrial Innovation in the United States: Final Report.
Princeton, 1987.
3 OECD. The Measurement of Scientific and Technical Activities: Proposed Standard Practice for Surveys of Research and Experimental Development. Paris, 1981, p. 15.
проектов измерения инновационной деятельности, ОЭСР также стала проявлять к ней больший интерес. Мощным толчком в этом направлении стали поддержанные Нордическим фондом планы проведения первого международного сравнительного обследования инновационной деятельности в скандинавских странах (Финляндии, Норвегии, Дании и Швеции). С этой целью в 1988 году был организован специальный семинар с участием представителей ОЭСР и стран-членов.
Основной документ этого семинара1 был принят в качестве концептуальной схемы для создания индикаторов инновации. Этот документ и лег в дальнейшем в основу выпущенного ОЭСР в 1997 году в сотрудничестве с «Евростатом» «Руководства Осло».
ВЫРАБОТКА ОБЩЕГО ПОДХОДА
Основными целями, поставленными перед «Руководством Осло», были: гармонизация национальных методологий и стандартизация данных по инновационной деятельности фирм. Предложенная классификация включала в себя следующие категории: тип инновации, источники технологического знания, расходы на инновационную деятельность, цели компаний, препятствия на пути инноваций и эффект инновационной деятельности.В 1992 году ОЭСР организовала совместно с «Евростатом»
конференцию по выработке стандартной анкеты для проведения сравнительных исследований инновационной деятельности в Европе.3 В соответствии с разработанной методологией было проведено несколько международных обследований, по результатам которых в 1993 и 1999 годах состоялись семинары, где был поднят ряд важных методологических вопросов.
Прежде всего, дискутировался вопрос о том, следует ли измерять инновацию как результат или как деятельность.
В «Руководстве Осло» первый подход охарактеризован как «объектный», поскольку единицей анализа в нем служит сама инновация, а второй — как «субъектный», поскольку 1 Smith K. New Innovation Indicators. Basic and Practical Problems. DSTI/IP, 1989.
2 OECD. Proposed Guidelines for Collecting and Interpreting Technological Innovation Data (Oslo Manual), Paris, 1997.
3 Godin. The Rise of Innovation…, p. 16.
Методология измерения науки и технологии (опыт ОЭСР) единицей анализа в нем служит фирма и совокупность ее инновационной деятельности. Преимуществом первого, согласно руководству, является то, что инновация измеряется непосредственно, на уровне проекта, в то время как при втором подходе фирмы предоставляют усредненные данные по всем проектам. Однако ОЭСР поддержала второй подход, объясняя свой выбор тем, что именно фирмы определяют экономические результаты и более значимы в политическом плане.2 Впрочем, вполне возможно, что здесь сыграли свою роль не только методологические соображения, но и «политические» интересы: объектный подход, требующий экспертного знания, развивался главным образом учеными, в то время как субъектный был в большей степени характерен для работы статистических служб.
Второй поднятый на семинарах вопрос касался фокуса и охвата обследований. Еще 1934 году Йозеф Шумпетер дал определение инновации, которое включало в себя пять типов феноменов: 1) внедрение нового товара, 2) внедрение нового способа производства, 3) открытие нового рынка, 4) приобретение нового источника сырья или полуфабрикатов, 5) применение новой формы организации.3 Однако «Руководство Осло» сконцентрировалось только на технологической инновации. Хотя во второе издание были включены услуги, в целом в нем сохраняется техноцентрический подход к инновации. Различные нетехнологические виды инноваций вроде организационных, маркетинговых и финансовых обсуждаются в нем лишь в приложениях.
Здесь очевидным образом проявился иерархический подход, присущий измерению науки и технологии начиная с первого издания «Руководства Фраскати» в 1963 году и первых национальных исследований в этой области. Для них был характерен приоритет, отдаваемый производственному сектору перед сектором услуг и естественным наукам перед социальными. Кроме того, из опросов систематически исключались смежные с научной виды деятельности.
1 OECD. Proposed Guidelines for Collecting and Interpreting Technological Innovation Data (Oslo Manual), Paris, 1997, pp. 83–4.
2 OECD. Proposed Guidelines for Collecting and Interpreting Technological Innovation Data (Oslo Manual), Paris, 1997, p. 29.
3 Schumpeter J. A. The Theory of Economic Development. London, 1980, p. 66.
Третий вопрос касался понятия новизны. Некоторые национальные исследования зафиксировали непропорционально большое число инновационных фирм. Источником такого рода переоценки послужило данное в «Руководстве Осло»
определение, в основе которого лежала оценка новизны самой фирмой, а не рынком. Именно на основе этих оценок высчитывается уровень инновации, определяемый как доля в общем количестве фирм, занимающихся инновационной деятельностью. Такого рода статистика прекрасно подходит для политических целей, однако, как предупреждает само «Руководство Осло», «доля инновационных фирм грозит превратиться в такое же магическое число, как доля ВВП, затрачиваемая на НИОКР». Помимо этих трех вопросов, обсуждавшихся в ходе семинаров, существуют также проблемы измерения, которые могут вызвать недоверие к международной статистике по инновациям. Главная из них связана со сложностями отделения в каждой категории затрат, связанных с новыми и улучшенными продуктами и услугами, от остальных. Эта проблема постоянно возникает в измерении НИОКР. В европейских анкетах ее пытаются решить, спрашивая фирмы, предоставляют ли они точные данные или прикидочные. По результатам опросов можно сделать вывод о том, что большинство фирм не предоставляет точных данных.
Второй важной проблемой является постоянное расхождение данных по инновациям и НИОКР. Исследования, посвященные измерению инноваций, регистрируют меньший объем НИОКР, чем традиционные исследования из-за различий в методологии. К наиболее существенным из этих различий можно отнести следующие:
• различия в масштабе: опросы по НИОКР проводятся на основании списка известных (или возможных) исполнителей, в то время как опросы по инновации — на основании списка фирм, взятого из статистического реестра;
• различия в выборке: в исследованиях НИОКР используется полный реестр фирм, а в исследованиях инновации проводится стратифицированная случайная выборка;
1 OECD. Proposed Guidelines for Collecting and Interpreting Technological Innovation Data (Oslo Manual), Paris, 1997, p. 11.
Методология измерения науки и технологии (опыт ОЭСР) • обычное исключение из исследований НИОКР временных исполнителей в силу сложности получения такого рода информации;
• отраслевая классификация: крупные промышленные группы поручают осуществление НИОКР отдельным предприятиям и не имеют адекватной системы отчетности для измерения расходов;
• отсутствие данных: почти в половине стран предоставили информацию по инновациям лишь 50% фирм. В настоящее время среди специалистов пока нет единства по вопросу о том, как лучше измерять инновацию. Одни считают, что для этой цели лучше подходят традиционные обследования НИОКР, другие полагают, что следует использовать оба метода при учете и анализе расхождений. Тем не менее поиски единого измерителя инноваций продолжаются. Здесь возможны два варианта: либо объединение двух опросов, как предлагает «Евростат» — главный пользователь информации по инновациям, — либо, по крайней мере, их проведение одним агентством, как предлагает ОЭСР.
ИЗМЕРЕНИЕ СМЕЖНОЙ С НАУЧНОЙ ДЕЯТЕЛЬНОСТИ
Измерение научной и технологической деятельности обычно ограничивается НИОКР, однако эти рамки слишком узкие. В 1978 году ЮНЕСКО выпустила рекомендации, в которых научно-технологическая деятельность (НТД) определялась как состоящая из трех элементов: НИОКР, научнотехнологического обучения (НТО) и научно-технологических услуг (НТУ).2 Эти последние обычно определяются как смежная с научной деятельность (related scientific activities, СНД), которая направлена на обеспечение производства, распространения и применение научно-технологического знания.Важность СНД признается уже в первом издании «Руководства Фраскати», в котором в состав СНД включается деятельность по сбору и распространению научной информации, образованию и обучению, проверке и стандартизации.
Авторы руководства также признают, что в некоторых страGodin. The Rise of Innovation…, p. 21–2.
2 UNESCO. Recommendation Concerning the International Standardization of Statistics on Science and Technology. Paris, 1978, p. 2.
нах эта деятельность может отнимать больше материальных и человеческих ресурсов, чем собственно НИОКР, и дается рекомендация проводить статистические измерения этих видов деятельности. Тем не менее, в статистических сборниках ОЭСР данные по СНД отсутствуют, поскольку страны-участницы за редким исключением не предоставляют подобных данных. Дискуссии относительно СНД обычно направлены не на выработку способов измерения СНД как таковой, а на отграничение этой деятельности от НИОКР. Одной из причин такого положения являются методологические трудности, связанные с определением и стандартизацией видов СНД. Однако не менее важную роль играет также «идеологический» фактор: НИОКР рассматриваются как высший уровень научно-технологической работы, который только и заслуживает измерения. Существует также и связанный с предыдущим «политический» фактор: правительству важно иметь информацию о состоянии скорее переднего края науки и технологии, которым и является НИОКР, чем об «инфраструктуре», к которой относится СНД.
Авторы первого издания «Руководства Фраскати» ставили перед собой задачу четко отделить рутинную деятельность от НИОКР, которые характеризуются элементами «новизны или инновации».3 Руководство отделяет НИОКР от смежной с научной деятельности и от ненаучной деятельности. К первой относятся: 1) сбор и систематизация научной информации;
2) образование и обучение; 3) сбор общих данных; 4) проверка и стандартизация. Вторая включает в себя: 1) правовую и административную работу с патентами, 2) проверку и анализ;
3) другие технические услуги. Руководство рекомендует исключать СНД из НИОКР, если она не служит непосредственно целям этих последних, однако советует измерять СНД отдельно. Однако эта последняя рекомендация так и не была реализована. Так, во втором издании руководства, вышедшем в 1970 году, указывается, что основной задачей относительно СНД является исключеFrascati Manual, 1963, p. 13.
2 Godin B. Neglected Scientific Activities // Project on History and Sociology of S&T Statistics. Paper No. 4, 2001, p. 5.
3 Frascati Manual, 1963, p. 16.
4 Ibid., pp. 15–16.
Методология измерения науки и технологии (опыт ОЭСР) ние ее из измерений НИОКР.1 С этой целью список относящихся к СНД видов деятельности был пополнен анализом осуществимости инженерных проектов и специализированной медицинской помощью. В 1976 году к этому списку был добавлен политический анализ, а в 1993 году — рутинное программирование. Само понятие исследовательской или научной деятельности появилось в конце 1938 году, когда американский Национальный исследовательский совет в своем отчете о состоянии науки в США определил ее как «исследования в области как естественных, так и социальных наук, а также их применение, включая сбор, компиляцию и анализ статистических и графических данных, которые с вероятностью будут способствовать появлению нового знания с более широкой полезностью».3 В отчете указывалось, что основные дискуссии касательно этого определения велись в контексте включения в него таких видов деятельности, как сбор и табулирование основных данных, экономические и социальные исследования, библиографические и архивные услуги. В опубликованном год спустя отчете Стилмана, написанном по заказу президента Трумэна, для обозначения этих видов деятельности был введен термин «вспомогательных исследований» (background research), которые понимались как «систематические наблюдение, сбор, организация и представление фактов, использующие известные принципы для достижения целей, явно определенных до начала исследования, с целью создания базы для последующих исследований или представления стандартных справочных данных».5 В отчете также указывалось на то, что подобные виды деятельности являются адекватным полем для действий правительства, что положило начало измерению СНД в тех редких случаях, когда она измерялась вообще измерялась.
Начиная с 1950-х годов НФН проводил регулярные измерения в сфере государственных исследований. В них фигурировала также «другая научная деятельность», которая, однако, 1 Frascati Manual, 1970, p. 14.
2 Godin B. Neglected Scientific Activities, p. 9.
3 National Resources Committee. Research: A National Resource. N.Y., 1980, p. 62.
5 Steelman. Science and Public Policy, p. 300.
не отделялась от НИОКР. Лишь в 1958 году в отчете «Фонды для научной деятельности Федерального Правительства» научная деятельность была разбита на семь видов, из которых первые три относились к НИОКР (фундаментальные, прикладные и опытно-конструкторские), а вторые четыре — к «другой научной деятельности», куда входили: 1) планирование и администрация, 2) сбор и распространение научной информации, 3) обучение, 4) проверка и стандартизация. При этом, согласно данным измерений, на другую научную деятельность приходилось 7,8% от всей научной деятельности, из которых порядка 70% занимал сбор данных. С этого времени данные по «другой научной деятельности» включались в последующие издания «Фондов», однако они были сведены лишь к двум категориям: сбор научной и технической информации и сбор данных общего назначения.
С течением времени каждая из этих категорий была разбита на виды. Апофеозом в этом отношении стал 1978 год, когда собираемая научная и техническая информация была разбита, в свою очередь, на четыре категории, каждая из которых включала в себя несколько видов деятельности:
1) публикации и распространение:
первичные публикации изучение патентов вторичные и третичные публикации поддержка публикаций;
2) документация, справочные и информационные услуги:
библиография и ссылки создание библиотечной сети специализированные информационные центры 3) симпозиумы и аудиовизуальные средства:
аудиовизуальные средства;
4) НИОКР в информационных науках. Это был последний год, когда НФН измерял «другую научную деятельность». Причинами отказа от дальнейших измерения были, во-первых, незначительность измеряемой деятельности: за период 1958–1978 годов она составила лишь 1–2% 1 Godin B. Neglected Scientific Activities, p. 12.
2 Ibid., p. 13.
Методология измерения науки и технологии (опыт ОЭСР) всей научной деятельности, финансируемой правительством.
Во-вторых, с 1973 года начался выпуск «Индикаторов науки и технологии», в которые были включены также библиометрические индикаторы, которые заменили собой все другие измерения деятельности, связанной с научной информацией.
Наконец, с развитием информационно-коммуникационных технологий индикаторы информационной деятельности были заменены индикаторами информационных технологий.
Аналогичным образом дела обстояли и в ОЭСР. Ее предшественница ОЕЭС создала в 1949 году специальную группу по научно-технической информации (НТИ), которая занималась преимущественно изучением обмена информацией между странами, а также провела под руководством Британского центрального бюро информации международное исследование использования научно-технической информации более чем 2000 средних и малых фирм.
Созданная в 1962 году ОЭСР, в свою очередь, сформировала группу экспертов по НТИ, которая рекомендовала включить измерение ресурсов, посвященных сбору НТИ, в регулярные измерения НИОКР. В 1964 году была создана Группа по информационной политике (Information Policy Group, ГИП), повторившая ту же рекомендацию. Эти призывы были услышаны только в 1968 году, когда Дирекция по научным делам рекомендовала правительствам стран-участниц ввести измерение НТИ в число приоритетов. Специалистам из Гейдельбергского университета было даже заказано методологическое руководство, которое было подвергнуто на встрече в Осло в 1971 году суровой критике и так и не было опубликовано.
В 1973 году ГИП пришла к выводу, что, прежде чем разрабатывать методологию, следует определить характер измеряемых данных и необходимые индикаторы. С этой целью в 1974 году был создан руководящий комитет по индикаторам, который предложил список из пяти видов индикаторов с целью помощи странам в проведении информационной политики. Это список включал в себя следующие категории:
1) финансовые ресурсы НТИ; 2) человеческие ресурсы; 3) производимая информация (публикации, услуги, библиотеки, конгрессы); 4) компьютеры и коммуникация; 5) возможные пользователи. 1 Ibid., 15–16.
Однако эти индикаторы так и не были использованы для измерения СНД. Одной из причин стал рост автономии ГИП и ее сосредоточение на информационной политике как таковой, в отличие от более общего интереса ОЭСР к измерению науки и технологии. Второй причиной стало расширение понимания информации ОЭСР, которая стремилась таким образом охватить все сектора «информационного общества», а не только науку и технологию. Третьей причиной стало то, что изучение информации в качестве деятельности постепенно превратилось в ее изучение в качестве товара, что привело к акценту на технологическом аспекте. Результатом этих процессов стало то, что в настоящее время из стран-членов ОЭСР лишь Ирландия и Канада продолжают проводить измерения НТИ.
Оставленную ОЭСР роль измерителя СНД взяла на себя во второй половине 1970-х годов ЮНЕСКО. Согласно программному документу ЮНЕСКО, измерение национального научно-технического потенциала не может ограничиваться НИОКР, а должно включать в себя смежную деятельность, которая играет важную роль в научно-технологическом развитии нации. Отказ от такого измерения, по мнению авторов документа, может стать преградой на пути выработки систематической политики использования науки и технологии для целей развития.1 Так, в случае развивающихся стран заимствование технологий может оказаться бесполезным при отсутствии необходимой инфраструктуры, которая позволит этим технологиям работать.2 К этой инфраструктуре относятся научно-технологические услуги, которые не только поддерживают НИОКР, но и помогают внедрить их результаты в экономику.
Выйдя на арену измерений науки и технологии во второй половине 1070-х годов, ЮНЕСКО искала для себя уникальное поле деятельности. Это побудило ее к более глубокой трактовке научно-технологической деятельности, чем это было сделано ранее ОЭСР. Результатом стала не только цитировавшаяся выше рекомендация, но также выпуск руководств по 1 UNESCO. Manual for Surveying National Scientific and Technological Potential. Paris, 1970, p. 21.
2 Bouchet J.-C. The Quantitative Measurement of Scientific and Technological Activities Related to R&D Development: Feasibility Study. UNESCO, Paris, 1977, p. 5.
Методология измерения науки и технологии (опыт ОЭСР) измерению научно-технологического потенциала,1 сбору данных по научно-технологическому образованию и обучению, а также научной деятельности в сферах социальных и гуманитарных наук. Кроме того, под эгидой ЮНЕСКО был проведен ряд исследований, касающихся характера СНД. Автор одного из них признает, что до сих пор не существует ни одного позитивного критерия для определения СНД и предлагает три собственных. В соответствии с ними, СНД определяется как деятельность, которая – не будучи по существу инновационной, создает инфраструктуру, необходимую для эффективных НИОКР;
– поддерживает непрерывность рутинной компетенции, необходимой для осуществления НИОКР;
– не будучи по существу инновационной, в различной степени связана с НИОКР в зависимости от обстоятельств, которые носят внешний или внутренний для НИОКР характер. На основании результатов этих исследований был создан справочник по научно-технологической информации и документации (НТИД), протестированный в семи странах и опубликованный в 1984 году.5 В справочнике НТИД определялась как «сбор, обработка, хранение и анализ количественных данных, относящихся к информационной деятельности». В качестве основных подлежащих измерению параметров признавались: институты и индивиды, осуществляющие эту деятельность, объем финансовых и физических ресурсов и количество пользователей. Тем самым ЮНЕСКО фактически сводило СНД к работе с научно-технологической информацией.
1 UNESCO. Manual for Surveying National Scientific and Technological Potential. Paris, 1970.
2 UNESCO. Proposal for a Methodology of Data Collection on Scientific and Technological Education and Training at the Third Level. Paris, 1982.
3 UNESCO. The Measurement of Scientific Activities in the Social Sciences and the Humanities. Paris, 1971.
4 Bouchet J.-C. The Quantitative Measurement of Scientific and Technological Activities Related to R&D Development. Unesco, Paris, 1974, p. 2.
5 UNESCO. Guide to Statistics on Scientific and Technological Information and Documentation. Paris, 1984.
6 Ibid., p. Другой причиной интереса ЮНЕСКО к измерению СНД явилось ее желание распространить стандартизацию за пределы развитых стран-членов ОЭСР. Уже в 1969 году ЮНЕСКО опубликовала документ, посвященный, в частности, стандартизации данных между странами Западной и Восточной Европы.1 В нем также шла речь о необходимости измерения СНД. Дело в том, что в то время в СССР и странах Восточной Европы вся статистика по науке и технологии проходила под рубрикой «наука», в то время как НИОКР не были четко определены. Таким образом, перед ЮНЕСКО стояла альтернатива: стандартизировать измерения по примеру ОЭСР, сконцентрировавшись на НИОКР, или сделать это, как в СССР и Восточной Европе, измеряя вместе НИОКР и СНД. Исход дела решил провал попыток включения в исследования стран Восточной Европы.
Таким образом, ЮНЕСКО так никогда и не приступила к сбору данных по СНД. Специалисты выдвигают три объяснения такого положения дел. Во-первых, ЮНЕСКО, как и ОЭСР, рассматривало НИОКР как основную деятельность, имеющую исключительную важность для науки и технологии и, кроме того, достаточно легко поддающуюся локализации и измерению.
Во-вторых, лишь немногие страны проявили интерес к измерению СНД. На состоявшейся в 1985 году встрече экспертов в области методологии сбора данных по научно-технической информации и документации (НТИД) было заявлено, что эта деятельность не является особенно важной и необходимой, цели ее измерения неочевидны и существуют сложности с ее определением. Однако основной причиной отказа ЮНЕСКО от усилий по измерению СНД стал выход из организации США в году. Это привело к существенному сокращению финансовых и человеческих ресурсов и практическому самоустранению ЮНЕСКО из сферы измерения науки и технологии.
Из всех видов СНД определенную автономию и статус, соотносимый с НИОКР, получили лишь виды деятельности, связанные с инновацией, понятие которой было введено в издании «Руководства Фраскати» 1981 года. К этим видам деятельности были 1 C. Freeman. The Measurement of Scientific and Technical Activities. Paris, 1969.
2 Godin B. Neglected Scientific Activities, p. 23.
Методология измерения науки и технологии (опыт ОЭСР) отнесены: 1) маркетинг новой продукции, 2) патентная работа, 3) финансовые и организационные изменения, 4) инженерноконструкторские работы, 5) технологическая подготовка и организация производства, 6) организация «стартапов». Проведенное в 1997 году ОЭСР совместно с «Евростатом»
исследование инновационной деятельности, в основу которого были положены рекомендации «Руководства Осло», показало, что отличная от НИОКР деятельность составляет около четвертой части всей инновационной деятельности фирм. В настоящее время лишь немногие страны занимаются измерением СНД. В случае развивающихся стран основным побудительным мотивом выступает желание продемонстрировать больший объем научно-технологической деятельности. Так, в странах Латинской Америки в конце 1990-х годов на долю СНД приходилось более 77% всей научнотехнологической деятельности.3 Что же касается развивающихся стран вроде Канады, то там измерение СНД позволяет некоторым правительственным агентствам, не осуществляющим НИОКР, оказаться включенными в эту сферу.
Таким образом, на протяжении всей истории измерений науки и технологии данные по СНД собирались крайне редко, а сама эта деятельность не получила обстоятельного обсуждения. В тех редких случаях, когда она рассматривалась в руководствах НФН и ОЭСР, целью этого рассмотрения была скорее необходимость ее исключения для более «чистого»
измерения НИОКР.
Отказ от измерения СНД особенно негативно сказался на измерении социальных и гуманитарных наук, которыми большинство стран-членов ОЭСР стали заниматься в 1970-е годы. Конвенции, сформировавшиеся в предыдущие годы в отношении естественных наук, были также распространены на эти новые области измерения. В результате такие сферы деятельности, как сбор статистических данных, обработка и анализ информации, являющиеся неотъемлемой составной частью этих дисциплин, были исключены из измерения как не относящиеся непосредственно к научной деятельности.
1 OECD. Frascati Manual, 1981, pp. 15–16.
2 Brouwer E. and Kleinknecht A. Measuring the Unmeasurable; A Country’s Non-R&D Expenditure on Product and Service Innovation // Research Policy, 25, 1997, p. 1239.
3 RICYT. Science and Technology Indicators: 1997. Buenos Aires, 1998.
И.В. Аржанова, М.Ю. Барышникова, В.М. Жураковский и др.
В.М. Жураковский, Л.В. Заварыкина, И.В. Лазутина, М.В. Ларионова, А.С. Лопатина, В.А. Нагорнов,
МЕТОДОЛОГИЯ МНОГОМЕРНОГО РАНЖИРОВАНИЯ:
ВОЗМОЖНОСТИ КОМПЛЕКСНОЙ ОЦЕНКИ ДЕЯТЕЛЬНОСТИ
МОДЕЛЬНАЯ МЕТОДОЛОГИЯ МНОГОМЕРНОГО РАНЖИРОВАНИЯ
РОССИЙСКИХ ВУЗОВ
В Указе о мерах по реализации государственной политики в области образования и науки, подписанном президентом В.В. Путиным 7 мая 2012 года, поставлена задача обеспечить вхождение к 2020 году не менее пяти российских университетов в первую сотню ведущих мировых университетов согласно мировому рейтингу. Распоряжением Правительства Российской Федерации от 29 октября 2012 года утвержден 1 Аржанова Ирина Вадимовна, исполнительный директор Национального фонда подготовки кадров (НФПК), к.т.н.; Барышникова Марина Юрьевна — заместитель исполнительного директора НФПК, к.п.н.; Жураковский Василий Максимилианович — научный консультант НФПК, д.т.н.; Заварыкина Любовь Валерьевна — м.н.с. Центра международных сопоставительных исследований Института международных организаций и международного сотрудничества (ИМОНС) НИУ «Высшая школа экономики»; Лазутина Ирина Викторовна — м.н.с. Центра международных сопоставительных исследований ИМОМС НИУ «Высшая школа экономики»; Ларионова Марина Владимировна — директор ИМОМС НИУ «Высшая школа экономики», д. полит. н.; Лопатина Анастасия Сергеевна — стажер-исследователь Российскоамериканской программы по сотрудничеству институтов гражданского общества Фонда «Евразия»; Нагорнов Виталий Александрович — директор научно-исследовательского Центра содействия международному развитию ИМОМС НИУ «Высшая школа экономики», к.э.н.; Перфильева Ольга Владимировна — директор Центра международных сопоставительных исследований ИМОМС НИУ «Высшая школа экономики», к. с. н.2 Настоящая методология разработана по результатам реализации проекта Национального фонда подготовки кадров (НФПК) «Разработка и апробация модельной методологии рейтингования образовательных учреждений профессионального образования» по заказу Министерства образования и науки РФ (2011–2013 гг.). Подробнее о ходе реализации проекта и основных результатах см. на странице проекта на сайте НФПК (http://ranking.ntf.
ru/) и ИМОМС НИУ ВШЭ (http://www.hse.ru/org/hse/iori/toplist).
Методология многомерного ранжирования: возможности комплексной оценки деятельности вузов план мероприятий, направленных на повышение конкурентоспособности ведущих российских вузов среди мировых научно-образовательных центров. Реализация комплексной системы мер призвана способствовать формированию кадрового потенциала, развитию образовательной и исследовательской деятельности университетов, инновационной активности и трансферу создаваемых знаний в экономику и общество. Вхождение в международные рейтинги и занятие в них равных или сопоставимых с ведущими мировыми университетами позиций является одним из показателей конкурентоспособности. Выход на ведущие позиции не может быть быстрым, поскольку конкуренция очень острая и продолжает усиливаться в условиях глобализации, взаимозависимости, обострения борьбы за финансовые и человеческие ресурсы. Учитывая поставленные перед российскими вузами задачи, крайне важным становится обеспечение необходимых условий на национальном уровне для продвижения российских вузов в глобальное пространство высшего образования. Инструментом, способным обеспечить реализацию поставленных президентом РФ задач, может выступать национальная система ранжирования российских вузов, учитывающая особенности развития и функционирования российского высшего образования и его актуальные потребности, и опирающаяся на всесторонний анализ российского и зарубежного опыта построения рейтингования образовательных учреждений.
КОНЦЕПЦИЯ МОДЕЛЬНОЙ МЕТОДОЛОГИИ РАНЖИРОВАНИЯ
Модельная методология многомерного ранжирования, разработанная и апробированная Национальным фондом подготовки кадров (НФПК) по заказу Министерства образования и науки РФ в рамках проекта «Разработка и апробация модельной методологии ранжирования учебных заведений профессионального образования в России» в период 2011–2012 годов, закладывает основу для реализации национального подхода к оценке деятельности отечественных вузов, учитывающей многообразие (дифференцированность) национальной системы высшего образования. Методология ранжирования направлена на решение таких стратегических задач, как всесторонняя оценка качества деятельности вузов И.В. Аржанова, М.Ю. Барышникова, В.М. Жураковский и др.и содействие продвижению российских университетов в глобальное образовательное пространство.
Многомерное ранжирование (multidimensional ranking) не стремится соединить оценку образовательной и исследовательской деятельности вузов в одном агрегированном показателе, а ориентировано на разнообразные потребности разных категорий пользователей1. В этом его ключевое отличие от рейтингов или одномерных ранжирований отражающих вертикальное разнообразие учреждений высшего образования с помощью различных индикаторов оценки в одном агрегированном показателе2. Учитывая многообразие деятельности и функций университетов, методология служит источником надежной и объективной информации о качестве деятельности университета и положении того или иного вуза среди остальных национальных вузов. Таким образом, данный подход удовлетворяет интересы различных потребителей услуг российского высшего образования, позволяя через представление легко интерпретируемой информации ориентироваться в широком разнообразии вузов и предлагаемых ими услуг. Поскольку положение в рейтингах является важным сигналом конкурентоспособности, методология способствует повышению качества деятельности и конкурентоспособности российских вузов. Одновременно, учитывая международные методологические стандарты построения ранжирований (стандарты проведения эмпирических исследований, критерии аудита качества ранжирований Международной экспертной группы по определению качества ранжирований IREG3, опыт построения глобальных, национальных и специализированных ранжирований), методология содействует интеграции российских вузов в глобальное образовательное и исследовательское пространство.
В рамках предложенного подхода реализуется несколько основных задач:
1 См.: официальный вебсайт Института международных организаций и международного сотрудничества: http://www.hse.ru/org/hse/iori/toplist.
2 С м.:Vught F.A. van, Westerheijden D.F. Multidimensional Ranking: a New Transparency Tool for Higher Education and Research // Higher Education Management and Policy. 2010. Vol. 22/3.
3 International Observatory on Academic Ranking and Excelence (IREG).
URL: http://www.ireg-observatory.
org/index.php?option=com_frontpage&Itemid=1 (date of access: 04.02.2013).
Методология многомерного ранжирования: возможности комплексной оценки деятельности вузов 1. Регулярная оценка высших учебных заведений по пяти направлениям деятельности вузов с учетом разнообразия системы высшего образования с возможностью построения ранжирований и рейтингов вузов по отдельно заданным параметрам.
2. Разработка и постоянное совершенствование инструмента прозрачной внешней оценки качества высших учебных заведений в России.
3. Формирование и пополнение базы данных о состоянии и развитии российской системы высшего профессионального образования.
4. Содействие развитию и повышению конкурентоспособности российской системы высшего образования через создание информационной и аналитической основы для бенчмаркинга (выявления лучших практик) и стимулирования спроса на услуги высшего образования Основываясь на результатах анализа зарубежных и международных методологий ранжирования1 и принимая во внимание специфику российской системы высшего образования, в качестве потребителей услуг высшего образования в России, интересы и информационные потребности которых должны быть учтены, выделены следующие целевые группы:
1) абитуриенты и их родители;
2) органы государственного управления различного уровня;
3) работодатели и рынок труда в целом;
4) академическое сообщество (вузы в целом, исследователи, преподаватели вузов);
5) бизнес-структуры разного уровня.
Для отражения многообразия российской системы высшего образования при разработке проекта модельной методологии рейтингования высших учебных заведений, опираясь на классификацию высших учебных заведений и современные проекты модернизации системы высшего образования, реализуемые Министерством образования и науки РФ, за объекты рейтингования были приняты государственные и негосударственные вузы, включая следующие категории:
1 Заварыкина Л.В., Лопатина А.С., Перфильева О.В. Сравнительный анализ международных методологий ранжирования высших учебных заведений // Вестник международных организаций. 2012. № 1.
И.В. Аржанова, М.Ю. Барышникова, В.М. Жураковский и др.
– ведущие вузы (МГУ, СПбГУ, ФУ, НИУ);
– классические университеты;
– инженерно-технические вузы;
– гуманитарно-педагогические вузы;
– экономические и юридические вузы;
– сельскохозяйственные вузы.
Учитывая развитие и усложнение функций современных российских вузов, в анализ и ранжирование включены пять функций (направлений деятельности): научноисследовательская деятельность, обучение и преподавание, международная деятельность, трансфер знаний и взаимодействие с регионом.
Таким образом, многомерность модельной методологии рейтингования выражается в пересечении нескольких оценочных плоскостей:
– пяти направлений деятельности вузов, выделенных в соответствии с разнообразием функций вузов: обучение, исследовательская деятельность, трансфер знаний, взаимодействие с регионом, международная деятельность;
– групп вузов, выделенных в соответствии с их миссиями: ведущие вузы (МГУ, СПбГУ, ФУ, НИУ), классические университеты, инженерно-технические вузы, гуманитарно-педагогические вузы, экономические и юридические вузы, сельскохозяйственные и медицинские вузы;
– групп пользователей, выделенных в соответствии с различными информационными потребностями: абитуриенты, академическое сообщество, власть, рынок труда, бизнес-структуры.
Модельная методология ранжирования пока не использует качественные данные, получаемые с помощью опросов студентов, сотрудников вузов и работодателей, прежде всего в связи с отсутствием специальных социологических исследований, которые бы велись на общероссийском уровне. Тем не менее, использование качественных данных рассматривается как один из векторов развития национальной системы рейтингования российских вузов. Для построения многомерного ранжирования вузов на текущем этапе используются количественные индикаторы, отражающие качество деятельности российских вузов.
Методология многомерного ранжирования: возможности комплексной оценки деятельности вузов Все используемые элементы методологии (прежде всего предлагаемые количественные индикаторы) прошли экспертную оценку и обсуждение с целью:
– определения набора количественных индикаторов для каждого из пяти предлагаемых направлений оценки деятельности вузов из разнообразия используемых индикаторов в международной и российской практике;
– оценки значимости выделенных количественных индикаторов для модельной методологии рейтингования и развития высшего образования в России, а также соответствия принципам надежности, доступности и релевантности;
– тестирования модельной методологии рейтингования;
– проведения дополнительной процедуры взвешивания индикаторов внутри каждого из пяти предлагаемых направлений.
На основании полученных экспертных оценок выделены 54 индикатора по пяти направлениям деятельности вузов (научно-исследовательская деятельность, обучение/преподавание, международная деятельность, трансфер знаний, взаимодействие с регионом) и 19 дополнительных параметров профайла университетов (см. Приложение 1).
ИНСТРУМЕНТАРИЙ МОДЕЛЬНОЙ МЕТОДОЛОГИИ РЕЙТИНГОВАНИЯ
Инструментарий для сбора данных по выделенным индикаторам является несущей конструкцией методологии.Шесть групп исходных индикаторов, сформированных на основании результатов работы экспертов рабочей группы проекта, составляют основу инструментария:
Группа А «Профайл вуза»;
Группа B «Научно-исследовательская деятельность»;
Группа C «Обучение и преподавание»;
Группа D «Международная деятельность»;
Группа E «Трансфер знаний»;
Группа F «Взаимодействие с регионом».
Каждая группа имеет соответствующую внутреннюю структуру и различное смысловое наполнение. Полный список индикаторов представлен в Приложении 1.
И.В. Аржанова, М.Ю. Барышникова, В.М. Жураковский и др.
Группа A (A1–A19) состоит из показателей, представляющих основные характеристики профайла отдельных вузов, который складывается из таких индикаторов общего характера, как его вид (A2), категория, группа/тип вуза (А3, A4), ведомственная принадлежность (A5) и организационно-правовая форма (A6) вуза, его географическая (A7) и территориальная (A8) принадлежность. Профиль вуза может включать информацию о численности студентов (A9), профессорскопреподавательского состава (A10), научных сотрудников (A13), учебно-методического и административного персонала (A11). Данная группа индикаторов позволяет сформировать предварительную картину тех возможностей, которыми располагает вуз для предоставления услуг высшего образования.
Более подробным профиль вуза делает информация о количестве предлагаемых образовательных программ (различных направлений подготовки) (A12), а также о возможностях послевузовского образования в аспирантуре (A14) и докторантуре (A15). Профайл вуза может быть дополнен другой информацией, полезной для потребителей услуг высшего образования.
Отличительной чертой индикаторов Группы А является их функциональность. С одной стороны, каждый индикатор в отдельности несет в себе конкретную информационную нагрузку и может использоваться самостоятельно, но не использоваться для оценки вузов. С другой стороны, некоторые из индикаторов Группы А входят в структуру индикаторов других групп (B, C, D, E, F) и могут быть использованы для расчета индикаторов по отдельным направлениям деятельности вузов.
В группу B (B1 — B15) вошли индикаторы, раскрывающие научно-исследовательскую активность вузов как в терминах исходных условий, так и результатов.
Индикаторы качества ППС (B2), публикационной активности сотрудников вуза (B3–B11), доходов от научных исследований (В12), участия в грантовых программах/проектах (В13–В14) традиционно рассматриваются как показатели развития научно-исследовательской деятельности вуза.
Как показывает международная практика, одним из наиболее надежных способов оценки научно-исследовательского потенциала вуза является подсчет публикационной активности его ППС и научных сотрудников, а также расходов и доходов вуза от научно-исследовательской деятельности.
Индикаторы группы С (C1–C18) характеризуют качество образовательной деятельности вуза. Эта составляющая деяМетодология многомерного ранжирования: возможности комплексной оценки деятельности вузов тельности вуза выражается такими показателями, как качество абитуриентов (С3, С14), качество студентов (С4), качество ППС (С9, С10, С12, С16), качество образовательных программ (С1, С2), востребованность выпускников на рынке труда (С5), финансирование вузом учебной деятельности (С11, С18), возможности продолжения обучения в магистратуре и аспирантуре (С7, С13) и мобильность студентов (С8).
Российская и международная практика показывает, что наиболее частым способом оценки качества образовательной деятельности вуза является оценка качества его абитуриентов, ППС, расходов на обеспечение обучения и востребованности выпускников на рынке труда.
Индикаторы группы D (D1–D12) описывают международную деятельность вуза. Качество международной деятельности вуза характеризуется индикаторами, отражающими активность вуза в привлечении иностранных студентов и преподавателей (D1, D5, D12), мобильности студентов и преподавателей (D6, D7, D8), доходов от взаимодействия с иностранными партнерами (D2, D3, D4), реализации образовательных программ с иностранными партнерами (D10, D11). Представленные индикаторы являются количественными показателями как исходных ресурсов, так и результатов деятельности вуза по интернационализации, поэтому позволяют оценить международную деятельность вуза с различных точек зрения.
Индикаторы Группы E (E1–E5) характеризуют активность вузов в области передачи результатов своей деятельности внешним стейкхолдерам. Эта деятельность вуза оценивается по экономической составляющей (E1–E3) и взаимодействию вуза с внешними партнерами (E4, E5). Необходимо отметить, что в российской и зарубежной практике критерии оценки этого направления деятельности вуза недостаточно разработаны, предоставление данных по этим индикаторам может вызвать затруднения. Однако такие показатели, как доля доходов из внебюджетных источников, доход от продажи объектов интеллектуальной собственности, широко используются и в российской, и в зарубежной практике. Источниками данных по индикаторам группы E являются данные, предоставляемые вузами для прохождения государственной аккредитации, и собственные данные вузов.
Индикаторы группы F (F1–F4) описывают деятельность вуза по взаимодействию с региональным сообществом. Показатели экономической активности вуза по взаимодействию И.В. Аржанова, М.Ю. Барышникова, В.М. Жураковский и др.
с регионом (F1, F2) и показатели подготовки кадров для региона (F3, F4) позволяют оценить деятельность вуза по этому направлению.
Источниками информации по индикаторам могут быть документы, доступные широкой общественности, статистические данные, предоставляемые вузами для различных мониторинговых систем, для прохождения государственной аккредитации, библиометрические данные, собственные данные вузов. В силу того, что цели и результаты многомерного ранжирования отличаются от целей и результатов информационных и мониторинговых систем, формулировки индикаторов также отличаются. Поэтому говорить о полном замещении индикаторов ранжирования индикаторами внешних систем не представляется возможным. Однако наличие таких данных создает возможность для повышения надежности получаемых в рамках ранжирования данных.
Для получения количественных данных вузов при формировании опросника индикаторы направлений деятельности были структурированы в шесть семантических блоков:
– профайл вуза и инфраструктура (общие сведения);
– студенты и аспиранты;
– ППС, НС и другой персонал;
– образовательные программы;
– библиометрия;
– бюджет.
Индикаторы шести блоков сформировали в результате процедуры декомпозиции 73 исходных индикаторов. Большая часть исходных индикаторов отражает относительные значения (доля, %) по тому или иному направлению деятельности (или функции) вуза.
Процедура декомпозиции позволила перевести относительные индикаторы в индикаторы абсолютных значений и произвести сбор данных по индикаторам абсолютных значений1. При этом важно, что абсолютные значения могут как 1 Декомпозицию индикаторов и опросник см. на странице проекта на сайте НФПК (http://ranking.ntf.ru/p122aa1.html) и ИМОМС НИУ ВШЭ (http:// www.hse.ru/org/hse/iori/edu_ranking).
Методология многомерного ранжирования: возможности комплексной оценки деятельности вузов использоваться, так и не использоваться для оценки вуза по тому или иному направлению его деятельности.
Декомпозиция осуществлялась через разделение структуры индикатора на составляющие его элементы и включала несколько процедурных шагов:
1. Кодировка индикаторов. Каждому из 73 исходных индикаторов присваивается индивидуальный код исходя из изначально определенных шести направлений работы вуза:
Группа A — Профайл вуза и инфраструктура (A1–A19);
Группа B — Научно-исследовательская деятельность (B1– B15);
Группа C — Обучение и преподавание (C1–C18);
Группа D — Международная деятельность (D1–D12);
Группа E — Трансфер знаний (E1–E5);
Группа F — Взаимодействие с регионом (F1–F4).
2. Разделение 73 исходных индикаторов на составляющие элементы, субиндикаторы. Каждый исходный индикатор, указывающий на относительное значение, как правило, состоит из двух и более абсолютных субиндикаторов.
Например, структура исходного индикатора D1 «Доля иностранных студентов в общей численности студентов» состоит из субиндикаторов:
D1.1 — численность иностранных студентов вуза в прошедшем учебном году, в том числе:
D1.1a — из стран СНГ очной формы обучения;
D1.1b — из стран СНГ очно-заочной формы обучения;
D1.1c — из стран СНГ заочной формы обучения;
D1.1d — из стран СНГ (экстернат);
D1.1e — из стран дальнего зарубежья очной формы обучения;
D1.1f — из стран дальнего зарубежья очно-заочной формы обучения;
D1.1g — из стран дальнего зарубежья заочной формы обучения;
D1.1h — из стран дальнего зарубежья (экстернат).
3. Определение общих субиндикаторов. Процедура декомпозиции позволила выявить субиндикаторы, которые используются как для построения нескольких исходных индикаторов, так и в информационных целях.
Например, индикатор A9 «Численность студентов вуза»
и индикатор D1 «Доля иностранных студентов в общей чисИ.В. Аржанова, М.Ю. Барышникова, В.М. Жураковский и др.
ленности студентов». При формировании профайла вуза индикатор A9 не используется для оценки вуза по количеству студентов. Однако для построения значения исходного индикатора D1 индикатор A9 выступает как основа для оценки и сравнения вузов по относительному значению количества иностранных студентов вуза.
4. Построение значения исходного индикатора на основе данных, полученных по отдельным субиндикаторам. Для получения значения исходного индикатора осуществляется сбор информации по отдельным абсолютным субиндикаторам. Далее на основании имеющихся абсолютных значений вычисляется отношение между ними. Построение значения каждого из 73 исходных индикаторов производится на основании кодировки.
Например, значение исходного индикатора D1 «Доля иностранных студентов в общей численности студентов» получается через отношение между суммой значений индикатора D1 «Численность иностранных студентов в прошедшем учебном году» и суммой значений индикатора A9 «Общая численность студентов в прошедшем учебном году», т.е. через отношение численности иностранных студентов вуза всех направлений подготовки, форм обучения и зарубежных стран, включая страны СНГ и дальнего зарубежья, в предыдущем учебном году к общей численности студентов вуза всех направлений подготовки и форм обучения в предыдущем учебном году. Такие вычисления производятся для всех индикаторов, выраженных в относительных значениях (%, доля).
В опроснике также даны пояснения по каждому из включенных в него индикаторов и информация о временном периоде и источнике, откуда вуз может получить сведения для предоставления данных.
В результате разделения структуры индикаторов на составляющие элементы был сформирован перечень из отдельных субиндикаторов, который предоставлялся вузам для заполнения.
Методы обработки количественных данных, Для обеспечения наибольшей точности ранжирования при апробации модельной методологии были проанализированы Методология многомерного ранжирования: возможности комплексной оценки деятельности вузов различные подходы к построению рейтингов и ранжирований, а также математико-статистические методы обработки данных ранжирования. При рассмотрении данных методов учитывался опыт построения глобальных, национальных и специализированных ранжирований. Проведенный анализ позволил выбрать оптимальное сочетание методов для построения ранжирования.
Процедура взвешивания индикаторов для построения рейтингов по пяти функциям и общего рейтинга В рамках модельной методологии ранжирования российских вузов распределение весов осуществляется в соответствии с пятью функциями высшего образования (научноисследовательская деятельность, обучение-преподавание, международная деятельность, трансфер знаний, взаимодействие с регионом) и выделенными в ходе разработки методологии отдельными субиндикаторами. Таким образом, формируется пять тематических групп субиндикаторов, характеризующих функции высшего образования. Распределение весов субиндикаторов внутри каждой тематической группы производится методом опроса экспертов, на основании результатов которого получаются модели комплексных индикаторов для построения рейтингов учреждений высшего образования по пяти функциям высшего образования. Присвоение весов субиндикаторам в каждой группе выполняется экспертами на основании метода «распределения оценок»1.
С помощью этого метода рассчитываются относительные веса индикаторов. Достоинством метода является то, что он позволяет избежать ошибок в ходе технических манипуляций данными; также экспертное мнение является надежным источником информации о важности тех или иных индикаторов деятельности высших учебных заведений. К недостаткам метода можно отнести то, что не всегда удается произвести надежное распределение оценок между более чем десятью 1 Метод «распределение оценок» — метод экспертной оценки, при которой каждому эксперту предлагается набор оценок, которые они должны распределить среди субиндикаторов таким образом, чтобы наиболее важные в рамках модели индикаторы получали наивысшие оценки из предоставленного набора.
И.В. Аржанова, М.Ю. Барышникова, В.М. Жураковский и др.
субиндикаторами, так как это предполагает экспертное сравнение слишком большого количества пар субиндикаторов.
Также этот метод может отражать субъективное мнение экспертов, а не фактическую важность субиндикаторов. Однако экспертное обсуждение и обмен мнениями между экспертами могут помочь преодолеть этот недостаток.
Для определения относительной важности субиндикаторов одной функции экспертам предлагается распределить между субиндикаторами набор оценок, где 5 — высшая оценка, а 2 — низшая. Далее на основании оценок, предоставленных всеми экспертами для каждого субиндикатора находится средняя, которая и становится весом соответствующего субиндикатора.
При построении общего рейтинга высших учебных заведений ставится цель оценить деятельность вузов по всем направлениям в совокупности и выявить, насколько высшие учебные заведения соответствуют модели «идеального вуза».
Взвешивание индикаторов для построения общего рейтинга основывается на взвешивании субиндикаторов внутри пяти выделенных тематических групп. Для построения общей иерархии субиндикаторов рассматривается три альтернативных метода. Так как взвешивание является самым влиятельным фактором из всех процедур обработки данных, была осуществлена проверка чувствительности модели комплексного индикатора к различным вариантам взвешивания:
методу сложения взвешенных индикаторов, методу «комбинированного взвешивания», методу разбиения субиндикаторов на группы и присвоения им новых весов.
Проверка чувствительности модели комплексного индикатора к различным вариантам взвешивания (см. рис. 1) показала, что различные методы взвешивания дают различные варианты общего рейтинга, положение отдельных вузов в каждом из которых может отличаться.
Так, метод простого сложения индикаторов представляет собой наиболее простой, но при этом достаточно показательный вариант построения общего рейтинга. Как показано на рисунке 1, рейтинг в этом случае представляет собой линейную последовательность вузов от вуза-лидера по совокупности баллов до вуза, набравшего наименьшее количество баллов. Преимуществом данного метода является отсутствие Методология многомерного ранжирования: возможности комплексной оценки деятельности вузов Рисунок Графическое представление результатов трёх рейтингов И.В. Аржанова, М.Ю. Барышникова, В.М. Жураковский и др.
дополнительных манипуляций с данными, что исключает возможность повторного взвешивания и искажения данных.
Однако нужно принимать во внимание, что метод исходит из того, что веса в общем рейтинге будут иметь такой же вес, как и веса в рейтингах по отдельным функциям. Таким образом, метод построения рейтинга «простого сложения» отдает предпочтение вузам с равномерно развитыми различными видами деятельности.
Рейтинги, построенные методами комбинированного взвешивания и взвешивания с помощью коэффициентов по кластерам индикаторов, в той или иной степени изменяют положение вузов относительно рейтинга, построенного на основании простого сложения. Комбинированное взвешивание, хотя и часто используется при построении международных рейтингов высшего образования, является сложной иерархической моделью весов. Для построения такого рейтинга субиндикаторы подвергаются повторному взвешиванию, чтобы подчеркнуть наиболее важные индикаторы, что может приводить к необоснованному дублированию баллов.
Взвешивание методом разделения на группы и присвоения новых весов позволяет выделить группы субиндикаторов по степени их важности в модели построения общего рейтинга, но, поскольку всем субиндикаторам в одной группе присваивается одинаковый коэффициент важности, относительная важность субиндикаторов внутри кластера стирается.
Анализ трех методов взвешивания в ходе обработки данных апробации показал, что построение рейтинга путем разбиения субиндикаторов на группы и присвоения им новых весов занижает позиции 30 вузов и повышает позиции 35, позиции 16 остаются неизменными; стандартное отклонение от рейтинга, построенного методом простого сложения, составляет 2,8, т.е. в среднем отклонение от первого рейтинга составляет 2,8 позиции в большую или меньшую сторону.
Построение рейтинга методом комбинированного взвешивания занижает позиции 33 вузов и повышает позиции 35, при этом позиции 13 вузов остаются неизменными. Стандартное отклонение составляет 3,66.
Проверка чувствительности модели комплексного индикатора к различным вари антам взвешивания показывает, что каждый из приведенных методов взвешивания содержит опасность искажения изначальных данных, тем не менее Методология многомерного ранжирования: возможности комплексной оценки деятельности вузов взвешивание методом простого сложения взвешенных субиндикаторов обладает преимуществами простоты расчета и отсутствием дополнительной манипуляции данными. При обработке данных апробации был принят метод сложения значений всех субиндикаторов, взвешенных в рамках пяти функций.
В результате этого метода взвешенные субиндикаторы, распределенные по пяти группам, объединяются для построения общей иерархии, при этом исходные веса не меняются.
Этапы обработки эмпирических данных Обработка эмпирических результатов апробации проводится в три этапа: на первом этапе осуществляется проверка первичных данных, на втором — восстановление пропущенных значений, на третьем — обработка данных.
Передача вузам анкеты для самозаполнения, с одной стороны, означает делегирование им части ответственности за качество предоставляемых данных, т.е. повышает их значимость как участников для общих результатов исследования, но, с другой стороны, сокращает степень контроля разработчиками процесса сбора данных, увеличивая важность последующей проверки данных. Важным элементом обеспечения достоверности и надежности полученной эмпирической информации является процедура проверки массива данных.
Процедура проверки массива данных позволяет провести ревизию качества представленных первичных данных. Первичные данные апробации изучаются на предмет полноты и соответствия реальности.
В процессе проверки данных по каждому из вузов выявляются субиндикаторы (первичные данные), по которым вуз не смог предоставить данные. Отсутствие данных влияет на итоговое распределение значений базовых индикаторов для каждого университета, сокращая общее количество баллов, которое вуз может получить при последующем ранжировании по тому или иному направлению деятельности (научноисследовательская деятельность, обучение и преподавание, международная деятельность, трансфер знаний и взаимодействие с регионом). В этой связи особое значение имеет полнота представления данных.
И.В. Аржанова, М.Ю. Барышникова, В.М. Жураковский и др.
При этом следует различать фактический и номинальный пропуск данных по базовым индикаторам. При фактическом пропуске запрашиваемые показатели отсутствуют в деятельности вуза, тогда как при номинальном — могут присутствовать в деятельности вуза, однако вуз не предоставил данные по каким-либо другим причинам. И в том, и другом случае по умолчанию принимается значение «0».
Первый шаг: по возможности, разработчикам необходимо восстановить пропущенные значения по открытым и надежным источникам.
Например, в случае отсутствия данных по показателям публикационной активности пробелы восстанавливаются разработчиками самостоятельно с помощью обращения к базам данных РИНЦ, Scopus, Web of Science. Дальнейшая работа по построению ранжирований ведется с учетом восстановленных таким образом данных.
Второй шаг: в методологию включены показатели, данными по которым располагают только вузы, а их отсутствие не позволяет рассчитать базовые индикаторы для дальнейшего ранжирования. В случае, когда вуз не предоставил данные и их нельзя восстановить по имеющимся в распоряжении открытым источникам информации, а также установить, связано ли отсутствие данных с тем, что показатели не являются для вуза релевантными, для вуза формируется отдельный перечень показателей, по которым требуется выверка.
Однако вследствие различных причин не все вузы могут предоставить полный объем запрашиваемых данных и не от всех вузов можно получить обратную связь по итогам первичной проверки массива данных1.
Отсутствующие данные по индикаторам приводят к искажению оценки вузов, в особенности при агрегировании субиндикаторов, так как вузы, не предоставившие данные по какой-либо причине, автоматически получают более низкую оценку. То есть при присвоении пропущенным данным 1 Такая ситуация в целом характерна для проведения опросов и обуславливается тем, что респонденты либо не располагают необходимыми данными, либо не желают их предоставлять. Отсутствие данных также может быть результатом ошибки.
Методология многомерного ранжирования: возможности комплексной оценки деятельности вузов значения «0» или исключении пропущенных данных существенно искажается общая картина при ранжировании или рейтинговании вузов. Поэтому последующая математикостатистическая обработка данных осуществляется только после проверки данных — получения от вузов, принявших участие в апробации, подтверждения своих пропущенных значений и согласия/несогласия с предлагаемыми интерпретациями отсутствующих данных (со значением «0»).
Третий шаг: если пропуск данных связан с невозможностью предоставить данные или технической ошибкой, а не фактическим отсутствием такой деятельности в вузе, пропущенные данные замещаются расчетными данными. Например, можно использовать способ замещения пропущенных данных минимальными значениями субиндикаторов в категории вузов. Минимальное значение по категории замещает пропущенные данные, таким образом, вузы, не предоставившие данные, получают минимальное значение показателя по вузам их категории. Такой подход применяется в некоторых методологиях, однако он сильно критикуется, поскольку искажает оценку. Поэтому в рамках апробации ранжирования и рейтинги были построены без применения замещения пропущенных данных минимальными значениями.
Однако представляется целесообразным в дальнейшем провести построения с применением замещения пропущенных данных минимальными значениями по категории. Сравнение полученных распределений позволит сделать взвешенный вывод о преимуществах и ограничениях обоих подходов.
В дальнейшем при продолжении работы по ранжированию вузов накопленные данные позволят использовать другие подходы, например, замещение пропущенных данных вуза расчетными показателями по конкретным индикаторам за предыдущие годы. В целом проблема пропущенных значений может быть преодолена за счет повышения уровня полноты предоставляемых вузами данных.
Математико-статистическая обработка данных После проверки и восстановления для формирования ранжирований, рейтингов и профайлов вуза осуществляется математико-статистическая обработка данных, введенных в базу.
И.В. Аржанова, М.Ю. Барышникова, В.М. Жураковский и др.
Базовым элементом каждого инструмента является субиндикатор, который при помощи операций нормирования1, агрегирования2, ранжирования3 и взвешивания4 трансформируется в: 1) нормированный субиндикатор, 2) агрегированный субиндикатор и 3) взвешенный и агрегированный субиндикатор, на основании которых производится формирование различных инструментов.
«