Проблема оценки эффективности научного исследования. Научная и практическая эффективность исследования систем управления. Признаки научного исследования

Реформа Российской академии наук () набирает силу. Очередным ее этапом станет оценка эффективности работы научных учреждений, входящих в систему РАН.

В начале ноября было принято постановление правительства «О внесении изменений в Правила оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения». В пояснительной записке к нему утверждается: «Оценка результативности деятельности научных организаций проводится на основании всестороннего, в том числе экспертного, анализа сведений о результатах деятельности научной организации, представленных научной организацией в установленном порядке в федеральный орган исполнительной власти, в ведении которого находится научная организация, и отражающих деятельность научной организации за последние пять календарных лет» (п. 13).

«Газета.Ru» попыталась разобраться в том, что имеется в виду под формулировкой «всесторонний анализ сведений».

Как рассказал «Газете.Ru» доктор физико-математических наук, академик РАН Алексей , в августе 2013 года в Академию наук поступил проект приказа (МОН), включающий «Типовую методику оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения». Данный документ предусматривает оценку результативности деятельности научных организаций на основе 70 численных показателей (единицы измерения: штуки, рубли и люди), и значительное место здесь занимают библиометрические показатели (число публикаций, индекс цитирования, импакт-фактор журналов, в которых публикуются исследователи). Как стало известно после заседания Совета по науке при МОН, состоявшегося 10 сентября, ведомство планирует использовать такие подходы для оценки научной деятельности институтов РАН. «Не исключено, что эти данные будут использованы для резкого (в несколько раз) сокращения численности научных сотрудников», — отмечает Паршин.

Сейчас в большинстве институтов, входящих в систему Академии наук (РАН), существует иерархия сотрудников — от младших научных сотрудников (их осталось крайне немного, это или будущие кандидаты, или только что защитившиеся кандидаты наук) до главных научных сотрудников (общепризнанных авторитетов, докторов наук, авторов монографий). У всех них есть свой план научной работы, который определяется на срок от 3 до 5 лет. В гуманитарных науках формой отчетности по нему является монография (иногда - цикл статей).

Исторически такое устройство научного труда объяснимо: государство выступало своего рода заказчиком и покупателем результатов работы ученых.

Однако при этой системе сложно оценивать качество выполненной работы, да и далеко не все работники советских научно-исследовательских институтов (НИИ) стремились к блестящему выполнению своих заданий.

В начале - середине 1990-х годов, на фоне резкого сокращения финансирования науки, многие российские ученые (в основном представители естественных наук, но не только) стали обращаться к грантам. А для того, чтобы получать деньги под конкретные проекты, стали нужны новые критерии для оценки эффективности научной работы.

Одним из них могло бы стать количество опубликованных статей и монографий. Однако в России в связи с существующими нормами Высшей аттестационной комиссии (ВАК) по защите диссертаций (докторских и особенно кандидатских) многие журналы стали промышлять сдачей своих страниц «в аренду», за деньги размещая формальные статьи, необходимые для выхода на защиту. Кроме того, в условиях падения финансирования в советском прошлом осталась система внешнего рецензирования статей, что открыло простор для кумовства и прочих не имеющих отношения к науке сделок.

Не стоит забывать и о качестве продукта, неминуемо падающем при работе «на вал». «В Америке для ученого-гуманитария нормой является одна — максимум две статьи в год, правда, учитываются только вышедшие в рецензируемых журналах», — рассказала корреспонденту «Газеты.Ru» аспирантка исторического факультета Ратгерского университета (США).

Тем не менее многие ученые активно стремятся публиковаться.

Так, у некоторых научных сотрудников в год выходит более десятка статей, правда, преимущественно в вестниках региональных университетов, в которых упрощена процедура рецензирования.

Конечно, ситуация в естественных науках с сточки зрения объема публикаций проще: зачастую одну статью готовит десяток ученых, так что количество материалов за авторством физика или математика традиционно больше.

Однако «валовая» система показала свое несовершенство. Поэтому обратились к другой системе оценки — через индекс цитируемости. Предполагается, что ученый эффективен в том случае, если на его работы много ссылаются — причем на протяжении длительного времени и в реферируемых периодических изданиях.

Этот метод изначально использовался в США, где и возникли самые авторитетные базы данных — Web of Science, Scopus и другие. Но для россиян, особенно гуманитариев, эти системы неточны: они ориентированы на англоязычные публикации и англоязычные журналы, поэтому труды отечественных историков, к примеру, отражены там фрагментарно. В результате в России возникла собственная база — Российский индекс научного цитирования (РИНЦ) , индексирующий русскоязычные журналы.

Таким образом, современная наукометрия считает, что ученый эффективен, если его фамилия часто появляется в сносках. Смысл этой системы понятен: с одной стороны, высказывание спорных мнений порождает дальнейшую дискуссию, и это позволяет науке развиваться, с другой — создание авторитетного текста показывает эффективность проделанной автором или авторами работы.

Порождением этого показателя становится импакт-фактор (применяется к журналу) — то есть показатель цитируемости журнала. Он рассчитывается так: число цитирований статей за 2012 год делится на общее количество статей, опубликованных в 2010-2011 годах.

Еще одной важной производной количественных оценок становится индекс Хирша .

Казалось бы, система, основанная на точных цифрах, с одной стороны, удобна распределяющим средства администраторам, с другой - сужает пространство для манипуляций, непотизма и других неприятностей.

Однако лучезарная картина светлого цифрового будущего сильно затуманилась при встрече с реальностью. Если говорить о частностях, то оказалось, что эта система уязвима для махинаций. В эссе американских математиков Дугласа Арнольда и Кристин Фаулер «Гнусные цифры» (опубликовано в сборнике «Игра в цыфирь, или Как теперь оценивают труд ученого» ) приводится пример китайца Хэ Цзихуаня, который постоянно ссылался на журнал International Journal of Nonlinear Sciences and Numerical Stimulations (IJNSNS) (243 раза за 2 года - подсчеты 2008 г.). Делал он это не из любви к науке - он был в нем редактором, как и еще в 20 других журналах. «В общей сложности совокупность таких родственных редакторам ссылок, для выявления которых требуется много времени, включает более 70% ссылок, использованных для вычисления импакт-фактора IJNSNS», — отмечают Арнольд и Фаулер.

Кроме того, эта система ставит представителей разных ветвей познания в неравные условия. Так, индекс цитируемости «заточен» под учет статей в журналах - основной форме научной литературы для физиков. Однако математики возражают: огромную долю в математической научной литературе составляет «серая литература» — отчеты, препринты и т.п. «А с начала 1990-х более или менее каждый математик может положить свой текст в архив текстов, где он появится через один-два дня и будет «вечно» доступен всем желающим; условия - текст на английском языке (формально на «любом») и написанный в ТеХ"е, специальной программе, на которой математики пишут свои статьи», — рассказал д.ф.м.н., академик РАН Алексей Паршин.

Этот архив базируется в Корнелльском университете в США, и, как подчеркивает Паршин, именно там находятся знаменитые работы Григория Перельмана.

Естественно, что базы не индексируют тексты в этом архиве.

«Система не учитывает большинства ссылок на труды историков, поскольку ориентирована на журнальные статьи, а не на монографии, являющиеся наиболее значимым и популярным «жанром» среди специалистов-гуманитариев», — добавляет в своей статье «Российская историческая наука и индексы научного цитирования» кандидат исторических наук, старший научный сотрудник ИРИ РАН Виталий . По его словам, в РИНЦ часто также не попадают популярные в отечественной гуманитарной науке «сборники тезисов». «Понять сотрудников РИНЦ можно: если они будут включать в индекс монографии и сборники статей, которые сейчас издать чрезвычайно легко, а отследить трудно, они просто утонут в потоке литературы», — замечает Тихонов.

В результате в России наблюдается заметный перекос в показателях: по данным, которые приводит Тихонов, самый высокий индекс научного цитирования в России у нобелевского лауреата А.К. Гейма, который составляет 40 216 цитирований, и индекс Хирша − 52. Для сравнения: самый высокий рейтинг среди гуманитариев — у археолога А.П. Деревянко: всего 2 750, а индекс Хирша - 14.

Цифры вместо науки

Но есть к этой системе и содержательные претензии. «Как только вы начинаете оценивать какой-то содержательный процесс по формальному показателю, так довольно быстро целью процесса становится не та содержательная деятельность, которую он оцениваете, а стремление любой ценой увеличить этот показатель», — утверждает Паршин. По его словам, «значительное число ученых считает, что импакт-фактор является инструментом коммерции в руках издательств, а не инструментом научной оценки».

Достаточно жестко высказывается по поводу подобного подхода к наукометрии и американский биолог Питер Лоуренс. По его мнению, имеет место сдвиг мотива на цель: «опубликование стало главной целью, потому что это - путь выживания ученого». Стремление публиковаться, причем именно в журналах с высоким импакт-фактором, становится самостоятельной и необходимой мотивацией для ученого. В результате искажаются результаты (ведь рецензенты могут в них усомниться), а также становится обычной практикой «цитатный обмен» и «вылавливание цитат».

Для России (особенно в части гуманитарных наук) эта проблема актуальна в квадрате: как отметил в одном из своих публичных выступлений заместитель главного редактора одного из крупнейших российских исторических журналов, «можно говорить о глубоком кризисе историографической культуры», то есть чаще всего никакой системности в сносках не наблюдается.

Присутствует в научном мире и некоторая, скажем так, вольность в работе с литературой. «Одна из информанток сообщила прямым текстом, что руководитель заставила ее убирать сноски, говоря о том, что эти же выводы она могла сделать и сама», — замечают в статье «Провинциальная и туземная наука» М. Соколов и К. Титаев. Там же приводятся сведения по самоцитированию: «Для крупного текста характерно 70-90% самоссылок. В среднем по массиву их доля около 30%», — приводят исследователи данные анализа четырех сборников статей или тезисов, взятых случайно в книжной летописи двух российских регионов.

Конечно, ученые предлагают альтернативы количественным показателям. Паршин считает, что главным способом оценки должна стать экспертиза. Так, он обращает внимание: работа редколлегий, отбор докладчиков на конференции, отбор экспертов существовали в науке много лет, а они часто основаны на субъективных оценках. «Мой личный опыт участия во всех упомянутых видах оценочной деятельности говорит, что, как правило, она приводит к разумным результатам», — утверждает Паршин.

Паршин отмечает: в ряде развитых в научном отношении стран использование индекса цитируемости ученого или импакт-фактора журнала для оценки эффективности ограничено. Так, в Великобритании происходит оценка деятельности всех научных организаций а период c 1 января 2008-го по 31 июля 2013 года. Согласно правилу №53, «комиссии не будут использовать импакт-факторы журналов, рейтинги или подразумеваемую репутацию издателя при вынесении суждения об уровне представленных результатов, причем это относится ко всем без исключения научным дисциплинам.

Также в правиле 52 финансирующие структуры «не предлагают и не рекомендуют вузам основываться на данных цитирования при отборе персоналий или результатов для включения в представления».

Ряд учреждений, например Институт перспективных исследований в Принстоне (США), по данным Паршина, отказываются от использования библиометрики. У экспертизы, однако, есть недостаток: она провоцирует ученых создавать неформальные сети, которые будут «проталкивать» свои звенья наверх. Конечно, такие группы есть в науке, и без таких сетей ни один ученый ни в одной дисциплине существовать не может (люди должны обмениваться идеями, научной литературой, спорить и т.д.). Но в тот момент, когда решение группы определенных экспертов становится решающим, участие в таких сетях становится жизненно необходимым и возникает огромный простор для злоупотреблений. Могут появиться очередные люди, получающие плоды «за заслуги перед наукой», непонятно как и непонятно кем измеренные.

Но это не значит, что индекс цитируемости — панацея. Абсолютизировать цифры нельзя: дискуссионны сами подсчеты. «Как мы ни пытались, мои коллеги и я не можем согласовать наши собственные подсчеты цитируемых публикаций в самом Nature, в некоторых других журналах Nature и даже в Science с подсчетами, используемыми в ISI (поисковая платформа, объединяющая реферативные базы данных публикаций в научных журналах )», — пишет редактор Nature Филипп Кемпбелл. То есть цифры могут быть инструментом, который в определенных ситуациях позволяет понять, насколько тот или иной ученый эффективен. Нельзя забывать и том, что в научном мире понятие «репутация» сохранило свое значение, а она создается уж точно не с помощью высокого индекса Хирша.

Тема 16. Научная и практическая эффективность исследования

16.1. Понятие эффективности исследования. Исследовательский потенциал управления.

16.2. Научная и практическая эффективность исследования.

16.3. Параметры эффективности исследования.

16.4. Роль оценивания в исследовании систем управления.

16.5. Принципы оценивания исследования систем управления.

16.6. Виды оценки параметров управления.

16.1. Понятие эффективности исследования. Исследовательский потенциал управления.

Эффективность исследования - это определение или нахождение такого варианта проведения исследования, который кратчайшим путем ведет к успеху. Но это определение можно дополнить более точным.

Эффективность исследования - это одна из его характеристик, которая показывает как соотносятся затраты усилий (или ресурсов) на его проведение и результат (или степень достижения цели).

Все факторы, определяющие эффективность исследования, можно рассмотреть в двух группах: факторы исследовательского потенциала управления и принципы его использования.

Исследовательский потенциал управления.

Понятие исследовательского потенциала управления отражает возможности использования ресурсов и достижения поставленных целей. Ведь наличие необходимых ресурсов еще не ведет автоматически к эффективности. Использование ресурсов зависит и от их структуры, доступности, цели, по которой используются ресурсы, мотивации их рационального использования и пр. Все это в совокупности характеризует понятие исследовательского потенциала. Его величина и качество, его реализация также определяют достижение эффективности.
Все факторы, характеризующие исследовательский потенциал управления, можно представить по трем группам: факторы методологической готовности, факторы наличия и структуры ресурсов и факторы организационных возможностей.

Методологическая готовность проявляется в наличии цели и миссии исследования. Здесь большое значение имеют обоснованность цели, научный подход к ее формулированию и постановке, понимание и приятие цели исследовательской группой или вообще всем коллективом фирмы, интеграционными свойствами цели.

Миссия исследования рассматривается как доминанта его проведения, обеспечивающая последовательное движение к цели. Она помогает выбрать ограничения в движении к цели и приоритеты на каждом из этапов этого движения. Миссия должна отвечать на вопрос: зачем проводиться исследования, позволяет ли реальность достичь цель?

Методологическая готовность определяется также концепцией развития фирмы, разработанной по цели и миссии. Это комплекс положений, отражающих тенденции развития. Концепция теснейшим образом связана с целью и миссией, ибо включает в себя и то и другое, кроме того характеризует их конкретизацию, определяет ключевые положения программы исследования .

Большое значение имеет также опыт исследования. Систематическое проведение исследовательской работы способствует накоплению такого опыта и повышает потенциал эффективности исследовательской деятельности . Опыт экономит время, оберегает от ошибок и облегчает многие операции.

Многие виды исследования зависят от информационной базы его проведения. Чтобы увидеть динамику процессов развития, проводить сравнительный анализ, определять тенденции, выбирать наиболее удачные решения, надо иметь необходимое количество накопленной информации. Эта потребность стимулирует систематическое проведение исследования.
Невозможно провести исследование, не пользуясь той или иной методикой моделирования и оценок процессов или явлений. Но методики бывают различными. Какими из них обладают и пользуются исследователи или менеджер, как разрабатываются собственные методики это тоже характеризует методологический потенциал исследования.

Наконец, следует указать и на возможности использования необходимых методов исследования. Эти возможности определяются их доступностью, наличием соответствующих технических средств, квалификацией исследователей.

Факторы методологической готовности действуют не только в определенном наборе и совокупности, но и в их соотношении и системности.
Следующая группа факторов исследовательского потенциала - наличие и использование ресурсов.

Любое исследование нуждается в ресурсах. Необходимы ресурсы персонала, экономические, материально-технические, информационные, ресурсы времени. Можно также говорить и о ресурсах фактологических. Они отражают наличие необходимых фактов, возможностей их систематизации.
Далее более подробно будет рассмотрено фактологическое обеспечение исследования и его отличие от информационного. Здесь лишь достаточно сказать, что информационные и фактологические ресурсы являются взаимодополняющими.

В исследовании необходимы различные ресурсы и в определенном их соотношении. Ресурсы могут и должны быть взаимозаменяемыми, но до определенных пределов.

Исследовательский потенциал управления включает в себя и организационные возможности его проведения. Они проявляются в наличии необходимой организационной культуры и типа организации. Важную роль также играет позитивный и негативный организационный опыт, позволяющий успешно выбрать тип организации и организовать исследование.

Всякая организация имеет определенную инфраструктуру, которая также влияет на проведение исследования.

Следует здесь назвать и такой фактор, как интеллектуальный потенциал менеджера или исследователя. Его можно отнести и к ресурсам и к методологической готовности, но он также играет важную роль в реализации организационных возможностей. Организация исследования - это организация интеллектуальной деятельности, и она определяется в значительной мере интеллектуальным потенциалом исследователя.
В дальнейшем более подробно будут рассмотрены факторы оценивания, фактологического обеспечения исследования, мышления менеджера-исследователя, креативного образования менеджера, которое и определяет его интеллектуальный потенциал.

16.2. Научная и практическая эффективность исследования.

Научная эффективность ис­следования определяется приростом знаний в определенной облас­ти, имевшем место в результате исследования. Она может находить выражение в числе полученных в результате исследования патентов, авторских свидетельств , публикаций, рейтингах цитирования и др.

Для характеристики прикладных исследований чаще применимо понятие практической эффективности исследования .

Научная эффек­тивность исследования превращается в практическую в процессе вне­дрения научных знаний, полученных при исследованиях. Внедрение результатов исследования - важный элемент развития общества, орга­низационно-производственной системы.

В рыночной экономике основным двигателем прикладных иссле­дований (а именно к таким относится большинство проблем исследо­вания систем управления) является практическая проблема и необхо­димость ее решения на уровне, обеспечивающем конкурентоспособ­ность.

Эффективное исследование - это исследование, достигаю­щее поставленные цели за определенное время при том, что расход ресурсов, риски не превышают плановые объемы.

В более широком смысле эффективность исследования - это одна из его характеристик, которая показывает как соотносятся затраты уси­лий (или ресурсов) на его проведение и результат (или степень дости­жения цели).
Эффективность исследования зависит от факторов исследователь­ского потенциала управления. Исследовательский потенциал отражает возможности использования ресурсов и степень достижения постав­ленной цели.

Факторы исследовательского потенциала представлены тремя группами:

1) методология;

2) ресурсы;

3) организационные возможности.

Методологическая готовность исследовательского потенциала про­является в наличии цели и миссии исследования, наличия концепций развития фирмы, опыта исследований и возможностей использования необходимых методов исследования, соответствующих технических средств.

Фактор ресурсов заключается в наличии необходимых ресурсов персонала, экономических, материально-технических, информационных, ресурсов времени.

Исследовательский потенциал управления включает в себя орга­низационные возможности его проведения. Они проявляются в нали­чии организационной культуры и типа организации, интеллектуальном потенциале исследователей систем управления.

Эффективность исследования зависит от принципов его построе­ния и осуществления .

Среди принципов следует назвать, прежде все­го, принцип объективности . Согласно этому принципу, в любом иссле­довании необходимо искать объективные факторы, связи, зависимос­ти. Это определяет успех исследования. Но использование данного принципа вовсе не означает, что надо исключить все субъективное. Многое в исследовании определяется интуицией, ее необъяснимым влиянием на поведение человека, на поиск истины. Принцип объектив­ности это принцип соизмерения, сопоставления факторов с объектив­ной реальностью, это возвращение к объективному, в конечном резуль­тате размышлений, анализа идей, мыслей, позиций.

Принцип системности - это принцип поиска и определения свя­зей, целостности, сопоставления свойств, нахождения границ внутрен­ней и внешней среды. Этот принцип позволяет концентрировать ис­следования на главном, оценивать связи, разграничивать их на вне­шние и внутренние, понимать свойство, как проявление целого в од­ном случае и как проявление отдельного - в другом.

Принцип последовательности требует проведения исследования по определенной, заранее разработанной технологии. В использова­нии этого принципа большое значение имеет ответ на вопрос: с чего начать и как двигаться к результату?

Принцип целеустремленности означает, что любое исследование должно иметь вполне определенную цель. Исследование - это не толь­ко разрешение возникшей проблемы, но и определение, к какой цели может вести это разрешение, в какой мере оно способствует достиже­нию цели. Цель определяет выбор решений и последовательность их разработки, цель интегрирует деятельность в самых сложных ее вари­антах: многоаспектность, совместное исследование, разветвленность исследования, сложность проблемы и т. д.

Принцип свободы мышления определяет необходимость снятия ограничений в полете мысли, фантазии, воображения, идей.
Принцип управления мышлением предполагает, что мышление, как и всякий процесс, должно быть не спорадическим. Он ведет к эффективности исследования. Это может быть управление процессом индивидуального мышления или процессом групповой мыслительной деятельности.
Как и всякая деятельность, исследование строится на использование определенных ресурсов, величина и структура которых в значительной мере определяют его эффективность. Ресурсы нельзя использовать бездумно, но и стремясь получить необходимый результат, нельзя бездумно лграничивать исследования в необходимых ресурсах, отсюда возникает важный принцип гибкой экономии ресурсов. В некоторых исследованиях заранее очень трудно предусмотреть и рассчитать достаточно точно, сколько рессурсов понадобится для достижения необходимого результата. Поэтому расчет ресурсов надо делать с за­пасом, понимая, что и результат исследования не всегда достаточно предсказуем, иногда он может быть значительнее ожидаемого. Тогда и при перерасходовании ресурсов эффективность исследования будет все равно высокой.

Принцип качественной и количественной определенности исследования заключается в том, что, по возможности, исследования надо проводить, опираясь на количественные измерители параметров, по­казатели, но при этом не терять качество изучаемых явлений, т. е. сово­купность тех свойств, которые определяют их суть и особенности.

Принцип фактологического обеспечения исследования заключа­ется в том, что исследование необходимо строить на фактах и отбирать факты соответствующим образом. В этом основа и объективности ис­следования, и его успешности, а в конечном итоге и эффективности.

Принцип реализации креативного образования менеджера пред­полагает его оформление с помощью образовательных процессов, ко­торое закрепляется и проявляется в практической деятельности и раз­вивается в процессах исследования.

Принцип опоры на исследовательское мышление менеджера пред­полагает его развитие в практике управления и в проведении исследо­вания. Исследование преследует цель не только найти удачное реше­ние проблемы, но и научить менеджера мыслить эффективно, иссле­довательски, инновационно.

И еще один принцип следует добавить к этому перечню - прин­цип трудоемкости. Суть его заключается в том, что всякое исследова­ние должно быть рассчитано по трудоемкости его проведения. От это­го зависит и его организация, и рациональное использование всех ре­сурсов, а, следовательно, и эффективность.

При оценке эффективности исследования критерий эффектив­ности определяют как количественное отражение степени достиже­ния системой поставленных перед ней целей.

В управлении исследованиями удобней рассматривать критерий как правило выбора предпочтительного варианта решения из ряда аль­тернативных.

В соответствии с прогнозной эффективностью можно вы­делить следующие варианты решений по исследованию систем управ­ления:

1) неэффективные, не позволяющие решить проблему;

2) рациональные, т. е. позволяющие решить проблему;

3) оптимальный вариант решения - вариант, позволяющий решить проблему исследования наилучшим в определенном критерием смысле образом построить наилучшую систему исследований в определенномкритерием смысле. Если неэффективных и рациональных ре­шений может быть много, то оптимальное решение одно.

При исследовании сложной системы управления в силу ее много­гранности критерий, как правило, является вектором. При этом задача оптимизации сложной системы является многокритериальной.

Критерий включает в себя в качестве компонентов параметры эффективности (эффекта).

16.3. Параметры эффективности исследования.

Параметр эффективности исследования - относительные значения наиболее важных параметров системы и(или) исследований, а также отношения таких параметров, которые позволяют оценить каче­ство решения проблемы и достижение, поставленных перед системой целей. Например, параметром эффективности будет оценка соотно­шения одного и того же параметра (пусть это будет расход топлива) до и после внедрения результатов исследования. Они отражают степень прогресса в результате исследования и (или) эффективность расхода ресурсов, в частности денежных средств , в процессе исследований. Они позволяют выбирать предпочтительные варианты изменений в объекте или самого процесса исследования.

В качестве параметров эффекта исследования будем называть абсолютные значения изменений важнейших параметров, например, объем сэкономленного топлива в литрах, тоннах, рублях и т п.

При формировании параметров эффективности (или эффекта) при исследовании систем управления организационно-производственной системы наиболее часто используют; стоимость и (или) время созда­ния; доход, прибыль (убытки) за фиксированный период и т. д.

При выборе состава параметров эффекта учитывают как то, ради чего создается система, так и цели исследования. Часто из двух ис­следовательских процессов, относящихся к одним и тем же объектам, и решающих одну и ту же задачу при равных ресурсах, более эффектив­ным считают тот, который при прочих равных условиях приводит к дос­тижению цели за более короткий интервал времени.

16.4. Роль оценивания в исследовании систем управления.

Одной из сложных и важных проблем исследования управления является оценка ситуаций, состояния, изменений, тенденций и пр.

Оценка - это установление наличия и степени проявления той или иной характеристики системы управления. Средством оценки является показатель. На оценках построены анализ, нормативное регулирование функционирования и развития, поиск и определение тенденций, изучение особенностей и существенных черт того или иного явления. Без оценок невозможны разработка и принятие управленческих решений, в том числе и решений по совершенствованию управления. Чем более точную оценку может провести менеджер или исследователь, тем больше вероятность успешного, рационального решения.

Оценки могут быть различными. Можно выделить оценки программно-тестовые и экспертные. Первые очень широко используются в настоящее время, когда существует компьютерная техника , открывающая в этом отношении очень большие возможности. Но многие характеристики можно оценить только на основе работы группы экспертов. Очень эффективно сочетание первого и второго.

Оценки также разделяются на коллективные и индивидуальные. В практике исследований используются как точные, так и приблизительные оценки. По процессным признакам существуют оценки эпизодические и периодические; по масштабам оцениваемых явлений выделяются оценки общие и локальные; по организации и методикам проведения существуют простые и сложные оценки. Последние всегда построены на специальных расчетах, агрегировании информации, построении синтетических показателей.

Выбор вида оценки имеет большое значение в достижении успеха исследования.

Для оценки необходимо:

· выделение объекта и предмета оценки;

· установление критериев оценки и шкалы измерения;

· построение процедуры и системы оценки;

· выбор средств и методов оценки;

· использование результатов оценки.

16.5. Принципы оценивания исследования систем управления.

Существуют определенные принципы оценивания, благодаря которым возможны адекватная оценка реальной действительности, глубокое понимание ситуаций, проблем, результатов или тенденций.

1. Принцип научности. В основе оценки всегда находятся методики ее проведения или осуществления. А они могут быть разными: можно оценивать на основе здравого смысла, богатого опыта, но можно строить оценку и на использования научных методов, математического моделирования, там, где это возможно. В этом случае и оценивать должен тот, кто знает предмет оценки, владеет ее методикой, способен подойти к ней с объективных позиций.

2. Важным дополнением этого принципа является также принцип целевого назначения. Оценка может проводиться вообще или быть ориентирована на некоторые предположительные результаты, но может иметь и ясную, конкретную цель. Можно оценивать, скажем, в целях стимулирования деятельности, группирования работников, нормирования работы, распределения финансовых средств и т. д. Целью оценки может быть и поиск путей развития, установление закономерностей, контроль тенденций.

3. Принцип разнообразия, полноты и системности. Очень часто подлежат оценке только те характеристики, которые известны, доступны, понятны, измеряемы. В результате такого подхода получается деформированная оценка, которая не дает полной картины события или ситуации, явления или проблемы. При проведении оценки очень важно учитывать связь характеристик, стремиться к их полноте, видеть разнообразие и достаточность.

4. Принцип критериальной определенности. Можно оценивать грубо, приблизительно, предварительно, но не бывает оценки без критерия. Критерий оценки - это точка отсчета, шкала измерений, это констатация специфики характеристики, подлежащей оцениванию. Чем точнее установлен критерий, тем объективнее и значительнее оценка. При проведении оценки недопустимо произвольное изменение критерия.

5. Принцип количественной определенности оценки. Оценивать можно в параметрах констатации качества, описания особенностей, но оценка может проводиться в количественных показателях, которые дают точную информацию и позволяют эффективнее оперировать оценками: сравнивать, синтезировать, улавливать изменения. В исследованиях систем управления необходимо, по возможности, стремиться к количественным оценкам. Но при этом нельзя отрицать, что в определенных обстоятельствах эвристические оценки могут быть богаче и полезнее. Количественные измерения нередко обедняют ситуацию.

6. Принцип сочетания оценки состояния и изменений. Чаще всего оценка является фиксацией состояния той или иной характеристики, фотографией остановившегося мгновения, констатацией степени проявления характеристики. Но в исследовании наиболее богатой информацией обладают оценки динамики, способные показать тенденции изменений, позволяющие предвидеть последствия. В конечном итоге необходимо сочетание того и другого.

7. Но оценка - это не просто установление и измерение тех или иных характеристик, это, помимо прочего, и деятельность исследователя или группы исследователей, работа экспертов, математиков, программистов. И это обстоятельство не может не быть отражено в принципах оценки.

8. Принцип независимости заключается в том, что оценка должна быть отделена, насколько это возможно, от личностных отношений, служебной зависимости, амбиций и самолюбия. Она должна быть защищена от влияния заинтересованных лиц, доброжелателей или недоброжелателей.
Это достигается как посредством методики оценки, так и соответствующей организацией ее проведения.

16.6. Виды оценки параметров управления.

Оценки могут быть различными. В каждом конкретном случае исследователю приходится выбирать тот вид, который может быть наиболее приемлемым и эффективном. Этот выбор определяется как характером исследуемых проблем, так и возможностями оценивания. Специфика оценивания проблем управления заключается в том, что все они в конечном итоге связаны с деятельностью человека и его человеческими качествами. Многие параметры управления невозможно измерить достаточно точно, а некоторые даже вообще выделить и каким-либо образом отграничить. Поэтому многие оценки необходимо строить на статистическом анализе, либо использовать социометрические методы тесты и экспертные оценки.

1. По области и масштабам оценивания тех или иных ситуаций можно выделить оценки общие и локальные. Так проявляются и проблемы управления. Одни из них имеют общий характер, другие ограничены какой-либо областью деятельности. Методология исследования должна предусматривать различие этих видов.

2. Оценки могут быть простыми и сложными, в зависимости от того, предполагают ли они множество расчетов или построены на измерении первичной информации. В сложных оценках нередко случается нарушение валидности показателей, смещение акцентов актуальности и важности, потеря информации. Необходимо избегать таких случаев при конструировании показателей.

3. В оценках большую роль играет момент и продолжительность их проведения. По этому критерию можно выделить оценки эпизодические и периодические. Первые вызываются необходимостью конкретной ситуации, возникновением и обострением новых проблем, вторые систематическим исследованием управления, мониторингом качества.

4. Всякая оценка отражает потребность поиска и решения проблем и требует затрат определенных ресурсов. Поэтому можно дифференцировать оценки по критерию точности измерения параметров. Существуют оценки точные и приблизительные (грубые, предварительные, ориентировочные, порядковые). Вторая группа способствует экономии ресурсов при. поиске ведущих проблем. Но глубокий анализ и ответственные исследования необходимо строить на предельно строгих и точных оценках.

5. По организации оценивания можно выделить оценки коллективные и индивидуальные. Часто используется их сравнительный анализ. При этом необходимо учитывать параметры и коллектива, и личности - опыт, образование, квалификация, мотивы, социальность и пр.

6. Методика проведения оценки имеет ключевое значение в ее корректности. В исследовании управления часто используются два вида оценки - тестовая и экспертная. Не исключаются и их различные комбинации. Тестовая оценка может быть очень эффективной, но зависит от качества тестов, а успех экспертной оценки в значительной мере определяется принципами формирования экспертных групп и организации их работы.

7. По получению информации и методике ее обработки можно выделить также статистическую и нестатистическую оценку. Искусство исследования, помимо всего прочего проявляется и в выборе вида оценок в конкретных обстоятельствах.

Наука является наиболее эффективной сферой вложения капиталовложений. В мировой практике принято считать, что прибыль от капиталовложений в науку составляет 100-200%, что на много выше прибыли в любых отраслях. В нашей стране эффективность науки также достаточно высока.

Наука с каждым годом обходится всё дороже. В связи с этим в экономике возникает и вторая проблема – снижение непосредственных затрат на исследования при возрастающем эффекте от их внедрения. Поэтому под эффективностью научных исследований понимают также по возможности более экономное проведение НИР. Повышение эффективности научных исследований в коллективе может быть достигнуто различными способами: улучшением планирования и организации НИР; более эффективным использованием оборудования; рациональным использованием ассигнований; материальным стимулированием научного труда; применением научной организации труда; улучшением психологического климата в научном коллективе и т.д.

Для оценки эффективности исследований применяют различные критерии. Фундаментальные исследования дают эффект лишь спустя значительный период после начала исследований. Результаты фундаментальных НИР можно оценить только с помощью качественных критериев:

– возможность применения результатов в различных отраслях;

– новизна явлений, дающая импульс для актуальных исследований;

– вклад в обороноспособность страны;

– приоритет отечественной науки;

– международное признание работ;

– фундаментальные монографии;

– цитируемость работ и т.д.

Прикладные исследования оценить проще, в этом случае применяют различные количественные критерии. В условиях рыночной экономики оценивание эффективности прикладных научно-технических разработок производится путем определения научно-технического, экономического и социального эффектов.

Для технологических разработок научно-технический эффект выражается в повышении научно-технического уровня и в улучшении параметров техники и технологии, что вытекает из установленных новых закономерностей, а также из разработанных новых технологических способов производства.

Научно-техническая эффективность результатов прикладных НИР устанавливается в комплексе с оценкой их экономической и социальной эффективностей с помощью показателей научно-технического уровня (табл. 7.1), который определяется по сопоставляемым признакам.

Таблица 7.1 – Ориентировочная шкала баллов для сравнения научно-технического уровня НИР и ОКР и нормативные величины весовых коэффициентов

Показатели научно-технического уровня	Признаки показателей	Количество баллов	Коэффициент важности показателя
Научно-технический уровень	Превышает лучшие мировые аналоги		0,3-0,35
Соответствует мировому уровню	7-9
Ниже лучших мировых аналогов	5-6
Превышает лучшие отечественные аналоги	3-4
Соответствует отечественному уровню	1-2
Ниже отечественного уровня
Перспективные	Важнейшие		0,35-0,4
Важные	5-7
Полезные	1-3
Потенциальный масштаб практического использования	Мировой рынок		0,2
Отрасли национальной экономики	7-8
Отрасль (регион)	3-5
Отдельное предприятие (объединение)	1,2
Степень вероятности получения положительных результатов	Большой (значительный)		0,1
Умеренный (средний)	5-6
Малый (слабый)	1-3

Для оценивания научно-технического уровня результатов НИР и ОКР выбирают несколько наиболее существенных технических параметров, в которых, прежде всего, заинтересованы будущие потребители технологии, продукции, услуг, способов выполнения работ. В частности, это может быть производительность, надежность эксплуатации, энерго- и материалоемкость, показатели экологичности. Другие параметры (особенно технические) должны находиться в пределах общепринятого уровня.

Оценивание включает несколько этапов:

– определение совокупности необходимых нормативно-правовых документов, отображающих требования к новой продукции, особенно в области экологии, безопасности, предъявляемые в странах возможной продажи фирмами-конкурентами;

– определение перечня технических и технико-экономических показателей, необходимых для оценки научно-технического уровня;

– формирование группы аналогов на мировом и отечественном рынках и установление значений их технико-экономических показателей;

– для сравнения необходимо брать (если речь идет о новых образцах техники) такие аналоги, выпуск которых только начался, или (если речь идет о технологиях и материале) которые используются в последние 2-3 года;

– для каждого аналога необходимо определить значения одинаковых оценочных показателей;

– сопоставление значений параметров новой продукции, что будет получена в результате выполнения НИР и ОКР, с требованиями нормативных документов и параметрами аналогов.

Экономический эффект состоит в получении экономических результатов от научно-технических разработок как в целом для экономики страны, так и для отдельных регионов, отраслей, организаций и предприятий, которые принимают участие в реализации технологических нововведений.

При расчёте экономической эффективности возможны различные случаи в зависимости от цели расчета, вида объекта внедрения и базы сравнения. В каждом конкретном случае необходимо руководствоваться нормативными материалами.

Связь между экономическими показателями и техническими параметрами разработки устанавливается в каждом конкретном случае при выполнении НИР, причем в практике укрупненных расчетов затрат на новую технику широкую популярность нашел метод регрессионного анализа. В общем виде регрессионную зависимость можно записать как

где у – зависимая переменная (тот или иной экономический показатель);

– вектор независимых переменных (технических параметров);

– коэффициенты модели.

Для установления взаимосвязи с показателями экономической эффективности могут быть использованы и нормативные методы, с помощью которых устанавливается влияние изменений в технических параметрах на поточные затраты производства, например, на заработную плату, затраты электроэнергии, материальные составляющие затрат и др.

С точки зрения организации разработчика основными критерием экономической эффективности является отношение:

К э = Э /З , (7.2)

где Э – экономический эффект от внедрения темы;

З – затраты на выполнение и внедрение темы.

Эффективность труда коллектива научных работников оценивают:

– критерием производительности труда – К п = С 0 / P , где С 0 – сметная стоимость НИР и ОКР; Р – среднесписочное число работников подразделения;

– количеством внедренных тем за определенный период;

– экономическим эффектом от внедрения НИР и ОКР;

– количеством полученных патентов;

– количеством проданных лицензий или валютной выручки.

Эффективность конкретного научного работника оценивают по количеству публикаций и цитируемости его трудов. Экономическую оценку работы отдельного работника применяют редко.

С точки зрения потребителя научной продукции основным показателем эффективности НИР и ОКР является экономический эффект Э от внедрения разработки, поэтому остановимся подробно на методике её расчёта.

Расчёт экономического эффекта от использования результатов НИР и ОКР имеет свои особенности. Так как научный процесс условно можно разделить на три этапа (выбор темы, выполнение НИР и ОКР и внедрение в производство), то и расчёт экономической эффективности производят поэтапно. В соответствии с тремя этапами НИР различают три вида эффективности: предварительную, ожидаемую, фактическую.

Предварительная экономическая эффективность устанавливается при составлении ТЭО и включении темы исследований в план. Рассчитывают её по ориентировочным показателям.

Ожидаемую экономическую эффективность вычисляют в процессе выполнения НИР и относят к определённому периоду (году) внедрения продукции в производство. Это более точный критерий, хотя объём внедрения можно определить только ориентировочно.

Фактическая экономическая эффективность определяется после внедрения научных разработок в производство. Расчёт её производят обычно по фактическим затратам и с учётом конкретных стоимостных показателей. Она обычно несколько ниже ожидаемой и определяют её на предприятии, где осуществляется внедрение.

На уровне предприятий, использующих научно-технические разработки, экономические результаты определяют в виде выручки от реализации изготовленной новой продукции, или продукции, изготовленной по новой технологии за вычетом средств, затраченных на собственные потребности. В состав затрат в процессе определения эффективности включают все необходимые для внедрения одноразовые капитальные и поточные затраты всех участников проекта. При этом в основе расчёта экономического эффекта лежат приведённые затраты:

З пр = С + Е н · К , (7.3)

где С – себестоимость;

К – капитальные вложения;

Е н – нормативный коэффициент окупаемости капзатрат.

Ожидаемую или фактическую экономическую эффективность Э вычисляют по разности приведённых затрат базового (старого) и нового варианта продукции:

Э = З пр. 1 – З пр. 2 . (7.4)

При известных вероятностях различных условий реализации проекта математическое выражение определения ожидаемого экономического эффекта записывается следующем виде:

где Э і – эффект при і –м условии реализации;

Р і – вероятность реализации этих условий.

Если в процессе внедрения НИР и ОКР требуются дополнительные капиталовложения, то вычисляют, кроме того, фактический срок их окупаемости:

Т ф . = , (7.6)

где К 1 и К 2 – удельные капиталовложения по новому и старому вариантам;

С 1 и С 2 – себестоимость единицы продукции по новому и старому вариантам.

Чтобы оценить эффективность затрат, показатель Т ф сравнивают с нормативным показателем для данной отрасли:

Т н = Т ф . (7.7)

Если неравенство соблюдается, то капиталовложения эффективны. Для учета фактора времени, если в процессе выполнения и внедрения НИР возникает потребность в капзатратах в различные периоды, необходимо эти затраты приводить к сопоставимому виду. Для этого используют зависимости приведения к:

– будущему периоду – К б = К т (1 + Е н ) Т ; (7.8)

– настоящему периоду – К т = , (7.9)

где Т – продолжительность периода;

К б – эквивалентные затраты через Т лет;

К т – текущие затраты.

В условиях рыночной экономики, особенно в период ее становления, инвестирование в науку сопряжено с риском неполучения ожидаемых результатов в желаемые сроки. В связи с этим, кроме определения экономической эффективности, возникает необходимость в количественной оценке риска инвестируемых в научные разработки средств. Это делается для того, чтобы заранее, еще до осуществления капитальных вложений, инвесторы, включая и само предприятие, планирующее строительство, могли иметь ясную картину реальных перспектив о получения прибыли и возврата вложенных средств.

Методические подходы к оценке экономической эффективности инвестиционных проектов должны предусматривать обеспечение минимально гарантированного уровня доходности проекта при условии компенсации инфляционного изменения покупательной способности денег в течение рассматриваемого периода времени и покрытие риска инвестора, связанного с осуществлением проекта. Это достигается путем использования методов дисконтирования.

Процесс дисконтирования стоимости проекта заключается в приведении к выбранному в качестве базы моменту времени (текущему или специально обусловленному) стоимостной оценки будущих значений как самих инвестиций, распределенных во времени, так и поступлений (денежного потока) от инвестиций с использования.

Зависимость между современной и будущей стоимостью инвестиционного проекта выглядит следующим образом:

где СС – современная стоимость;

БС – будущая стоимость;

k д – коэффициент приведения (дисконтирования);

t – разрыв во времени между текущим моментом и базисным годом инвестиционного проекта.

С учетом дискотирования величина накопленных чистых поступлений от реализации проекта определяется выражением:

, (7.11)

где ЧП д – чистые поступления от реализации проекта, распределенные во времени.

Чистые поступления от реализации проекта рассчитываются как сумма чистой прибыли и начисленной амортизации:

где П Ч – величина чистой прибыли проекта;

А – амортизационные отчисления.

Рассматриваемый показатель позволяет рассчитать накопленную текущую прибыльность будущих доходов, объем которых частично зависит от ссудного процента и темпов инфляции.

Аналогично может быть рассчитана приведенная будущая стоимость проекта, где в числителе формулы представлены распределенные по годам будущего периода капитальные вложения, предназначенные на финансирования внедрения разработки.

В международной практике признанными показателями, характеризующими выгоды от внедрения научно-технических разработок, и которые используются для оценки экономической эффективности инвестиционных проектов, являются критерии, базирующиеся на временной стоимости денег:

NPV (Net Present Value) – чистый (дисконтированный) доход (прибыль);

PI (Profitability Index) – индекс доходности (прибыльности);

PBP (Payback Period) – период (срок) окупаемости инвестиций в реализацию проектов;

IRR (Internal Rate of Return) – внутренняя норма доходности (рентабельности).

Так, например, разность дисконтированных чистых поступлений от реализации проекта и первоначальных поступлений определяет величину чистого приведенного дохода:

(7.13)

где ЧПД – чистый приведенный доход;

ИЗ – инвестизационные затраты, включающие затраты на исследования, оборотные средства и издержки производства (при определении реальной эффективности реализации проекта).

Чистый приведенный доход позволяет сравнить капиталовложения, которые необходимо осуществить, с дополнительной прибылью, которую они обеспечат в будущем. Если дисконтированная сумма ожидаемых в будущем доходов от капиталовложений больше, чем издержки на инвестирование, то проект может быть признан эффективным, т.е. следует инвестировать только те проекты, которые имеют положительное значение ЧПД . Этот показатель наиболее рационально использовать для ранжирования инновационных предложений и выбора приоритетных проектов с точки зрения их эффективности.

Коэффициент чистого дисконтированного дохода (индекс доходности) определяется как отношение ЧПД и необходимой дисконтированной стоимости инвестиций. Это отношение позволяет получить дисконтированную норму прибыли (коэффициент эффективности), вычисляемую по формуле:

ИД = ЧПД / ДСИ , (7.14)

где ИД – индекс доходности или, иными словами, коэффициент эффективности k э;

ДСИ – дисконтированная (приведенная) стоимость инвестиций в инновации.

Внутренняя норма доходности (ВНД) определяется как расчетная ставка дисконта, при которой суммарные чистые приведенные поступления равны нынешней (дисконтированной) стоимости затрат на проект. Показатель ВНД вычисляется по формуле:

где P t – чистый денежный поток за период t , вычисляемый путем решения (7.15) относительно k д для определения минимально допустимой нормы эффективности, при которой ЧПД равен 0, или дисконтированные прибыли равные инвестициям. Этот показатель устанавливает границу безубыточности инвестиционного проекта.

Срок окупаемости инвестиций определяется как период для возмещения первоначально вложенный на разработку средств на основе накопленных чистых реальных денежных потоков, обусловленных реализацией инновационного проекта, т.е. отношением суммы инвестиций к дисконтированным доходам. Показатель периода окупаемости инвестированных в инновации средств позволяет получить информацию об уровне рискованности проекта в связи с изменениями в относительной ликвидности инвестиций.

Показатели экономической эффективности (7.13-7.15) инновационных проектов учитывают затраты и результаты, связанные с их реализацией, как коммерческого характера, так и те, которые выходят за пределы прямых финансовых интересов участников проекта, в том числе эффект отраслей национальной экономики, социальный эффект и другие составляющие эффективности, обусловленные внерыночной деятельностью субъектов внедрения научно-технических разработок.

Для удовлетворения коммерческих интересов каждого из участников проекта важное значение имеет оценка финансовых результатов его реализации или коммерческая эффективность, которая является составляющей интегральной эффективности отраслей национальной экономики. Коммерческая эффективность проектов научно-технических разработок и их использования определяется как соотношение финансовых затрат и результатов научно-технических разработок, обеспечивающих требуемую норму доходности.

Социальные, экологические и другие результаты, которые не могут быть оценены в стоимостном выражении, учитываются как дополнительные показатели эффективности отраслей национальной экономики и принимаются во внимание при принятии решений о приоритетности проекта и его государственной поддержке. Однако в большинстве случаев социальные следствия научно-технических разработок поддаются стоимостной оценке и включаются в состав общих результатов проекта в пределах установленной его эффективности.

Основными видами социальных результатов являются:

– изменения в структуре производственного персонала и его квалификации, в том числе изменения численности работников (прежде всего женщин), занятых вредными видами труда, а также требующих повышения квалификации;

– улучшение здоровья работников, определяемые с помощью уровня предотвращенных потерь, связанных с выплатами из фонда социального страхования или затратами на охрану здоровья.

– изменения окружающей среды.

Влияние инновации на изменения условий труда работников и окружающей среды оцениваются в баллах, соответствующих санитарно-гигиеническим нормам или психологическим условиям труда, а также нормативами уровня загрязнения окружения. С этой целью могут быть использованы данные социологических опросов, а также специальные измерения на рабочих местах.

Управление общественными системами, в том числе и наукой, осуществляется с помощью механизма принятия решений. Решения принимаются на основе оценки (измерения) различных параметров системы и, прежде всего, эффективности ее функционирования. Эффективность – обобщенная мера качества систем и процессов. В зависимости от частных целей оценивания используются различные алгоритмы вычисления эффективности: результатно-целевой (сравнение результата с целью, планом, нормативом), результатно-затратный (соизмерение результата с затратами на его получение), результатно-результатный (соизмерение результатов между собой при условии тождества или сходства затрат) и другие.

Обоснованный выбор критериев эффективности научно-исследовательской деятельности возможен лишь на основе представления о науке как о целеустремленной системе, находящейся в тесной связи с другими подсистемами реального мира и обладающей собственной иерархией целей, входом, выходом и процессом. Главная цель науки – производство нового научного знания и внедрение его в науку и в практику. Индикаторами достижения главной цели выступают результаты труда ученых. Непосредственный продукт научной деятельности имеет информационную сущность.

Многие философы рассматривают познание как отражение человеком материального мира. Отражение – всеобщее свойство материи, а информация – аспект отражения, отраженное разнообразие объектов материального мира, их связей и отношений.

Прогресс в природе идет путем накопления (генерирования) информации развивающимися системами и наоборот – регрессивные, энтропийные процессы характеризуются потерей информации. В масштабах Вселенной эти тенденции в движении материи носят автоколебательный характер.

В процессе развития в самоуправляемых системах образуются подсистемы, специализирующиеся на накоплении, хранении и использовании информации. Например, необходимая для самовоспроизведения живых организмов информация кодируется в молекулах ДНК. Самое совершенное информационное устройство естественного происхождения – мозг, а высшая форма отражения – сознание. На уровне сознания материя приобрела способность к двойному отражению, отражению самого процесса отражения. Этот качественный скачок в развитии обусловил возможность активного управления процессом познания, возможность осуществления целенаправленного познания и эффективного использования в исторической практике объективных законов материального мира.

Познавательная деятельность человеческого социума направлена на извлечение связанной информации из объектов материального мира и перевод (перекодирование) ее в свободную, идеальную. В идеальной форме информация, добытая одним индивидом, становится общедоступной, пригодной для распространения во времени и в пространстве, для всеобщего использования.

Для самоуправляемых систем важно накапливать не любую информацию, а лишь полезную, т.е. способствующую их более эффективному функционированию и развитию. Наибольшую ценность представляет та информация, которая способствует генерированию новой. С этих позиций науку можно рассматривать как специализированную подсистему в составе самой высокоразвитой системы на Земле – человеческого общества, генерирующую самую высокоценную информацию – научное знание.

Процесс производства научного знания состоит из двух основных операций: извлечения новой, дотоле неизвестной информации из объекта исследования и теоретической (логической) ее переработки. От результатов этих операций зависит ценность получаемого знания. Вклад добытого знания в общечеловеческий фонд науки тем значительнее, чем больше оно отличается от уже известного (новизна) и чем выше его теоретический уровень (информационная емкость).

Нами построена порядковая шкала из пяти классов научной информации, превосходящих друг друга по теоретическому уровню – от описания отдельных фактов (вещей, свойств и отношений) до разработки теории. Вторая шкала охватывает пять степеней новизны научных результатов – от необходимого подтверждения известных фактов и представлений до получения принципиально нового знания. С помощью этих двух шкал авторы и эксперты могут оперативно оценивать научно-информационную ценность научного продукта. Научно-информационный критерий – единственный универсальный критерий эффективности науки, ибо он отражает то существенное, что присуще каждому действительно научному результату, независимо от того, получен ли он в сфере фундаментальных или прикладных исследований, найдет ли он практическое применение или только пополнит сокровищницу человеческих знаний.

Каждый первичный результат научного исследования – научное знание- будучи освоенным другими подсистемами человеческого общества, как правило, вызывает цепную реакцию вторичных эффектов, описываемых на специфических языках этих подсистем. Посистемное распределение эффектов служит естественным основанием для построения классификации критериев эффективности науки. К примеру, в реестр критериев вторичной эффективности (критериев полезности) научно-медицинских достижений должны быть включены следующие:

• инженерно-технический (показатели существенных отличий способа, устройства, вещества, показатели достигнутого технического или технологического эффекта, сложности решенной задачи и другие);
• медико-биологический (характеристики воздействия новшества на организм человека, на экспериментальных животных, на возбудителей заболеваний);
• социально-медицинский (показатели заболеваемости, смертности, нетрудоспособности и другие);
• оборонный (например, показатель возвращения в строй раненых);
• социально-экономический (показатели экономии ресурсов, предотвращения ущерба производству за счет, по выражению К. Маркса, «ремонта рабочей силы»);
• экологический и другие критерии.

Если результаты научных исследований оказывают воздействие на материальное производство через средства и предметы труда, то образующийся экономический эффект исчисляют в стоимостных категориях как прибыль отдельного предприятия, прирост чистой продукции в отрасли или национального дохода – в масштабах страны. В зависимости от вида социальных последствий применения научных достижений возможны различные подходы к их оценке. В одних случаях они поддаются прямому измерению (в натуральных или статистических единицах), в других – косвенному (например, по величине получаемого экономического эффекта). Чем значительнее социальное достижение и чем больший спектр явлений общественной жизни оно захватывает, тем сложнее дать ему интегральную оценку в количественной форме. Ведь для этого пришлось бы суммировать множество эффектов, одни из которых имеют лишь качественные характеристики, другие измеряются в несопоставимых системах единиц. Реальный путь преодоления указанных трудностей – разработка шкал предпочтений, охватывающих всю совокупность важнейших индикаторов общественного благосостояния.

В ценностной иерархии критериев вторичной эффективности науки высшую ступень должна занимать социальная эффективность, поскольку главная цель общественного производства – удовлетворение материальных и духовных потребностей людей.

История науки свидетельствует, что прикладная полезность научного продукта тесно сопряжена с его научно-информационной ценностью: принципиально новые изобретения и теоретические достижения ведут к революционным преобразованиям в общественно-исторической практике, а инновации частного характера – лишь к реформам. Искажение шкалы предпочтений в практике управления наукой может приводить к нежелательным диспропорциям и перекосам в распределении ресурсов на научные исследования, к замедлению темпов научно-технического прогресса и роста благосостояния народа.

V.S.LIBENSON. THE CRITERIA OF EFFECIENCY IN SCIENCE.

8 INTERNATIONAL CONGRESS OF LOGIC, METHODOLOGY AND PHILOSOPHY OF SCIENCE.

MOSCOW,1987, ABSTRACTS, VOL.4, PART 1, SECTION 6, P.360-363.

Научные исследования, особенно прикладного характера, выполняются с целью разработки новых технологий, техники, организации производства и труда и получения на этой основе снижения материальных и трудовых затрат, повышения качества выпускаемой продукции и услуг, увеличения прибыли предпринимателей.

Переход экономики на рыночные отношения формирует социальную потребность в новейших достижениях науки, так как они в основном обеспечивают повышение производительности труда и увеличение объема конкурентоспособной продукции.

Производственники начинают понимать, что в новых социально-экономических условиях могут выжить только те предприятия, которые создают лучшие условия для развития науки и быстро осваивают ее достижения в производственной практике. Поэтому понятие «внедрение научных исследований» постепенно наполняется новым смыслом. Оно классифицируется по двум признакам: форме материального внедрения и рабочей функции внедряемого объекта.

Внедрение – это передача в производство или использование научной продукции, которая обеспечивает технический, экономический или социальный эффект. Этот процесс состоит из этапов: исследовательско-производственного внедрения и серийного производства.

Первый обусловлен тем, что как бы тщательно ни были проработаны рекомендации научно-исследовательских работ, они не могут учесть разные, в том числе и случайные, факторы, которые действуют в фактических условиях производства вообще и на конкретном предприятии в частности. В такой же степени это относится к новым материалам и технологическим процесса. Этап внедрения требует больших финансовых затрат, он весьма трудоемок при изготовлении исследовательских образцов, которые часто требуют доработки и переработки.

На основе результатов исследовательской производственной проверки оценивается технико-экономическая эффективность внедряемых образцов. При этом особое внимание уделяется эксплуатационным показателям их качества, надежности, долговечности, себестоимости, технологичности изготовления и эксплуатации, необходимости переоборудования производственных предприятий и возможности серийного производства. Результаты испытаний оформляются актом.

После завершения первого этапа начинается второй – серийное производство.

Государственная система внедрения включает три уровня: государственный, отраслевой, производственных организаций.

На государственном уровне разрабатываются законодательные акты по использованию результатов НИР и охране прав творцов новой техники, технологии, материалов, осуществляется регистрация открытий и изобретений как в стране, так и за рубежом, решается вопрос продления лицензий и патентов.

Отраслевые министерства и ведомства выполняют роль планирующих и контролирующих органов за работой отраслевых НИИ, лабораторий, внедренческих организаций и отделов на предприятиях.

Функционируют научно-производственные объединения и учебно-исследовательско-производственные комплексы, в основу деятельности которых положен программно-целевой метод организации и планирования НИР по схеме: проблемы – цели – программы – ресурсы – конечный результат.

Для ускорения практического использования результатов научно-исследовательских работ разработчики заключают с организациями и предприятиями хозяйственные договоры на их внедрение, обеспечивают авторский надзор, участие разработчиков в конструкторской и технологической доработке.

По данным некоторых зарубежных исследователей, из ста фундаментальных разработок явно положительным результатом заканчивается одна десятая часть работ, из поисковых – половина, из прикладных и проектно-конструкторских – не более 20 %. Тем не менее вложения (инновации) в науку примерно в три раза эффективнее инвестирования в простое воспроизводство.

Различают экономический, научно-технический, оборонный и социальный эффект от внедрения научно-исследовательских работ.

Экономический характеризуется выраженной в стоимостных показателях экономией живого и овеществленного труда в общественном производстве, которая получена от внедрения результатов НИР, по сравнению с затратами на выполнение исследований.

Под научно-техническим эффектом понимается расширение знаний об окружающей среде: выявление новых фактов, связей, закономерностей, открытие законов, разработка новых материалов, оборудования, технологий, которые способствуют дальнейшему развитию науки и техники.

Оборонный эффект – создание новых технических, технологических и организационных систем, которые повышают безопасность государства.

Социальный эффект проявляется в изменении содержания, характера и условий труда, повышении уровня и качества жизни народа, его общеобразовательного и профессионального уровня, в развитии культуры, науки, охраны здоровья и труда, техники безопасности, улучшении экологических условий и т.п.

Для прикладных наук, как правило, определяющим является экономический эффект, который определяется уменьшением совокупных затрат на производство продукции в той отрасли, где внедряется завершенное научное исследование.

В зависимости от стадии выполнения работы различают следующие виды экономического эффекта

· предшествующий – на стадии технико-экономического обоснования целесообразности исследования. Он рассчитывается в общих показателях на определенный объем внедрения;

· ожидаемый – на стадии проведения научного исследования. Он рассчитывается на основании прогнозирования времени внедрения полученных результатов в производство на период использования полученных результатов (до 10 лет от начала их внедрения);

· фактический – после внедрения научных результатов в производство и имеет конкретный результат. Его расчет ведется по фактическим затратам на исследование и внедрение с учетом экономических показателей работы отрасли, где эти научные разработки будут внедрены.

Потенциальный экономический эффект определяется по общим показателям на возможный объем внедрения. Он служит информацией и обоснованием целесообразности широкого внедрения результатов в производство.

Ожидаемый экономический эффект рассчитывается при выборе перспективности темы исследований математическим и экспертным методами .

Математический метод основывается на использовании системы показателей, которые определяют перспективность исследования. В прикладных темах ожидаемый экономический эффект рассчитывается по формуле:

где V – объем продукции после внедрения результатов темы;

С – стоимость единицы продукции, грн.;

Р н – вероятность научного успеха в разработке темы;

Р в – вероятность внедрения научной разработки;

Т – продолжительность производственного внедрения в годах;

З н, З д, З р – затраты соответственно на научное исследование, на исследовательское и промышленное освоение, ежегодные затраты на производство продукции, грн.

Показатель перспективности научной темы может быть определен и по формуле

, (4.2)

где Е о – общий ожидаемый экономический эффект, грн.;

Р р – вероятность риска.

Величины Р н , Р в , Р р устанавливаются на основе прогнозирования.

Фундаментальные исследования начинают давать эффект только через определенный период после начала работ. Их результат может быть использован в различных отраслях общественного производства, даже в тех, где и не ожидалось получение эффекта. Поэтому оценка фундаментальных исследований производится на основе качественных показателей:

· возможности широкого использования результатов исследования в различных отраслях общественного производства;

· новизны явлений, которая содействует проведению принципиально актуальных исследований;

· вклада в безопасность, обороноспособность страны;

· сохранения окружающей среды;

· приоритета отечественной науки и ее международного признания.

При проведении научных исследований экономический эффект рассчитывается по таким направлениям:

· создание новых технологий, средств производства, комплекса машин для отраслей общественного производства;

· совершенствование уровня организации, управления и производства;

· изучение социальных проблем.

Большое значение при определении эффекта научных исследований имеет фактор времени – от их начала до использования результатов в производстве.

Для оценки эффективности научных исследований необходима система показателей , которая включает:

· репрезентативность (представительность) – количество показателей должно быть достаточным для описания научной деятельности, и каждый из них должен наиболее полно отражать работу в этом направлении;

· аддитивность – показатели должны быть непротиворечивыми один другому и взаимонезависимыми;

· однозначность – показатели должны быть выражены так, чтобы не допускать двойного толкования и уменьшать вероятность возникновения ошибок;

· сопоставимость – показатели должны обеспечивать возможность объективного их сопоставления во времени и с показателями других научных подразделений;

· контролируемость – показатели должны рассчитываться по статистическим данным, которые подвергаются контролю.

Эффективность научно-исследовательской работы, коллектива (НИИ, КБ, отдела, кафедры вуза) может оцениваться:

§ количеством внедренных научных тем;

§ количеством проданных лицензий и объемом выручки от них;

§ производительностью труда, определяемой из отношения стоимости НИР за год к среднесписочной численности работников основного и вспомогательного персонала.

Одним из показателей оценки эффективности научных работ и авторов, особенно на Западе, является их цитируемость, т.е. число ссылок на эти работы и их авторов в работах других исследователей. У нас этот показатель используется весьма редко, но в перспективе он должен стать одним из основных, так как характеризует полученный результат, даже если он отрицательный.

Большой вклад в научные исследования должны и могут внести научно-педагогические работники вузов III и IV уровней аккредитации, в которых сосредоточено в настоящее время более двух третей всего научного персонала страны. Выполняя научно-исследовательские работы за счет госбюджетного или хоздоговорного финансирования, они не только способны успешно решать крупные научные проблемы, но и использовать их в учебном процессе, привлекать к этой работе студентов старших курсов, прививая интерес и развивая способности к научным исследованиям, готовя себе смену.

Эффективность научных исследований в значительной степени зависит от профессиональной подготовки научных работников и оптимальной их расстановки по темам выполняемых НИР. Поэтому периодически должны проводиться переаттестации научных работников с целью установления степени соответствия фактического уровня профессиональных качеств требованиям, обусловливаемым занимаемой должностью. Для этого создается специальная комиссия, которая работает по четко разработанным критериям оценки труда аттестуемых.