Расчеты показывают, что дублирование тематики при планировании НИР в медицинской науке колеблется от 5 до 29% [1]. Затраты вследствие дублирования научных разработок составляют 30% общего объема финансирования НИР [2]. На работы по недостаточно обоснованным целям расходуется более половины ресурсов, направляемых в науку [3]. Неудивительно, что зарубежные промышленные фирмы затрачивают на предплановые исследования, в том числе прогнозирование, около 2% от ассигнований, выделяемых на научные исследования и разработки.
Одним из основных факторов, снижающих эффективность научных исследований, является несовершенство действующих механизмов планирования научно-исследовательских работ (НИР):
· отсутствие открытой конкуренции научных идей при планировании научно-исследовательских работ, обеспечивающейся их конкурсностью;
· отсутствие единых научно обоснованных критериев оценки планируемых исследований;
· отсутствие научно обоснованной системы формирования портфеля «социального заказа» со стороны заинтересованных заказчиков;
· отсутствие «контрактной» системы планирования тем НИР;
· ориентация исполнителей научно-исследовательских работ не на конечные результаты (потребности практики) и мировой уровень медицинской науки, а на возможности конкретного научного учреждения и его интересы;
· отсутствие должного контроля за использованием выделенных финансовых, материальных и трудовых ресурсов и заинтересованности участников в качественном планировании и выполнении НИР;
· распространенное традиционное планирование НИР без проведения прогнозных разработок, предплановых и патентно-информационных исследований и необходимой экспертизы планов и отчетов НИР.
Своевременное использование научно обоснованных прогнозных оценок на практике дает 5–10-кратную отдачу [4].К примеру, расходы на экспертизу планируемых научно-исследовательских работ Национального института здоровья (НИЗ) США в 1976 г. достигли 15,8 млн долларов, что составило около 1% объема затрат на научные исследования. Средняя стоимость рецензирования одной заявки только на этапе планирования НИР в НИЗ США превышает 900 долларов. Оценка и планирование НИР должны быть самостоятельным разделом научно-исследовательской работы, иметь статус научной работы и финансироваться как самостоятельная НИР [5]. При этом патентно-информационные исследования должны быть обязательной составной часть предплановых разработок.
Описаны десятки методик экспертной оценки НИОКР [6–13]. Многие из них слишком сложны, поэтому практика планирования и экспертизы НИР до сих пор зачастую базируется на одном критерии – доверии к их авторам [6]. В связи с этим важны разработка и использование единых адекватных критериев оценки планируемых и завершенных научно-исследовательских работ.
В США только в сфере здравоохранения апробирована 41 модель экспертизы научно-исследовательских работ и определения оптимального портфеля научных исследований и разработок. Эти модели различаются как по критериям, так и использованному математическому аппарату [7].
Чаще всего для характеристики нововведений принято использовать следующие критерии: новизна (радикально новые исследования, не имеющие аналогов; новая продукция; продукция, частично модифицированная при сохранении основных характеристик); уровень использованной идеи (на основе открытия, изобретения, рацпредложения и т.д.), масштабность применения новшеств, себестоимость и т.д. При сопоставлении конкурирующих проектов и программ целесообразно составлять матрицы исследования. Один из важных оценочных показателей развития отраслевой науки – показатель наукоемкости, который рассчитывается двумя способами: как отношение затрат на научные исследования к валовой продукции отрасли или расходам на ее содержание за год (Но), и как соотношение численности трудовых ресурсов, занятых в отраслевой науке и на производстве (Нт). Показатель отраслевой наукоемкости может использоваться при проведении международных и межотраслевых сопоставлений уровня науки и производства.
Экспертиза научных проектов долго осуществлялась «на глазок», позже стали разрабатываться научные основы статистической обработки данных. Среди методов теоретической базы, используемой в экспертизе НИР, можно назвать такие методы прогнозирования, как ПЕРТ, ПАТТЕРН, «Делфи», методы системного анализа, призванные приводить в соответствие друг с другом трудно соизмеримые параметры (объем работ, численность творческих коллективов, состав специалистов, стоимость расходов и их предполагаемую эффективность). Один из методов представления и анализа результатов экспертной оценки НИР – картирование включает построение своеобразных «карт» в системе координат и является усовершенствованной разновидностью метода «Делфи».
При выборе приоритетной тематики и ее оценке Б.Ф. Зайцев и Б.А. Лапин [8] предлагают использовать следующие критерии отбора: экономическую эффективность, сроки и стоимость разработки, ее технический уровень, влияние на технический уровень производства, вероятность решения поставленной задачи. При этом каждому из критериев авторы устанавливали трехбалльную шкалу оценок. К.Л. Горфан [9] для выбора перспективных тем пользовался более чем 30 показателями, характеризующими как саму тему (перспективность, новизна, охраноспособность), так и ее ресурсное обеспечение и возможность промышленной реализации результатов (спрос, наличие аналогичной продукции и т.д.).
И.Л. Андреева [10] предлагает при оценке эффективности достижений медицинской науки для практического здравоохранения методологию, использующую в качестве индикаторов (моделей конечных результатов) такие критерии эффективности НИР, как инновационный результат и финансовые издержки, экономический эффект, предотвращенный экономический эффект, медицинский эффект, социальный эффект, качество жизни, учебно-методический эффект, научный и научно-технический эффект.
Г.А. Лахтин [7] для построения многофакторной модели, оценивающей планируемую НИР, на первом этапе устанавливает перечень использованных показателей (оцениваемых факторов), на втором – весовые коэффициенты каждому показателю, на третьем – шкалу по каждому фактору, на четвертом – экспертизу НИР, осуществляемую несколькими экспертами. Поскольку эксперты не могут быть равно компетентными по всем разделам, они осуществляют самооценку своей компетентности по каждому фактору, преобразуя ее в дробные коэффициенты, снижающие величины оценок по тем факторам, в отношении которых эксперт не чувствовал уверенности в своей компетентности.
В.А. Александров [11] описывает следующие методы оценки компетентности экспертов:
· самооценка эксперта по n-балльной шкале, предусматривающая различные аспекты компетентности эксперта;
· оценка деятельности эксперта другими экспертами (взаимоэкспертиза по опубликованным работам и другим результатам научной деятельности);
· оценка эксперта на основании результатов его прошлой деятельности в качестве эксперта.
Как правило, научно-исследовательских работы оценивают по достигнутому уровню, конечным целям и ресурсным возможностям. Любая оценка – это операция сопоставления оцениваемого объекта с эталонным. Таким образом, необходим эталонный объект, который должен формироваться на основе объективных требований, вытекающих из законов общества, внутренних законов развития объекта и требований заказчика. Формализованная балльная оценка должна сочетаться с неформальным, смысловым анализом планируемой темы.
Поскольку каждый из критериев оценки планируемых и завершенных НИР неравнозначен по значимости, первоначально необходимо рассчитать удельный вес каждого критерия. Расчет удельного веса критерия с учетом мнения трех экспертов можно определить по следующей примерной схеме (схема). Сначала рассчитывается средневзвешенная оценка по каждому критерию, а затем каждая из них делится на величины наименьшей оценки (принимаемой за единицу).
Схема расчета удельного веса критериев при оценке НИР
№ кри-те-рия
|
Наименование критерия
|
Ранжированная оценка эксперта
|
Среднее значение
|
Удельный вес крите-рия
|
Ранг крите-рия
|
а
|
б
|
в
|
1
|
Новизна
|
5
|
5
|
4
|
14/3=4,7
|
2,35
|
1
|
2
|
Актуальность
|
4
|
3
|
2
|
9/3=3,0
|
1,5
|
3
|
3
|
Стоимость
|
2
|
3
|
2
|
7/3=2,3
|
1,15
|
5
|
4
|
Возможность внедрения
|
4
|
2
|
1
|
7/3=2,3
|
1,15
|
5
|
5
|
Вероятность положительного результата
|
3
|
5
|
5
|
13/3=4,1
|
2,05
|
2
|
6
|
Эффективность
|
3
|
2
|
1
|
6/3=2,0
|
1,0
|
6
|
Шкала оценки планируемой научно-исследовательских работ может быть 5–10 или 100-балльной. Определить значимость той или иной планируемой НИР по каждому критерию предлагается 3 – 4 экспертам. Их оценки усредняются и умножаются на величину удельного веса коэффициента. Оценки по каждому критерию суммируются, и выставляется общая оценка планируемой НИР.
В США, например, количество назначаемых экспертов зависит от стоимости программы, но в среднем собирается не меньше шести мнений. Если мнения сильно расходятся, то по усмотрению директора программы проект может быть передан на дополнительную экспертизу в один из постоянных консультативных комитетов. Авторы проектов получают рецензии, но имена экспертов остаются для них не известными. Критерии выбора исследовательских проектов четко сформулированы и публикуются в официальных изданиях фонда, что обеспечивает их максимальную гласность. Система экспертизы НИР в США является децентрализованным механизмом принятия решения по финансированию исследований и направлена на обеспечение отбора наиболее перспективных проектов. Такая система обеспечивает независимость экспертизы и призвана стимулировать активность исследователей и высокий уровень проводимых работ. Предполагается введение в систему стимулов, которые побуждали бы экспертов в процессе подготовки заключений к выдвижению предложений для корректировки проектов [12].
Вся система оценки и обсуждения проектов научно-исследовательских работ и присуждений грантов широко освещается в печати и носит конкурсный характер. В деятельности НИЗ предусмотрен контроль за качеством выполнения контрактных исследований, разработана система штрафов и поощрения исполнителей. Выдача грантов представляет собой систему временных контрактов с учеными – исполнителями темы НИР, после завершения которой ученые считаются уволенными.
Кроме того, экспертная служба занимается поиском более простых и экономных путей достижения поставленной цели: определяется оптимальный размер и состав творческого коллектива, сроков и этапов исследования, разрабатываются рекомендации по размещению отдельных циклов работ в системе научно-промышленных комплексов, осуществляется доработка проектной документации. Таким образом, экспертиза становится посредником между финансирующими организациями и соискателями субсидий. Экспертные группы имеют в постоянном штате лишь одного работника (секретаря), остальные сотрудники привлекаются на время экспертизы и оплачиваются пропорционально числу исследованных проектов [13].
На основе анализа данных литературы и собственных наработок нами предлагается метод комплексной балльной оценки планируемых и завершенных научно-исследовательских работ экспертными советами по нескольким базовым критериям.
Оценка (экспертиза) планируемых и завершенных (промежуточных этапов) НИОКР осуществляется в целях устранения дублирования планируемых и выполняемых НИОКР, повышения их эффективности, научной и практической значимости, ускорения сроков внедрения научных достижений в практику, повышения ответственности исполнителей за качество результатов научных исследований, соизмерения полученных результатов с объемом затраченных ресурсов и совершенствования управления научными организациями.
Планируемые и завершенные (промежуточные этапы) НИОКР на первом этапе оценивают Ученые советы организаций-исполнителей на основании заключений экспертов из числа сотрудников данной организации, а при необходимости – из числа ведущих специалистов по соответствующему профилю, не работающих в данной организации. Эксперты представляют Ученому совету рецензию на проект плана или отчета НИОКР и результаты формализованной экспертизы. Ученый совет НИО утверждает планы или отчеты по НИОКР. Каждая планируемая и завершенная (промежуточный этап) НИОКР подлежит экспертизе не менее 2–3 экспертов с целью нивелирования отклонений мнений. Оценка планируемых и завершенных НИОКР осуществляется на основании балльной шкалы путем усреднения мнения нескольких экспертов относительно каждой НИОКР по каждому критерию. Критерии – это признаки, на основании которых производится оценка прогрессивности, конкурентоспособности и полезности планируемых или полученных научных результатов НИОКР. Каждый критерий раскрывается через определенные показатели. Планируемые НИОКР оцениваются по критериям новизны, значимости для науки и практики, объективности и показателям, раскрывающим эти критерии. Результаты завершенных (промежуточных этапов) НИОКР оцениваются по критериям новизны, значимости для науки и практики, доказательности и точности и показателям, отражающим эти критерии.
При разработке критериев и показателей, раскрывающих эти критерии, использовались положения Закона Республики Беларусь «О научной деятельности», Постановления Совета Министров Республики Беларусь от 21.07.1997 г. № 914 «Об утверждении положения об оценке результатов научной деятельности». При оценке планируемых и завершенных НИОКР эксперты, используя вышеперечисленные критерии и показатели, учитывают также сведения о конкурентоспособности работ, возможности импортозамещения, экспорта технологий и разработок, соответствия запросам практического здравоохранения.
Оценке подлежат все планируемые и завершенные НИОКР, выполняемые научными организациями в рамках фундаментальных и прикладных исследований, инновационных проектов, заданий государственных научно-технических программ, а также отдельных договоров, контрактов или заданий, финансируемых за счет республиканского бюджета, местных бюджетов, внебюджетных фондов и других источников и осуществляемых научными организациями, их структурными подразделениями и отдельными научными работниками.
Организация и порядок оценки планируемых НИОКР. Тематика НИОКР должна соответствовать приоритетным направлениям фундаментальных и прикладных научных исследований. Оценка планируемых НИОКР осуществляется по следующим документам: техническому (научному) заданию или технико-экономическому обоснованию, календарному плану, калькуляции сметной стоимости и справке о проведенном патентно-информационном исследовании.
Планируемые НИОКР оцениваются по трем направлениям (Приложение 1):
· характеристика идеи темы НИОКР (критерий «новизна»);
· характеристика ожидаемого результата (критерий «значимость для науки и практики»);
· характеристика исполнителей и вероятности положительного решения проблемы (критерий «объективность»).
Критерий «новизна» – отражает наличие в ожидаемых результатах научной деятельности новых научных знаний (научной информации), которые могут характеризоваться в пределах от уже известного (новизна отсутствует, идея темы общеизвестна – оценивается в «0» баллов) до высокой научной новизны (исследование проводится впервые в мире, планируется получить конкурентоспособный научный результат, соответствующий мировой новизне, – оценивается в 7–10 баллов). Промежуточное значение занимают показатели критерия «относительно высокая научная новизна» – характеризует планируемые темы НИОКР, выполняемые впервые в республике (4–6 баллов), и «недостаточно высокая научная новизна», характеризующая исследования, новизна которых на уровне организации-исполнителя (1–3 балла).
Критерий «значимость для науки и практики» – раскрывается через следующие показатели:
· Показатель «степень воздействия ожидаемого результата на науку и практику» – отражает степень (масштаб) воздействия ожидаемого научного результата на науку, экономику, социальную сферу, практику здравоохранения, которое может быть: высоким – окажет кардинальное воздействие на дальнейшее развитие науки и практики (оценивается в 7–10 баллов), относительно высоким – окажет существенное воздействие на дальнейшее развитие науки и практики (4–6 баллов), недостаточно высоким (1–3 балла), значимость отсутствует – не будет иметь значения для развития науки и практики («0» баллов).
· Показатель «актуальность планируемой НИОКР» – отражает предполагаемую степень соответствия идеи планируемой НИОКР запросам науки и практического здравоохранения. Этот показатель может быть высоким, если имеет первостепенное значение для науки и практики (7–10 баллов); относительно высоким, если исследование имеет важное значение для дальнейшего развития науки и практики (4–6 баллов); недостаточно высоким, если исследование имеет определенное значение для науки и практики (1–3 балла) или неактуальным, если планируемое исследование не соответствует запросам и задачам науки и практики (оценивается в «0» баллов).
· Показатель «оценка уровня ожидаемого эффекта от внедрения». Планируемая НИОКР может иметь один или несколько видов эффектов от внедрения (лечебно-профилактический, социальный, экономический, научный).
Лечебно-профилактический эффект характеризуется улучшением методов профилактики, диагностики и лечения заболеваний и выражается в снижении заболеваемости, сокращении сроков лечения, снижении инвалидности, смертности и т.п.
Социальный эффект характеризуется степенью влияния научных разработок на общественное здоровье и выражается в увеличении продолжительности жизни, естественного прироста населения, укреплении здоровья, повышении качества жизни, улучшении условий труда, охраны окружающей среды и повышении качества медицинского обслуживания.
Экономический эффект характеризуется снижением затрат при оказании медицинской помощи и повышением производительности общественного труда, в том числе получением прямой экономии от освоения научных разработок в медицине и здравоохранении, выпуском более эффективных лекарственных средств и медицинской техники, увеличением импортозамещения и экспорта технологий и разработок.
Научный эффект характеризуется уровнем прироста новой научно-медицинской информации (знаний), полученной в ходе выполнения разработки.
Каждый из этих видов эффекта оценивается в пределах от 1 до 10 баллов в зависимости от предполагаемого уровня, значимости и масштаба внедрения. Отсутствие эффекта от внедрения, или указание, что он не планируется, оценивается в 0 баллов. Для фундаментальных НИР показатель «оценка уровня ожидаемого эффекта от внедрения» может быть исключен из анализа и, соответственно, из суммы баллов.
При наличии нескольких видов эффекта в сумме эффект от предполагаемого внедрения не должен превышать 10 баллов.
Критерий «объективность» – раскрывается через следующие показатели:
· Показатель «методический уровень и материально-техническая база планируемого исследования» – характеризует степень научной обоснованности ожидаемых результатов: оценку методического уровня предполагаемого исследования и материально-технической базы исполнителя (с градацией «высокий», «относительно высокий», «недостаточно высокий», «низкий»; оценивается от 10 до 0 баллов).
· Показатель «квалификация основных исполнителей» – дифференцирует исполнителей по теме исследования на соответствующих и не соответствующих уровню планируемого исследования (да, нет).
· Показатель «наличие задела» – отражает наличие положительных результатов, подтверждающих правильность выбранного направления, наличие публикаций по теме исследования и т.д., оценивается от 10 до 0 баллов.
· Показатель «обоснованность сроков выполнения НИОКР» – отражает обоснованность сроков выполнения планируемой НИОКР (сроки занижены, обоснованы, завышены). Показатель оценивается качественно (да, нет) и, если возможно, с указанием процента занижения или завышения.
· Показатель «финансовая обоснованность НИОКР» – отражает степень финансовой обоснованности планируемой темы НИОКР (стоимость занижена, обоснована, завышена). Показатель оценивается качественно (да, нет) и, если возможно, с указанием процента занижения или завышения.
Оценку планируемых НИОКР на первом этапе осуществляют Ученые советы организаций-исполнителей. Ответственный исполнитель на планируемую НИОКР представляет в Ученый совет пакет документов (технико-экономическое обоснование, календарный план, калькуляцию сметной стоимости, справку о проведенном патентно-информационном исследовании, договор и т.д.), который рассматривается на Ученом совете. Каждая планируемая НИОКР предварительно проходит формализованную экспертизу у членов Ученого совета или ведущих специалистов организации-исполнителя в соответствии с приложением 1 и с развернутой рецензией по существу планируемого исследования.
После получения положительного заключения Ученого совета по месту исполнения планируемая НИОКР проходит экспертизу в одной из экспертных комиссий при Ученом медицинском совете Министерства здравоохранения Республики Беларусь. Один из ведущих ученых по данной проблеме назначается рецензентом и представляет рецензию на планируемую НИОКР. Проект НИОКР заслушивается на заседании экспертной комиссии.
Каждый эксперт экспертной комиссии выставляет балльные оценки на каждый рассматриваемый план НИОКР (которые нумеруются) в специальную анкету по форме 1 приложения 1, после чего на каждую НИОКР заводится форма 2 по приложению 1, в которой сведены результаты балльной оценки всех экспертов комиссии. После этого данные суммируются по каждому критерию и усредняются, что позволяет нивелировать субъективизм отдельных экспертов по тем или иным критериям. Итоги балльной оценки экспертизы по каждой планируемой теме научно-исследовательских работ предоставляются в отдел науки МЗ РБ (форма 2 приложения 1).
Рекомендуются к планированию темы НИОКР, набравшие высокую сумму баллов по всем оцениваемым критериям (от 60 до 42 баллов) или удовлетворительную сумму баллов (от 41 до 22 баллов). При сумме баллов меньше либо равно 21, а также если при оценке хотя бы по одному из критериев тема была оценена на «0» баллов или «нет», НИОКР не планируется. При конкурсном отборе планируемых тем НИОКР предпочтение отдается теме, набравшей большее число баллов.
После утверждения планируемой НИОКР соответствующий пакет документов представляется в Минздрав РБ для выделения финансирования. Затем осуществляется государственная регистрация НИОКР в соответствии с Указом Президента Республики Беларусь от 25 мая 2006 года № 356 «О государственной регистрации научно-исследовательских, опытно-конструкторских и опытно-технологических работ» и Постановления Совета Министров Республики Беларусь от 30 сентября 2006 г. №1283 «О мерах по реализации Указа Президента Республики Беларусь от 25 мая 2006 г. №356».
Организация и порядок оценки завершенных (промежуточных этапов) НИОКР. Оценка завершенных (промежуточных этапов) НИОКР осуществляется по следующим документам: отчету о НИОКР, техническому (научному) заданию или технико-экономическому обоснованию, календарному плану. Оценка промежуточных этапов НИОКР выполняется в рамках соответствия полученных результатов за отчетный период календарному плану.
Завершенные (промежуточные этапы) НИОКР оцениваются в баллах по следующим критериям (Приложение 2):
· критерий «новизна»;
· критерий «значимость для науки и практики»;
· критерий «доказательность и точность».
Критерий «новизна» – отражает наличие в полученных результатах новых научных знаний (новой научной информации), новизны технологий, которые могут характеризоваться по уровню новизны по следующим градациям: «высокая» – результаты исследования имеют мировую новизну, нет аналогов в мировой науке и практике, наличие изобретений и патентов (оценивается в 7–10 баллов), «относительно высокая» – новизна на уровне республики, наличие рацпредложений* (4–6 баллов), низкая – новизна соответствует уровню отдельного НИО (1–3 балла).
Критерий «значимость для науки и практики» – раскрывается через следующие показатели:
· Показатель «степень научной значимости» – отражаетстепень воздействия полученного научного результата на развитие науки, научных направлений и научных школ. Воздействие может быть «высокое» – кардинально влияющее на дальнейшее развитие науки в сфере исследования (оценивается в 7–10 баллов), «относительно высокое» – существенно влияющее на дальнейшее развитие науки в сфере темы исследований (4–6 баллов), «низкое» – оказывающее некоторое позитивное влияние на развитие науки в сфере исследования (1–3 балла). При оценке завершенных НИОКР по данному критерию принимают во внимание наличие публикаций в зарубежной печати, выступление на зарубежных научных форумах и т.д.
· Показатель «значимость для практики» – отражаетстепень (масштаб) воздействия полученного научного результата на практику: здравоохранение, социальную сферу, экономику. Воздействие может быть «высокое» – кардинально влияющее на практику в сфере здравоохранения (оценивается в 7–10 баллов), «относительно высокое» – существенно влияющее на практику в сфере здравоохранения (4–6 баллов), «низкое» – оказывающее некоторое позитивное влияние на практику в сфере здравоохранения (1–3 балла).
· Показатель «уровень и объемы внедрения» – отражаетмасштаб и уровень внедрения результатов НИОКР, наличие и величину экономического, социального, лечебно-профилактического эффекта в народном хозяйстве или в практике здравоохранения. Этот критерий может быть «высокий» – широкое внедрение в республике со значительным экономическим, социальным, лечебно-профилактическим эффектом (оценивается в 7–10 баллов), «относительно высоким» – внедрение в нескольких организациях с экономическим, социальным, лечебно-профилактическим эффектом (4–6 баллов), «низким» – внедрение в одной организации без значимого экономического, социального, лечебно-профилактического эффекта (1–3 балла). При оценке завершенных НИОКР по данному критерию принимают во внимание имеющиеся акты внедрения, участие в международных и республиканских выставках, серийный или экспериментальный выпуск лекарственных препаратов, приборов и изделий медицинского назначения, основанные на результатах проведенных исследований, и т.д.
Критерий «доказательность и точность» – раскрывается через следующие показатели:
· Показатель «степень доказательности результатов» – характеризует научную обоснованность полученных результатов исследований: статистическую достоверность и воспроизводимость результатов исследований, достоверность и надежность использованных методов статистической обработки, наличие групп сравнения, адекватных контролей и рандомизации, методический уровень и документированность исследований, проведение клинических исследований в рамках доказательной медицины. Несмотря на то что степень доказательности результатов может изменяться в пределах от неопределенности до воспроизведения и применения на практике, при оценке завершенной НИОКР по данному критерию оценка осуществляется только по качественному показателю «соответствует принятым стандартам» или «не соответствует принятым стандартам».
· Показатель «соответствие плану НИОКР» – характеризует соответствие положений, включенных в отчет НИОКР и полученных результатов, календарному плану и задачам плана НИОКР. Оценивается по двум параметрам: «соответствует плану НИОКР» или «не соответствует плану НИОКР».
Оценку завершенных (промежуточных) НИОКР по данной балльной шкале на первом этапе осуществляют Ученые советы организаций-исполнителей. Рецензенты по каждому отчету НИОКР помимо развернутой рецензии выполняют формализованную оценку отчета по балльной шкале в соответствии с приложением 2, сопоставляя отчетные материалы с планом НИОКР.
После получения положительного заключения Ученого совета по месту выполнения работы каждая завершенная НИОКР проходит экспертизу в одной из экспертных комиссий при Ученом медицинском совете МЗ РБ. Один из ведущих ученых по данной проблеме назначается внешним рецензентом и представляет развернутую рецензию на отчет. Заключительные отчеты заслушиваются на заседаниях экспертных комиссий. Каждый эксперт экспертной комиссии выставляет балльные оценки на каждую из рассматриваемых НИОКР (которые нумеруются) в специальную анкету по форме 3 приложения 2, после чего на каждую НИОКР заводится форма 4 по приложению 2, в которой сведены результаты балльной оценки всех экспертов комиссии. После этого данные суммируются по каждому критерию и усредняются, что позволяет нивелировать субъективизм отдельных экспертов по тем или иным критериям. Итоги балльной оценки экспертизы завершенных (промежуточных) НИОКР предоставляются в отдел науки МЗ РБ.
Подлежат принятию завершенные НИОКР, получившие в сумме по всем оцениваемым критериям 13 и более баллов, а также получившие положительные оценки по критерию «доказательность и точность проведенных исследований» и по критерию «соответствие плану НИОКР». При этом завершенные НИОКР, получившие в сумме более 32 баллов, принимаются с оценкой «отлично», от 21 до 31 баллов – с оценкой «хорошо», от 13 до 20 баллов – с оценкой «удовлетворительно». Завершенные НИОКР, получившие 12 и менее баллов (или получившие отрицательную оценку по критериям «доказательность и точность проведенных исследований» и «соответствие плану НИОКР», даже при более высокой сумме баллов), оцениваются как неудовлетворительные.
Экспертная комиссия готовит заключение на основе отчетных материалов организаций исполнителей НИОКР, представляемых заказчику, при необходимости – осуществляет проверку первичных материалов по НИОКР. При положительном заключении экспертная комиссия подписывает акт сдачи-приемки, который утверждается Министерством здравоохранения. При наличии у экспертной комиссии замечаний отчетные материалы возвращаются на доработку организации исполнителю НИОКР. При отрицательном заключении экспертной комиссии организация исполнитель НИОКР несет ответственность за невыполнение условий договора в соответствии с действующим законодательством.
Предлагаемую нами методику оценки планируемых и завершенных НИР можно использовать не только в медицине, но и в любой другой отраслевой, вузовской и академической науке, а также на уровне отдельных научных организаций. Она может быть использована не только для оценки планируемых и завершенных НИР, но и для межотраслевых сопоставлений, мониторинга эффективности научной деятельности. По сравнению с другими (рассмотренными в начале статьи методами) предлагаемая методика проста, нетрудоемка, не требует существенных затрат на математическую обработку данных и адекватно отражает уровень научных исследований. Внедрение этой системы позволит существенно повысить эффективность научных исследований, обеспечить ускоренное внедрение научных разработок в практику, оптимизировать затраты на проведение НИР.
Л И Т Е Р А Т У Р А
1. Абелева Г.М., Нечуева И.Б. // В кн.: Пути повышения эффективности использования научно-информационного потенциала медицинской науки и практического здравоохранения. – Киев, 1988. –С. 12–13.
2. Архангельская В.Н., Кабанова 3.П. Автоматизация планирования научных исследований. – М.: Наука, 1973. – 120 с.
3. Киссель Е.И. // Приоритеты науки и про-блемно-ориентированная организация НИОКР: Сб. науч. м-лов. – Киев: Наук. думка, 1988. – С. 13–16.
4. Добров Г.М. Прогнозирование науки и техники. – М.: Наука, 1977. – 208 с.
5. Основы управления наукой / под ред. Г. А. Лахтина. – М.: Наука, 1983.– 216 с.
6. Филиппов В.А., Ларичев О.И., Бойченко В.С. Методы перспективного планирования научных исследований и разработок // В кн.: Социологические проблемы науки. – М.,1974.– 402 с.
7. Лахтин Г.А. Экономика научного учреждения. – М.: Экономика, 1979. – 208 с.
8. Зайцев Б.Ф., Лапин Б.А. Организация научно-технического планирования. – М.: Экономика, 1970. – 207 с.
9. Горфан К.Л. Математическое моделирование и совершенствование планирования научных исследований и разработок // В кн.: Управление исследованиями, разработками и внедрением новой техники. – М.,1977. – С. 122–132.
10. Андреева И.Л. // Вестник Волгоградского гос. мед. ун-та.– 2009. – Вып.4.– С. 3–11.
11. Александров В.А. Прогнозирование и управление нововведениями. Обзор. информ. – Минск: БелНИИНТИИ, 1988. – 124 с.
12. Садовская Л.А. Организация и финансирование научных исследований в здравоохранении США. Экспресс-информация «Союзмединформ», вып. 4., сер. «Социальная гигиена и организация здравоохранения». – М., 1989. – 16 с.
13. Лебедева Е.А., Недотко П.А. Программно-целевой подход к научным исследованиям в США. – М.: Наука, 1980. – 296 с.
ПРИЛОЖЕНИЕ 1
Шкала экспертной оценки планируемых тем НИОКР, в баллах
Наименование критерия/ показателя
|
Характеристика критерия/ показателя
|
Оценка в баллах
|
Характеристика идеи темы НИОКР и предполагаемого результата
|
1. Новизна
|
1.1. Уровень научной новизны
|
Высокий
|
Проводится впервые в мире
|
7–10
|
Относительно высокий
|
Проводится впервые в Беларуси
|
4–6
|
Недостаточно высокий
|
Новизна на уровне отдельной НИО
|
1–3
|
Отсутствует
|
Общеизвестна
|
0
|
2. Значимость для науки и практики
|
2.1.Степень воздействия ожидаемого (планируемого) результата на науку и практику
|
Высокая
|
Окажет кардинальное воздействие на дальнейшее развитие науки и практики
|
7–10
|
Относительно высокая
|
Окажет существенное воздействие на дальнейшее развитие науки и практики
|
4–6
|
Недостаточно высокая
|
Окажет определенное воздействие на развитие науки и практики
|
1–3
|
Отсутствует
|
Не имеет значения для развития науки и практики
|
0
|
2.2. Актуальность планируемой НИОКР
|
Степень соответствия запросам науки и практики
|
|
Высокая
|
Имеет первостепенное значение для науки и практики
|
7–10
|
Относительно высокая
|
Имеет важное значение
|
4–6
|
Недостаточно высокая
|
Имеет определенное значение
|
1–3
|
Не актуальна
|
Не соответствует запросам и задачам науки и практики
|
0
|
2.3. Оценка уровня ожидаемого эффекта от внедрения
|
Ожидаемый эффект от внедрения:
-лечебно-профилактический,
-социальный,
-экономический,
-научный
|
При наличии нескольких видов эффекта в сумме эффект не должен превышать 10 баллов
|
Высокий
|
Широкое внедрение в республике со значительным эффектом
|
7–10
|
Относительно высокий
|
Внедрение в нескольких организациях со значительным эффектом
|
4–6
|
Недостаточно высокий
|
Внедрение в одной организации без определения эффекта
|
1–3
|
Отсутствует
|
Внедрение не планируется, не выявляется
|
0
|
Характеристика исполнителя и вероятности положительного решения проблемы
|
3. Объективность
|
3.1.Методический уровень и материально-техническая база планируемого исследования
|
Оценка степени обоснованност и результата исследования: методического уровня предполагаемого исследования и материально-технической базы исполнителя
|
|
Высокий
|
Будут использованы самые современные методы, оборудование, реактивы
|
7–10
|
Относительно высокий
|
Уровень планируемых к применению методов, оборудования, реактивов достаточно высокий
|
4–6
|
Недостаточно высокий
|
Уровень планируемых к применению реактивов, методов, оборудования не обеспечит высокого уровня результатов
|
1–3
|
Низкий
|
Планируемые методы, оборудование, реактивы не обеспечат достижения поставленной цели
|
0
|
3.2. Квалификация основных исполнителей
|
Оценка степени квалификации основных исполнителей по теме исследования
|
|
Высокая
|
Достаточная для выполнения поставленных задач
|
Да / Нет*
|
Низкая
|
Не достаточная для выполнения поставленных задач
|
Да / Нет*
|
3.3. Наличие задела
|
Наличие положительных результатов, подтверждающих правильность выбранного направления, наличие публикаций по теме исследования
|
7–10
|
Значительный задел
|
Определенный задел
|
Наличие первичного материала, подтверждающего правильность выбранного направления, освоены методы исследования
|
4–6
|
Минимальный задел
|
Освоены методы исследования
|
1–3
|
Задел отсутствует
|
По теме исследования отсутствует задел
|
0
|
3.4. Обоснованность сроков выполнения НИОКР
|
Занижены
|
Работа требует больших сроков для выполнения поставленных задач
|
Да / Нет (на …%)*
|
Обоснованы
|
Соответствует планируемым срокам
|
Да / Нет*
|
Завышены
|
Работа может быть выполнена в меньшие сроки
|
Да / Нет (на …%)*
|
3.5.Финансовая обоснованность НИОКР
|
Стоимость занижена
|
Требуемое финансирование недостаточно для выполнения поставленных задач
|
Да / Нет (на …%)*
|
Стоимость обоснована
|
Соответствует объемам и задачам исследования
|
Да / Нет*
|
Стоимость завышена
|
Требуемое финансирование превышает планируемые объемы работы
|
Да / Нет (на …%)*
|
* нужное обвести
Форма 1
Оценка всех планируемых НИОКР экспертом №…, в баллах
Ф.И.О. (и №) эксперта____________________________________________________________
Критерии/
показатели
|
№ НИОКР
|
1
|
2
|
3
|
4
|
5
|
6
|
7
|
8
|
9
|
1. Новизна
|
1.1.Уровень научной новизны
|
|
|
|
|
|
|
|
|
|
2. Значимость для науки и практики
|
2.1. Степень воздействия ожидаемого результата на науку и практику
|
|
|
|
|
|
|
|
|
|
2.2. Актуальность планируемой НИОКР
|
|
|
|
|
|
|
|
|
|
2.3. Оценка ожидаемого эффекта от внедрения
|
|
|
|
|
|
|
|
|
|
3. Объективность
|
3.1. Методический уровень и материально-техническая база планируемого исследования
|
|
|
|
|
|
|
|
|
|
3.2. Квалификация основных исполнителей
|
|
|
|
|
|
|
|
|
|
3.3. Наличие задела
|
|
|
|
|
|
|
|
|
|
3.4. Обоснованность сроков выполнения НИОКР
|
|
|
|
|
|
|
|
|
|
3.5. Финансовая обоснованность НИОКР
|
|
|
|
|
|
|
|
|
|
Сумма баллов:
|
|
|
|
|
|
|
|
|
|
Подпись эксперта: ___________________________
Форма 2
Экспертное заключение на планируемую НИОКР (№ НИОКР)_____________________________________________________________________________________________________
Критерии/
показатели
|
№ эксперта
|
|
1
|
2
|
3
|
4
|
5
|
6
|
7
|
Всего
|
Средний балл
|
1. Новизна
|
|
1.1.Уровень научной новизны
|
|
|
|
|
|
|
|
|
|
|
2. Значимость для науки и практики
|
|
2.1. Степень воздействия ожидаемого результата на науку и практику
|
|
|
|
|
|
|
|
|
|
|
2.2. Актуальность планируемой НИОКР
|
|
|
|
|
|
|
|
|
|
|
2.3.Оценка ожидаемого эффекта от внедрения
|
|
|
|
|
|
|
|
|
|
|
3. Объективность
|
|
3.1. Методический уровень и материально-техническая база планируемого исследования
|
|
|
|
|
|
|
|
|
|
|
3.2. Квалификация основных исполнителей
|
|
|
|
|
|
|
|
|
|
|
3.3. Наличие задела
|
|
|
|
|
|
|
|
|
|
|
3.4.Обоснованность сроков выполнения
|
|
|
|
|
|
|
|
|
|
|
3.5.Финансовая обоснованность
|
|
|
|
|
|
|
|
|
|
|
Средняя итоговая оценка______________________________________________________________________________________________
ПРИЛОЖЕНИЕ 2
Шкала экспертной оценки завершенных (промежуточных этапов) тем НИОКР, в баллах
Наименование критерия/
показателя
|
Характеристика критерия/ показателя
|
Оценка в баллах
|
1. Новизна
|
Степень (уровень) новизны полученных результатов
|
|
1.1. Уровень научной новизны
|
Высокий
|
Мировая новизна, нет аналогов в мировой науке и практике, наличие изобретений и патентов
|
7–10
|
Относительно высокий
|
Новизна на уровне республики, наличие рацпредложений, инструкций по применению
|
4–6
|
Низкий
|
Новизна на уровне отдельной НИО
|
1–3
|
2. Значимость для науки и практики
|
Степень (уровень) воздействия полученного результата на науку и практику
|
|
2.1 Степень научной значимости
|
Высокая
|
Кардинально влияющая на дальнейшее развитие науки
|
7–10
|
Относительно высокая
|
Существенно влияющая на дальнейшее развитие науки и практики в сфере темы исследования
|
4–6
|
Низкая
|
Оказывающая некоторое позитивное влияние на развитие науки и практики в сфере исследования
|
1–3
|
2.2. Значимость для практики
|
Высокая
|
Кардинально влияющая на развитие медицины и здравоохранения
|
7–10
|
Относительно высокая
|
Существенно влияющая на развитие медицины и здравоохранения
|
4–6
|
Низкая
|
Оказывающая некоторое позитивное влияние на развитие медицины и здравоохранения
|
1–3
|
2.3. Уровень и объемы внедрения
|
Высокий
|
Широкое внедрение в республике со значительным экономическим, социальным, лечебно-профилактическим эффектом
|
7–10
|
Относительно высокий
|
Внедрение в нескольких организациях с экономическим, социальным, лечебно-профилактическим эффектом
|
4–6
|
Низкий
|
Внедрение в одной организации без определения экономического, социального, лечебно-профилактического эффекта
|
1–3
|
3. Доказательность и точность
|
Научная обоснованность полученных результатов
|
|
3.1.Степень доказательности результатов
|
Статистическая достоверность и воспроизводимость результатов исследований, методический уровень и документированность
|
|
Соответствует принятым стандартам
|
Да/Нет*
|
Не соответствует принятым стандартам
|
Да/Нет*
|
3.2. Соответствие плану НИОКР
|
Соответствует
|
Соответствует целям и задачам исследования, календарному плану
|
Да/Нет*
|
Не соответствует
|
Не соответствует целям и задачам исследования, календарному плану
|
Да/Нет*
|
* нужное обвести
Форма 3
Оценка всех завершенных НИОКР экспертом №…, в баллах
Ф.И.О. (и №) эксперта __________________________________________________________________________________________________
Критерии/показатели
|
№ НИОКР
|
1
|
2
|
3
|
4
|
5
|
6
|
7
|
8
|
9
|
1. Новизна
|
1.1. Уровень научной новизны
|
|
|
|
|
|
|
|
|
|
2. Значимость для науки и практики
|
2.1.Степень научной значимости
|
|
|
|
|
|
|
|
|
|
2.2. Значимость для практики
|
|
|
|
|
|
|
|
|
|
2.3.Уровень и объемы внедрения
|
|
|
|
|
|
|
|
|
|
3. Доказательность и точность
|
3.1.Степень доказательности результатов
|
|
|
|
|
|
|
|
|
|
3.2.Соответствие плану НИОКР
|
|
|
|
|
|
|
|
|
|
Сумма баллов:
|
|
|
|
|
|
|
|
|
|
Подпись эксперта: _________________
Форма 4
Суммарная оценка завершенной темы НИР (№…) всеми экспертами, в баллах
Экспертное заключение на завершенную (промежуточный этап) тему НИОКР (№ НИОКР)____________________________________________________________________________________________________
Критерии/№ эксперта
|
№ эксперта
|
1
|
2
|
3
|
4
|
5
|
6
|
7
|
Всего
|
Средний балл
|
1. Новизна
|
1.1. Уровень научной новизны
|
|
|
|
|
|
|
|
|
|
2. Значимость для науки и практики
|
2.1.Степень научной значимости
|
|
|
|
|
|
|
|
|
|
2.2. Значимость для практики
|
|
|
|
|
|
|
|
|
|
2.3.Уровень и объемы внедрения
|
|
|
|
|
|
|
|
|
|
3. Доказательность и точность
|
3.1.Степень доказательности результатов
|
|
|
|
|
|
|
|
|
|
3.2.Соответствие плану НИОКР
|
|
|
|
|
|
|
|
|
|
Медицинские новости. – 2010. – №5–6. – С. 18–27.
Внимание! Статья адресована врачам-специалистам. Перепечатка данной статьи или её фрагментов в Интернете без гиперссылки на первоисточник рассматривается как нарушение авторских прав.