Для оценки значимости научных журналов и научной деятельности используются как количественные, так и качественные методы исследования. В качестве количественных индикаторов значимости научных журналов можно использовать тираж, периодичность выпуска, количество публикуемых за год статей, удельное отношение тиража к количеству потенциальных подписчиков, удельный вес отклоненных рукописей, средний срок публикации статей, средний объем публикаций и среднюю численность авторского коллектива статей, распределение тиража журнала по странам и т.д. Качественная оценка значимости научных журналов может осуществляться на основе метода экспертных оценок или анкетирования читателей, научных организаций и обществ, ученых и специалистов. Количественная оценка деятельности ученых и научных коллективов может осуществляться по числу опубликованных работ, изобретений, по результатам инновационной активности, подготовки кадров, повышения квалификации и т.д., а качественная оценка может осуществляться методами экспертизы, анкетирования и др.

Впоследние десятилетия для оценки значимости научных журналов и ученых широко используется метод цитируемости и взаимоцитируемости с последующим построением кластеров цитируемости.

Метод цитатного анализа. Неразрывно связанные с текстовой частью научной публикации библиографические ссылки могут иметь самостоятельное значение при проведении наукометрических исследований. Библиографические ссылки являются своеобразными “индикаторами” информационных связей между научными документами и их авторами, необходимым условием этики научного творчества, критерием вклада отдельных ученых и научных коллективов в науку, степени их общественного признания и научного престижа. Поскольку каждая библиографическая ссылка в явной или неявной форме содержит сведения об авторе и соавторах, название публикации (ключевые слова), ее составные элементы в контексте с элементами цитируемой статьи обеспечивают извлечение целого ряда аналитических данных о состоянии науки, ее социальной и когнитивной структуре. Считается, что цитируемые статьи могут служить в качестве маркеров важнейших идей, изобретений и технологий и в связи с этим цитирование можно использовать для “картографи­рования” науки. Традиция цитирования создает в науке своеобразную разновидность непрерывно действующей коллективной экспертной оценки, автоматически обеспечивающей компетентность экспертов и авторов.

Среди основных индикаторов, используемых в Указате­лях научных ссылок, следует выделить следующие: фактор воздействия (impact factor), фактор оперативности (immediacy Index) и показатель полужизни журнала (half-life), общее число ссылок и их динамику. Фактор воздействия указывает на частоту, с которой в конкретном году журналами-источниками была процитирована любая статья данного журнала за два года до исследования. Фактор оперативности указывает на частоту, с которой в рассматриваемом году цитировалась любая средняя статья опре­деленного журнала, опубликованная в этом же году. Показатель полужизни журнала равен числу ретроспективных лет выхода в свет цитирумых публикаций, за которые журнал к исследуемому году набрал 50% ссылок.

Один из информативных показателей формализованной оценки публикаций – возраст ссылок. Явная ориентация на старые работы говорит о том, что исследуемая группа авторов в концептуальном и методологическом отношении отстает от переднего края науки. Уменьшение среднего возраста ссылок и ускоренное обновление информации в ссылочном аппарате публикаций свидетельствуют о том, что в исследуемом научном направлении усиленно разрабатываются новые проблемы. Высокий удельный вес самоцитирования можно расценивать как индикатор быстрорастущих зарождающихся научных направлений. Рост самоцитирования научной школы можно связать с ее угасанием, когда ссылки замыкаются на представителях одной школы.

Сопоставление структур и возраста ссылок документальных информационных потоков можно осуществлять путем наложения соответствующих гистограмм и расчета суммы перекрывающихся частей всех сравниваемых показателей. Если системы схожи, это значит, что совокупность изучаемых работ выполнена в рамках сложившейся в мировой науке познавательной основы данной области. Если же системы сильно различаются, то возможны три варианта: 1) изучаемая совокупность авторов значительно обогнала мировую науку; 2) эта совокупность сильно отстала от мировой науки, но движется в том же направлении (в этом случае структура ссылок будет схожа со структурой кластера прошлых лет) и можно оценивать, насколько изучаемая совокупность авторов отстает от мирового уровня; 3) авторы работ трудятся вне сферы данного направления мировой науки (либо в ином ключе, либо параллельно).

Метод кластерного анализа. Один из методов кластерного анализа был разработан Kessler и назван им bibliographic coupling – метод библиографического сочетания. В основе метода Кесслера лежит принцип выделения взаимосвязи между двумя публикациями, цитирующими один и тот же документ. Интенсивность взаимосвязи двух публикаций определяется количеством общих для обоих документов библиографических ссылок. Другой метод кластерного анализа – метод проспективной связи, или cocitation, был разработан в 1973 г. одновременно И. В. Маршаковой и Small. Он основан на обратном принципе – выделении взаимосвязи между двумя публикациями на основе цитирования их в одних и тех же документах. В процессе выявления взаимосвязи публикаций образуются сети цитирования, которые после установления порога социтирования распадаются на отдельные класте­ры — совокупность публикаций, обнаруживающих силь­ные связи (выше пороговых) друг с другом внутри клас­тера и слабые связи с публикациями, не входящими в него. По методам И. В. Маршаковой и Смолла кластер образуют цитируемые документы, а по методу Кесслера – цитирующие. Кластеризация библиографических ссылок – один из методов картирования науки, выявляющего фронт научных исследований и “незримые колледжи”. Совокупность кластеров и взаимосвязей между ними формирует своеобразную карту науки.

На основе цитируемости и кластерного анализа в Институте научной информации США создана база данных ISI/BIOMED, доступная в интерактивном режиме и содержащая сведения о наиболее важных для ученых всего мира публикациях по биомедицине, которые входят в кластеры, а также о работах, их цитирующих. ISI/BIOMED охватывает статьи, опубликованные в 1,3 тыс. биомедицинских журналов с 1979 г., и ежегодно пополняется данными из 230 тыс. публикаций. Указатель фронта научных исследований ISI/BIOMED раскрывает 7,9 тыс. исследовательских тем. По указанной базе данных Институт научной информации США издает Атлас науки, включающий перечень статей, входящих в кластер, и их графическое изображение.

С помощью кластерного анализа можно получить данные о закономерностях распространения и использования научной информации, роли исследовательских методов и технологий в распространении новых знаний и развитии новых научных направлений. Исследования Ю. Гарфилда с соавт. по изучению структуры биомедицинских кластеров показали, что все научные дисциплины, хотя и с разной скоростью, проходят своеобразные фазы развития от зарождения до угасания. При этом научная дисциплина претерпевает в среднем одну революцию каждые двенадцать лет.

Анализ цитирования можно осуществлять как в ручном режиме, исследуя непосредственно библиографические ссылки в публикациях, так с помощью компьютерных баз данных или указателя “Science Citation Index” (SCI), издаваемого с 1964 г. Институтом научной информации США. Современные компьютерные технологии и Интернет позволяют создать принципиально новые компьютеризированные инструменты наукометрического анализа. Достаточно сказать, что если в 1970–80-е гг. имелась только одна англоязычная система анализа научного цитирования – ScienceCitationIndex, то сейчас существует еще 2 англоязычные системы цитирования (WebofScience и Scopus), а также автоматизированные системы анализа научного цитирования по японским (CitationDatabaseforJapanesePapers), по китайским (ChineseScienceCitationIndex) и по российским журналам (Российский индекс научного цитирования Национальной электронной библиотеки РФ). В мире не существует единой системы, позволяющей по цитируемости оценивать любой научный журнал.

Надо учитывать, что англоязычные, а тем более китайские и японские указатели научных ссылок ориентируются на росписи ссылок в отечественных журналах и известных зарубежных изданиях и не расписывают журналы Беларуси. Цитируемость белорусских журналов и ученых может быть отслежена, только если они цитируются ведущими англоязычными и российскими журналами, и при условии, что авторам этих журналов (расписываемых в Указателях научных ссылок) доступны наши периодические издания и они нашли в них достойные для цитирования работы, или в этих журналах будут публиковаться белорусские авторы, которые процитируют свои работы и работы своих соотечественников.

Можно предположить, что Российский индекс научных ссылок (РИНС) должен в той или иной степени отражать цитируемость белорусских авторов. Проведенный нами в 2009 г. анализ показал, что РИНС вполне адекватно расписывает и оценивает по цитируемости российские журналы и российских ученых. Однако, как и в указателе научных ссылок США, имеется существенный перекос в сторону цитирования отечественных авторов. Так, например JAMA имеет цитируемость ниже, чем журнал «Кардиология», – 6423 и 6544 ссылок соответственно, а журнал Immunology – 1203 ссылки против 1130 в ЖМЭИ. Это является естественным следствием того, что каждый национальный указатель цитирования расписывает преимущественно отечественные журналы, в которых доминируют ссылки на отечественных авторов, включая самоцитирование. В РИНС «Терапевтический архив» цитировался 5767 раз, «Клиническая медицина» – 3313, «Акушерство и гинекология» – 2839, «Российский медицинский журнал» – 1855, «Стоматология» – 1742, «Лечащий врач» – 853 раза. Междисциплинарные зарубежные журналы «Science» и «Nature» цитируются 151263 и 154426 раз соответственно.

Периодические медицинские издания РБ цитируются в РИНС следующим образом: журнал «Медицинские новости» – 138 ссылок, «Медицинская панорама» – 48, «Рецепт»– 17, «Новости хирургии», «Вопросы организации и информатизации здравоохранения» и «Вестник фармации» по 14 ссылок, «Современная стоматология» – 6. Журнал «Здравоохранение» (Минск) имел 12 ссылок, «Здравоохранение Беларуси» – 31, «Здравоохранение Белоруссии» – 115 (итого 158 ссылок).

Результаты цитирования белорусских ученых оказались крайне неоднозначными: одни ученые имеют достаточно высокую цитируемость (В.В. Зинчук – 83, А.А. Баешко –31, Л.Н. Дедова – 15, Т.В. Попруженко – 9, С.А. Лихачев –8), а многие другие видные ученые нашей республики по какой-то причине не вошли даже в перечень цитированных (всего цитируется менее 5% ученых-медиков Беларуси). Таким образом, и РИНС и Указатель научных ссылок США вряд ли можно использовать для оценки цитируемости белорусских ученых.

Для того чтобы наши отечественные журналы стали расписываться в зарубежных автоматизированных указателях научных ссылок, совсем недостаточно иметь индекс ISSN и публиковать рефераты на английском языке (хотя и это важно). В мире издается более миллиона научных журналов, многие из них англоязычные или имеют реферат на английском языке. И большинство из них не попадут в указатель научных ссылок, поскольку есть только один критерий отбора журналов – цитируемость размещенных в них статей. А это зависит только от двух факторов: доступности журнала для большего числа ученых (т.е. от тиража и доступности журнала за рубежом, хотя бы через Интернет) и наличия в журнале публикаций, достойных цитирования. То есть, если в журнале публикуются маститые ученые, лауреаты Нобелевской и других международных премий, то журнал будет цитироваться и со временем войдет в указатели научных ссылок. Если это журнал преимущественно аспирантов (хотя каждый ученый в свое время проходит этот уровень), то его шансы стать цитируемым крайне малы. Таким образом, главное – это отбор и экспертиза публикуемых работ.

По данным главного редактора JАМА, число принятых в этот журнал к печати статей не превышает 10–15% от числа поданных. В наших журналах удельный вес отклоненных статей очень мал, а при наличии 30 научных медицинских журналов (т.е. по 100 потенциальных или 10–20 реальных авторов на каждый журнал) автор статьи, отклоненной в одном журнале, всегда найдет другой журнал, который его опубликует. Такая ситуация будет сохраняться до тех пор, пока в медицинской науке при оценке НИР количество публикаций будет значить больше, чем качество этих публикаций.

Решение ВАК РБ об увеличении количества требуемых для защиты диссертаций (как докторских, так и кандидатских) публикаций в научных журналах увеличило поток публикаций за счет фрагментации и повторного опубликования статей, но без качественного их улучшения. Целесообразным представлялась бы более тщательная экспертиза публикуемых работ не только в научных журналах, но и на ученых советах по месту выполнения этих работ. В настоящее время лишь в нескольких институтах принята практика предварительного обсуждения статьи перед ее опубликованием в журнале.

Не менее важный критерий оценки журнала – его тираж. ВАК определил минимальный для вхождения журналов в «перечень ВАК» тираж – 100 экз. Но этого количества недостаточно даже для того, чтобы журнал вышел за пределы института. Необходимо увеличить этот уровень хотя бы до 300–400 экз.

Создание отечественного указателя научных ссылок – сложная и дорогостоящая задача. Не менее сложной является и задача выборочного определения цитируемости в ручном режиме на небольших когортах ученых.

Тем не менее подобная работа была проведена нами в 1980–90-е годы по Указателю научных ссылок США и недавно по ссылкам в двух белорусских журналах – «Здравоохранение» и «Медицинские новости».

Было установлено, что среди работ ученых-медиков, опубликованных в 1965–1983 гг., в 1986 г. по Указателю научных ссылок США цитировалось 1134 публикации 308 ученых по 38 медико-биологическим специальностям. В среднем в год цитировалось 47,3 работы, получивших по 72,8 ссылки. Среди цитированных ученых особо выделяется группа из 18 докторов и 3 кандидатов наук, получивших более 15 ссылок (И.П. Антонов, Г.П. Матвейков, В.И. Вотяков, Н.С. Мисюк, А.П. Красильников, Э.И. Злотник, Г.И. Сидоренко, Н.Е. Савченко, О.П. Комов, А.И. Балаклиевский, А.И. Свирновский, Е.Д. Буглов и др.). Среди молодых в те годы ученых наиболее высока была цитируемость Н.Н. Войтенка, В.С. Улащика, И.С. Лукашевича, Т.С. Морозкиной, А.И. Кубарко, Е.Д. Черствого, А.А. Адарченко. Среди ссылок, полученных этими авторами, 23% приходилось на самоцитирование, 63% – на ссылки в журналах СССР, 14% – в зарубежной литературе.

Сравнительный анализ документального информационного потока, генерируемого белорусскими медиками на момент распада СССР и 15 лет спустя, показывает, что публикационная активность ученых выросла более чем в 2 раза, а количество работ, опубликованных за рубежом, увеличилось более чем в 20 раз. При этом традиционно существующие исторические связи белорусских ученых-медиков в значительной степени изменились. Анализ библиографических ссылок в белорусских журналах «Медицинские новости» и «Здравоохранение» показал, что в настоящее время белорусские ученые-медики в большей степени цитируют ученых дальнего зарубежья (41,6–56,8%) и в меньшей – ученых России (29,1–38,7%), Украины (1,9–2,7%), Беларуси и других стран СНГ (3–5%) и стран Восточной Европы (0,6–0,9%).

Настораживает тот факт, что скорость распространения информации в Беларуси за прошедшие годы не уменьшилась, а даже увеличилась: с 7,6 года до 10,4 года в журнале «Здравоохранение» и до 8,9 года – в журнале «Медицинские новости». Если раньше средний «возраст» ссылок на публикации зарубежных ученых составлял 9,3 года, а ученых СССР – 6,8 лет, то сейчас средний возраст ссылок на авторов дальнего зарубежья несколько уменьшился и составил в журнале «Медицинские новости» – 7,4 года, в журнале «Здравоохранение» – 8,2 года; средний возраст ссылок на публикации ученых из России и Украины существенно увеличился и составил 10,3 и 11,8 лет соответственно. Таким образом, если раньше коммуникационные связи ученых Беларуси осуществлялись в основном через московские научные центры, то сейчас они осуществляются хотя и напрямую, но в среднем медленнее.

К качественному росту публикуемых материалов изменение направленности научных коммуникаций и увеличение количества числа издаваемых научных журналов и публикуемых там работ не привело. Об этом свидетельствует и рост удельного веса публикаций «старше» 10 лет, и низкая цитируемость работ, и низкий статус многих отечественных научных журналов. И это не удивительно: эти процессы обусловлены недостаточным финансированием научных исследований и коммерческим подходом при выпуске научных журналов.

За годы, прошедшие после распада СССР, коллективность авторских публикаций (среднее число авторов в одной статье) несколько снизилась, хотя ранее неуклонно возрастала. Так, если в 1970 г. коллективность авторов составляла в Беларуси 1,6 автора на одну работу, в 1980 г. – 2,2 автора, в 1990 г. – 2,8, то еще через 10 лет снизилась до 2,4 в журнале «Медицинские новости» и 2,5 в журнале «Здравоохранение». Это обусловлено, вероятно, требованиями ВАК Беларуси о необходимости публикации моноавторских работ. Общемировые тенденции прямо противоположные. В последние годы в научных публикациях количество соавторов возрастает в 1,5–2 раза каждые 20–25 лет, что связано с расширением междисциплинарных связей в науке.

Таким образом, изучение цитируемости позволяет получить ответы на следующие вопросы: 1) где цитировался отдельный автор или статья, 2) кто еще публикуется по данному вопросу, 3) какие журналы преимущественно публикуют статьи по данному вопросу, 4) какие работы опубликованы в данном учреждении, 5) где используется определенный метод или предложение, 6) какие публикации есть у данного автора.

Анализ цитирования позволяет определить вклад в мировую науку отдельных учреждений и ученых, решить, с кем из зарубежных исследователей следует наладить научные контакты. Открываются новые горизонты и перспективы в сфере наукометрического анализа, картографирования научных дисциплин, прогнозирования развития новых научных направлений, поиска «точек роста» в науке, моделирования и перспективного планирования научных исследований, поиска новых научных идей, организации научных исследований. Однако для проведения этих исследований требуется надежный инструментарий. При отсутствии собственного Указателя научных ссылок только комплексный и сравнительный анализ цитирования по нескольким зарубежным указателям научных ссылок позволяет получить более или менее адекватную картину цитирования ученых Беларуси.

Создание национального указателя научных ссылок очень трудоемкая и дорогостоящая работа, поэтому следует ставить вопрос о более широкой и полной росписи журналов Беларуси в Российском индексе научных ссылок в рамках научных программ Союзного государства.

Не отрицая важности оценки научной публикации через критерий ее цитируемости, следует отметить, что он характеризует только научную значимость, но не обязательно свидетельствует о вкладе в повседневную клиническую практику. Об этом может свидетельствовать включение научной разработки (ее фрагмента) в национальные стандарты медицинской помощи (протоколы лечения), стандарты сложившейся практики в виде отдельного технологического процесса, метода, устройства или лекарственного препарата, алгоритма или управленческого решения (технологии).

И еще один аспект проблемы значимости публикаций. Являясь приверженцем принципов доказательной медицины, в последние годы отмечаю, что метаанализы практически вытесняют обычные клинические статьи, а принцип лечить не болезнь, а больного трансформируется в принцип лечить не болезнь, а некую усредненную когорту больных: много хорошей и доказательной статистики, но нет симптоматики, нет индивидуальных больных, нет индивидуальных подходов в лечении, не всегда учитывается высокая частота коморбитных состояний у больных пожилого возраста. Такие статьи раньше писались в экспериментальной, а не в клинической медицине. Многие статьи напоминают подвиги советских разведчиков в кино. Есть лекарственный препарат, который следует оценить. После нескольких слепых, рандомизированных и т.д. исследований этот препарат как всегда победитель (если не получится с лидирующими ЛС, то хотя бы с плацебо). В последние годы даже профилактика стала лекарственной: превентивное назначение антибиотиков, пожизненное использование статинов и т.д. И как хотелось бы видеть больше статей, сочетающих в себе не только новизну и доказательность, но и клиническую значимость.

Л И Т Е Р А Т У Р А 

1. Гарфилд Ю. Можно ли выявить и оценивать научные достижения и научную продуктивность? // Вестн. АН СССР. – 1982. – № 7.– С. 42–50.

2. Кара-Мурза С.Г. Цитирование в науке и подходы к оценке научного вклада // Вестн. АН СССР.– № 5. – С. 68–75.

3. Маршакова И.В. Система цитирования научной литературы как средство слежения за развитием науки. – М.: Наука, 1988. – 288с.

4. Хайтун С.Д. Наукометрия: состояние и перспективы.– М.: Наука,1983.– 344с.

5. Хайтун С.Д. «Цитат-индекс» как метод анализа научной деятельности // Природа. – 1980.– № 3.– С. 40–51.

6. Шарабчиев Ю.Т. Проблемы “картографирования” научных направлений и выявления активных “точек роста”// Мед. новости. – 1996. – №10. – С.44–52.

7. Шарабчиев Ю.Т. Анализ цитируемости публикаций как один из критериев оценки эффективности научной деятельности (на примере ученых–медиков Беларуси) // Здравоохр. Белоруссии. – 1987. – № 4. – С.25–28.

8. Шарабчиев Ю.Т. Коммуникации в науке: социометрический аспект. – Мн.: Право и экономика, 1995. – 256с.

9. Шарабчиев Ю.Т. К методике выбора журналов, наиболее значимых для специалистов // Научно-техническая информация.–Сер.1.–1981.– № 11.– С.25–29.

Медицинские новости. – 2010. – №8. – С. 6-9. 

Внимание! Статья адресована врачам-специалистам. Перепечатка данной статьи или её фрагментов в Интернете без гиперссылки на первоисточник рассматривается как нарушение авторских прав.