Свод Правил для оценки работ в фундаментальных науках.

Григор Барсегян

Председатель Совета армянских специалистов, доктор наук,

обладатель международной научной награды имени Марии Кюри

 

Введение: о ситуации в науке в мире и Армении и о возникновении Свода Правил.

Ситуация в мире.

С начала 20-го века наука обрела огромную роль во многих лидирующих странах. Между тем многое в науке было правильно и пристойно, поскольку лидеры в науке тщательно отсортировывались и, часто, были воспитаны в благородных традициях. Честность людей имеет решающее значение в науке. Это длилось до середины 20-го века, когда во многих странах резко возросло количество людей, занимающихся наукой. Появилось огромное количество должностей, людей, получивших эти должности и получающих большие деньги. Всем подобным людям необходимо было иметь соответствующие заслуги; но они не имели подобных заслуг. В условиях большой конкуренции о честности не могло быть речи; честность людей уже не могла работать.

Наверно, в подобной ситуации, было бы правильно понять и предложить новую систему определения рейтингов ученых, чтобы минимизировать отрицательное воздействие бесчестной конкуренции.Однако этого не произошло: то ли никто не предложил ничего путного, то ли такое предложение было, но его не позволили широко озвучить.

Ситуация в Армении.

В Армении нет ни понимания целей и ценности в науке и, хуже того, нет ни малейшего желания узнать что-то и понять что-есть-что в науке. Нет ни малейшего желания понять из чего складывается рейтинг ученых и как определить этот рейтинг. Все объясняется очень просто. В Армении сформирована масса чиновников и академиков, преимущественно с низким рейтингом, для которых само слово рейтинг ненавистно (поскольку они его не имеют). Они недоумевают: какие к черту правила!? Вот мы сидим на своих должностях. Дайте нам руководить! При этом под руководством понимается назначение на должности своих людей. В Армении полное наплевательство на любые научные законы и на любые моральные нормы.

Приведу пример из жизни.

Директор института математики выдвигает на премию свою работу, в заглавии которой можно найти два недопустимых пункта: он указывает, что его работа дает “математические основы” чего-то и называет это “новым шагом”. Он не понимает (или делает вид, что не понимает), что уже в своем заглавии он претендует сразу на две теории. А это он, по всем нормам, может делать только тогда, когда другие авторы в научной литературе уже считают, что это так. Ведь никто не знает, будет ли кто-либо считать это теорией в ближайшие тысячу лет. Дальше хуже. Он представляет отзывы от специалистов, работы которых включены в выдвигаемую на премию работу директора. Получается, что эти специалисты выдвигают на премию свою же работу. По всем нормам это уже уголовное преступление.

И что в тысячи раз хуже, ни один чиновник или академик не воспротивился этому. Работу директора благополучно выдвинули на премию.

Этот простой эпизод порожадает тысячи вопросов. Но никто этим не будет заниматься.

Еще раз, уже на примере Армении, мы приходим к тому, что нам как воздух необходима система оценки научных работ.

Свод Правил.

И вот подобной системой определения рейтинга ученых занялся я. Это случилось как-то непроизвольно. Дело в том, что моими соавторами в науке были люди, которые по долгу службы должны были заниматься постоянно вопросами оценки работ других специалистов. Средин них президент и вице-президенты одного известного всемирного математического общества, директор математического центра Юнеско, председатель совета деканов Европы. Будучи в постоянном контакте с ними, я обсуждал с ними вопросы оценки научных работ и где-то в 2000-х начал разрабатывать свою систему оценки работ.

Ниже, в части 1 данной статьи, предлагется некая система оценки работ в фундаментальных науках. Она касается всех подобных работ во всем мире.

 

Могут найтись те, кто спросит, а почему тысячи академиков и чиновников по всему миру не предложили нечто подобное ни в науке, ни в управлении государством; должен ли я доверять какому-то Барсегяну? Чтобы ответить на этот вопрос уместно привести автобиографические заметки самого Барсегяна.

После предложений по Своду Правил мы приводим подобные заметки.

Надеюсь, что читатель поймет, что многое из моих предложений исходит из моего личного опыта и моего пути в науке.

 

 

Часть 1. Свод правил для оценки работ в фундаментальных науках.

Несколько слов о возникновении идеи и ее обсуждениях.

Свод правил был готов где-то в 2010-х годах.

Идею применения понятия «расстояния» при оценках работ я представил тогда академику Российской Академии С. Адяну, основному эксперту с которым консультируется правительство России. Он сказал, что идея эта не новая, что он думает также, и он знает, что также думают академики В. Арнольд и Л. Фаддеев. (Отмечу, что отмеченные специалистысами получили базисные результаты, за которые им были присуждены самые престижные премии). Тогда я спросил Адяна видел ли он какое-либо письменное изложение подобной идеи где-то. Он ответил: «нет, не видел».

Вероятно, многие ученые приходили к подобной идее. Однако, согласно Адяну, данная работа впервые представляет подобную идею в написанной форме. Вдобавок, дается также свод правил по практическому использованию этой идеи.

Позднее в 2013-ом году, уже работая в знаменитом UniversityCollegeLondonя представил эти идеи декану этого университета. Он распространил мои заметки среди всех деканов математических факультетов университетов Лондона и началось обсуждение моих идей. Контактировали в основном через телеконференции. В конце концов пришли к заключению: критика нынешнего состояния блестящая (деканы использовали слово “brilliant”). Предложения очень разумные, но, чтобы реализовать план и внедрить систему в Англии, нужно чтобы в королевском совете нашлись люди поддерживающие эти идеи. А для этого нужно было, чтобы несколько лауреатов нобелевской премии поддерживали эти идеи в отмеченном совете.  Как сказали деканы их мощи недостаточно, чтобы продвинуть эти идеи.

В третий раз я представил эти идеи в академии наук Грузии. Меня пригласил и разрекламировал мои идеи академик В. М. Кокилашвили: Академик-секретарь Отделения математики и физики Национальной академии наук Грузии. Заседание состоялось в овальном здании академии Грузии, где было больше 200 человек (даже стулья заносили из соседних комнат).

В конце моего доклада ко мне подошли два человека и сказали: “мы думали, что Вы будете говорить о каких-либо индексах-цитирования, а оказалось, что Вы представили что-то существенно новое. Я не знал их: оказалось это были вице-президент и ученый-секретарь академии.

Затем, в последнее время я предложил чиновникам в академии Армении устроить семинар, где я изложу эти идеи.

Мне даже не ответили; как будто ничего не слышали.

Очевидно, что есть “выгодополучатели”, для которых ненавистны любые правила; они благоденствуют и извлекают максимум для себя именно при отсутствии правил.  

 

 

Абстракт.

В данной работе предлагается некая схема оценок работ в фундаментальных науках. Основная идеяв духе «старых добрых времен» -  сопоставить данную научную работу с классическими в данной области работами.Это конечно предполагает, что мы должны, во-первых, определить, что такое «классический» или базисный результат и,далее,должны определить понятие расстояния данной новой работы в данной области науки от классических в этой области результатов.

Главное преимущество новой схемы в том, что она оперирует только такими понятиями, которые можно измерить; соответственно появляется возможность проверить правильность научной оценки и аргументировано опротестовать оценку.

Это выгодно отличает новую схему от используемой в настоящее время которая оперирует весьма “туманной” терминологией.

(Например, сейчас повсеместно оперируют понятиями “работа очень хорошая” и “работа отличная”. Попробуйте опротестовать решение рецензента, который выбрал одну из двух подобных оценок! Это невозможно именно в силу неопределенности терминологии). Заметим, что большинство грантов и премий, даже в Европе и США, дается именно с использованием подобной туманной шкалы. Допустимо ли это !?)

Вопрос существенного пересмотра или, во всяком случае, корреляции современной системы оценок работ назрел уже давно: действующие в настоящее время различные индексы, создают исключительно вредную для науки суматоху и неразбериху.

Применение свода правил дает также другие преимущества. Среди них отметим, что выделяя общие ценности в данной области мы фактически осуществляем систематизацию знаний в данной области,а рассматривая новую работу мы как бы определяем ее место в общей картине.

Конечно же любая предлагаемая новаясхема оценок затрагивает различные аспекты: социальные, научной политики и финансирования науки и, даже, геополитические.

Поэтому я не надеюсь, что где-либо предложенная схема заработает сразу.  Но приводимый в статье анализ показывает (надеюсь убедительно), что предложенная схема имеет определенные неоспоримые преимущества. Это позволяет надеяться, что применение, хотя бы в урезанном виде, предложенной схемы в любом сообществе, стране или большой научной структуре), приведет к позитивным переменам.

 

 

Содержание.

§1. Социальная мотивация возникновения действующей системы оценок работ.

§2. Критика расплывчатости терминов оценивания и критика переоценки роли индексов цитирования.

§3. Свод правил.

Комментарии:(а) отношение к идее «свода правил» различных ученых; (б) преимущества его использования; (в) необходимость перехода к новой системе оценок; (г) США и Европа выиграют если сами инициируют подобный переход.

 

§1. Социальная мотивация возникновения действующей системы оценок работ.

До середины 20-го века в оценках научных работ был «богоданный порядок» когда каждая работа получала примерно ту оценку которая она заслуживала. (Конечно были отклонения, но они были единичны и, в целом, терпимы для научного сообщества).  Этот порядок был следствием счастливого стечения нескольких обстоятельств: (а) во первых наукой занимались тогда в большинстве люди, воспитанные в добропорядочности; (б) был определенный баланс между количеством тематик и количеством занимающихся ими ученых; (в) это было время когда новые направления в науке создавались исходя из потребностей науки и, соответственно, базисные результаты новых направлений были действительно «классическими».

(Понятно, что определять что такое классика дело непростое и неблагодарное; к любому  определению может быть предложено некое дополнение). Я понимаю под классическим результат, который является (а) существенно новым на момент появления, (б) имеет общий характер (то-есть он описывает основной, базисный обьект данной науки) или ведет к последствиям общего характера, (в)  описывает изучаемое явление в естественных и возможно простыхтерминах. Легко видеть, что результаты полученные до середины 20-го века, которые мы сегодня котируем как классические, именно таковы).

В последующие годы мы пришли к ситуации, когда термин "классика" девальвирован: Сегодня "новый" может означать просто результат который не совпадает со старым, а общность результатов и естественность исследовательских терминов практически преданы забвению. Специалисты высокого класса все еще ориентируются на эти понятия, но в опросниках (скажем рецензентам) эти пункты почти не встречаются.

Легко понять, как и почему мы пришли к подобной ситуации.

Я выделяю здесь две основные причины (на самом деле их больше).

Причина первая. После 1950-х появилось множество университетов, научных институтов, организаций и крупных центровв разных странах. Все эти учреждения тратили огромные деньги и все они были заинтересованы в своих “собственных выдающихся ученых”. Как следствие появился определенный дисбаланс: количество специалистов, затребованных как “выдающихся” или “классиков” оказался намного выше, чем количество специалистов,имеющих классические результаты. Тем самым появилась необходимость пересмотра понятия “выдающийся ученый” или “классик”.Теперь уже социальная позиция специалиста начала определять его научные достоинства, а не наоборот.

Причина вторая. Оценки работ научных исследований превратились сегодня в сферу деятельности, серьезно финансируемую правительствами. Целью подобной деятельности должно было быть способствование развитию науки через распределение финансов (для научной работы, проектов, премий и т.д.) Но, любая сфера, связанная с распределением финансов, испытывает сильный лоббинг различных сил, имеющих весьма различные интересы. Это не обошло также «индустрию» оценок работ научных исследований, в которой появилась внутренняя бюрократия, и, соответственно, внутренние цели подобной бюрократии, весьма далекие от целей науки. Значимость “бюрократии”, ничего не понимающей в науке могла резко возрасти только при наличии какой-либо системы, где данный бюрократ мог манипулировать научными понятиями чисто арифметически.Это в большой степени способствовало внедрению различных «индексов».

 В силу отмеченных причин многие силы (руководители больших научных коллективов, правительственные чиновники, и чиновники, работающие в сфере оценок работ) оказались заинтересованными в установлении современной системы оценок работ, основанной не на научных достоинствах работ, а на учете различных индексов.

Как результат мы пришли к ситуации, когда вековые хорошие наработки в науке оказались преданными забвению.

 

§2. Критика расплывчатости терминов оценивания и критика увлечения индексами цитирования.

В современной системе оценок работ в фундаментальных науках(в дальнейшем “Система”)ключевыми являются два основных пункта: (а) у известных специалистов запрашивается «мнение» или «впечатление» о данной работе и (б) учитываются различные индексы цитирования. Оба отмеченных пункта необходимо учитывать при любой «Системе». Однако, в том виде как они применяются сегодня они вредны для науки и их дальнейщее применение может привести к катастрофе. 

Ниже даются пояснения по пунктам (а) и (б).

 

2.1.Критика использования расплывчатой терминологии.

В “Системе” мнения известных специалистов запрашиваются в такой форме (я и мое окружение видели только такие), что во многих случаях ответы на них не могут быть проверены или измерены каким-либо образом. Соответственно результаты экспертизы невозможно оспорить или опротестовать: ведь в ответах нет конкретики - это просто «мнение» или «впечатление» данного известного специалиста.

Вначале приведем некоторые ситуации показывающие, что понятия, используемые в “Системе” при оценках, не могут дать сколь либо реальную картину. 

Ситуация 1 (встречается довольно часто). Часто используются двоичные оценки: «хорошо» и «плохо». Каждое из этих понятий покрывает половину (или 50%) всего возможного спектра. Положим, что каждый аспект рецензируемой работы оценивается при «хорошо» как 1 и при «плохо» как 0. Очевидно, что в правильной системе некая средняя работа должна получить по сумме всех возможных пунктов около 50%. Но при двоичных оценках любое отклонение от середины приводит либо к 0, либо к 1 (другого выбора нет) так что в итоге данная работа может получить как 100% так и 0%. Ну не абсурд ли все это? 

Ситуация 2 (встречается очень часто). Рассмотрим некую работу, в которой повторяются известные ранее результаты с незначительными дополнениями. Один рецензент может классифицировать эту работу как нечто новое (формально он будет прав поскольку выводы работы отличаются от выводов предыдущих работ). Другой рецензент может подчеркнет, что эта лишь модификация (и он тоже будет прав поскольку работа, по существу, повторяет старое). В результате окажется огромная разница в оценке работы.

Ситуация 3 (широко используется повсеместно). Например, Европейский НаучныйСоветпредлагает рецензентам (грантов FP7 и Marie CurieAward) оценивать работу на «очень хорошо»когда “предложеная работа отвечает критериям очень хорошо, хотя некоторые улучшения по-прежнему возможны” ипредлагает оценивать на «отлично» когда “предложения работа успешно решает все соответствующие аспекты и недостаки незначительны”. Может кто-либо пояснить где граница между этими понятиями !? При применение подобных расплывчатых определений рецензируемые работы можно одинаково легко оценить как «очень хорошо» так и «отлично». Притом заметим, что отмеченная ситуация относится к самому ответственному моменту так как обычно при оценке “отлично” получают грант, а при “очень хорошо” не получают.  Таким образом многие решения грантующих организаций (в частности Европейского Научного Совета) могут быть поставлены под сомнение.

Раньше о хороших работах говорили, что они существенно новые или завершенные и, очень редко, что они фундаментальные. С течением времени это понравилось многим, и они стали с легкостью навешивать подобные ярлыки в случаях, когда оценщикам было это выгодно. Далее, чтобы отличить действительно существенно новые результаты от менее новаторских стали придумывать новые термины: пионерская, (groundbreaking или breakthrough). С течением времени эти термины устареют и будут придуманы новые. Соответственно будет происходить дальнейшая “девальвация” используемых терминов. Все это очевидно: в мире постоянно появляются новые центры (также в новых странах) и, как соответствующие специалисты, так и чиновники, и правительства заинтересованы иметь своих собственных «знаменитостей”.

Вывод: терминология, используемая в «системе», нуждается в существенном пересмотре.

1. Критика использования шкалы оценок в «Системе».

Недавно мне привели пример, когда оценка заявки одного специалиста, подавшего на грант, была 83,2% а другого 83,5%. Разность в 0,3% оказалась решающей и второй получил грант, а первый не получил ничего. Анализ ситуации выявил следующее. Тот который получил грант выдвинул обобщательскую (легкую) задачу которой занимались многие. Вследствие чего его «background» и «индекс цитирования» выглядели внушительно. Тот, кто не получил грант, выдвинул новаторскую задачу, которой никто еще не занимался и соответственно не имел надлежащие «background» и «индекс цитирования».  Между тем ясно, что обобщательские и новаторские постановки нельзя даже сопоставлять. На самом деле работы делятся на типы (категории) и надо, в первую очередь выявлять эти типы: например, работа относится к базисным (не базисным) объектам, работа новаторская (не новаторская) и так далее.

Выводы. Сначала нужно выделить типы (категории) работ и, только потом уже, вводит шкалу в одном и том же типе. Сопоставлять между собой можно только работы одного и того же типа.  Нельзя сопоставлять между собой базисный результат (относящийся к широкому классу явлений) и не базисный результат; нельзя сопоставлять между собой новаторский и «обобщательский» результат. Оценки типа 83,2% и 83,5% просто абсурдны при сопоставлении работ различных типов.

2.3.Влияние известности и/или принадлежности к какой-либо группе.

Когда в науку стали вкладыватьогромные средства и деятельность в науке стала приближаться к деятельности в бизнесе с, весьма характерным для бизнеса, вытеснением конкурентов и групповщиной. Это не могло не сказаться на оценках научных работ, которые стали сильно зависеть от “человеческого фактора”.

Повсюду, в борьбе за «место под солнцем» выдвигают своих и удаляют чужих.  То же в науке: группировки стали неправомерно восхвалять «своих» и игнорировать «чужих». Часто работы «чужих» просто замалчивались (их просто не замечали). Это привело к абсурдной ситуации в 1980-х: оценки одной и той же работы даваемые различными группировками стали сильно отличаться (одна и та же работа восхвалялaсь одними и игнорировалась или полностью замалчивалась другими).

Продолжим обсуждение.Много ли людей, которые открыто выскажут свое негативное мнение о работе “знаменитого” специалиста-работающего в известном центре, который, к тому же, “близок” к большим грантам, известным журналам, известным группировкам ученых? Игры с мнениями могут иногда дойти даже до фарса. Широко известны случаи, когда научные знаменитости шутили с научным сообществом: они специально писали полностью бессмысленные, абсурдные статьи и немедленно появлялись восхищенные последователи, которые заявляли, что эти абсурдные статьи являются новым словом в науке, называли эти работы «groundbreaking», «pioneering» и так далее).

Вывод: в используемой в настоящее время «системе» непомерную и отрицательную роль играет «человеческий фактор». Соответственно одной из основных задач которые должна решить новая система является минимизирование этого фактора.

2.4. Критика увлечения индексами цитирования: социальные и психологические аспекты.

Отмеченный «человеческий фактор» не могне иметь самого прямого воздействия на индексы цитирования«игры» с которыми стали популярны с  1980-х годов. Предполагалось, что высокий индекс цитирования данной работы (или журнала, где работа опубликована) является свидетельством  высокого уровня данной работы. Подобная позиция была раскритикована тысячами специалистов во многих странах, которые отмечали недостатки подобного подхода. Со своей стороны добавлю следующее. Раз существуют отмеченные группировки (никто этого не отрицает) никто не может помещать этой группировке искуственно повышать индекс цитирования своего человека и понижать индекс цитирования чужого. Иногда неправомерное повышение или понижение может возникнуть даже непреднамеренно: ведь ясно, что люди учитывают кто и где работает (известный или малоизвестный университет или научное заведение), учитывают кто сидит на высоких должностях, комиссиях, редакциях, кто имеет доступ к богатым грантам, кто раздает премии и тому подобное. Очевидно любой считает нужным цитировать людей «популярных» (не цитировать их просто опасно) в то время как цитирование «непопулярного» может рассматриваться как «дурной тон» (ты свидетельствуешь, что ты симпатизируешь второсортной науке). Таким образом абсурдность «игр с цитированием» очевидна. В реальности не видно как учитывать воздействие отмеченных факторов. Ясно, что индекс цитирования почти любого специалиста был бы иным без воздействия отмеченных факторов [1].

2.5.Опасность для науки «игр с цитированием».

Начну с теоремы Грина, которая являлась существенной новостью в свое время и которая  составляет сегодня основу для ряда разделов математики и теоретической физики. В течение 20-и лет никто ее не цитировал. (Заметьте, по сегодняшним меркам Грин считался бы неудачником.) Подсчитано, что нужно примерно 20 лет, чтобы что-то существенно новое стало обиходным; то есть в течение этих 20-и лет подобные ученые не будут иметь высокий индекс.

Вывод: Нужно очень осторожно оценивать новизну, соотвественно принимать в расчет индексы новаторских работ. (Здесь могут быть просто передергивания фактов, но ведь могут быть также «теоремы Грина».)

 

Ясно, что ученые, работающие в одиночку (как многие истинные творцы!) не будут иметь сколь либо значительный индекс и, соответственно, рейтинг. Такие ученые не на виду и их просто не заметят при нынешней “системе”. Они получат шанс быть замеченными только когда примкнут к какой-либо известной группировке.Но в любой группировке есть своя внутренняя иерархия и включение нового сильного специалиста в нее может породить нежелательные внутренние проблемы. Так что это тоже не просто.

Таким образом те ученые, которые годами оттачивают все детали своего произведения, добиваясь простотыи совершенства, те,кто работают часто в одиночестве,и те,кто не интегрируются в известные группировки имеют очень мало шансов иметь высокий индекс цитирования.

То есть значительная часть истинных творцов будут в самом плохом положении в смысле этого индекса.

То же верно для тех ученых, которые открывают существенно новые направления: ведь требуется время для признания.

То же верно для ученых, которые завершают старые направления.

Приведу одно наблюдение. Лет 20 назад одно созвездие Европейских знаменитостей изучало некую проблему: каждый из них получил гранты и все они существенно повысили на данной проблеме свои «рейтинги» и «индексы» публикаций и цитирований. Конечную точку в этом круге задач поставил один начинающий ученый который на трех страницах дал доказательтсво всех предыдущих результатов и решив все поставленные до него в этом направлении проблемы. Я специально прослеживал цитирования этой работы на протяжении ряда лет: только два цитирования. То есть тот,кто сделал наиболее значительный вклад,«заработал» ничтожный индекс (в то время как его предшественники существенно повысили свои индексы).Кстати случай довольно типичный: задача то закрыта, кто же будет цитировать последнего автора кто сделал наибольщий вклад!?

Вывод: «Система» неблагоприятна для широких слоев ученых, которые вносят наибольший вклад.

Кто же выигрывает с «индексом», иначе кто быстро набирает сегодня высокий индекс? Это те кто:(а) не выдвигает существенно новые идеи (чтобы «переварить» новые идеи и сделать работу в новом направлении требуется время);(б) делает работы в довольно известной области (так что многие знают эту область);(в) делает довольно доступные работы (так что многие могут легко примкнуть к ним) и, обязательно, (г) те кто включены в какую либо более или менее известную группировку (иначе никто не будет заинтересован в цитировании работы). С «индексом» часто выигрывают хорошие бегуны, пригающие туда-сюда, хватающие чужие идеи и быстро конвертирующие их в собственные работы.

Вывод: «Система» и индекс цитирования поощряют «гонку» за индексами и рейтингами, а не настоящее творчество.

 

Сегодня весь этот абсурд приобретает новые формы. В последние 20 лет многие редакции национальных научных журналов включились в борьбу за повышение индекса своего издания.  Они представляли различные свидетельства значимости их работ и, ясно, со временем подобные издания были включены в список «привилигированных».  Это привело к тому, что индекс тех кто публиковался ранее в подобных журналах резко возрос. Но это было недопустимо с точки зрения представителей известных западных журналов. Тогда в обиходе появились новые типы индексов, «H», «Z»и так далее, (которые высоки для представителей западных журналов и низки для других). Кажется сейчас все двигается в направлении дальнейшего усложнения индексов.

 

В чем же дело? Неужели нельзя выработать систему оценивания, которая работала бы надлежавшим образом? Я думаю, дело не в том, что предложить такую систему трудно. Причина в другом. Все ожидают, что реформы такого рода должны осуществлять именно специалисты имеющие ключевые позиции в организации рецензий и распределении финансов. Но подобные специалисты как правило успешны в «Системе», которая является довольно комфортной для них. Они не заинтересованы персонально в реформах и нельзя ожидать, что они будут инициировать реформы, ограничивающие их же возможности.

 

продолжение следует

 

 

---