LINUX.ORG.RU
Форум — Talks  

Именем святого рандОма.


0

1 
В современной научной практике критерием для публикации статьи в научном журнале является ее оценка несколькими экспертами в соответствующей области - они читают присланные в редакцию работы и выносят решение, опубликовать их, отвергнуть или отправить на доработку. Эта система не считается идеальной (например, есть мнение, что ей не хватает открытости), однако большинство ученых полагают, что она является достаточно объективной и в целом работает удовлетворительно.

Авторы новой работы решили проверить, насколько система экспертной оценки устойчива к такому фактору как недобросовестные эксперты. Ученые разработали модель, в которую включили пять типов экспертов: правильные (отклоняют плохие работы и принимают хорошие), альтруисты и мизантропы (соответственно принимают или отклоняют все работы), рационалисты (отклоняют работы, которые могут отвести внимание от их собственных исследований) и случайные (принимают решения случайным образом из-за нехватки квалификации или времени).

Исследователи рассматривали схему, когда каждая новая работа направляется на рассмотрение двум экспертам, случайно выбранным из общего пула (внутри экспертного сообщества все типы экспертов представлены согласно гауссовскому, или нормальному, распределению). Работа считалась опубликованной, если оба эксперта давали ей положительную оценку. Если один был против, вероятность публикации принималась за 0,5.

После того как ученые "прогнали" модель для 1000 публикаций, они выяснили, что даже небольшой процент рационалистов и/или случайных экспертов способен существенно ухудшить качество отбираемых работ. Когда соотношение рационалистов, правильных и случайных экспертов в пуле составляло 1:1:1, статьи к публикации принимались фактически по случайному принципу.

http://lenta.ru/news/2010/09/09/peer/

★☆☆

после того, как в одном из таких журналов опубликовали сгенерированный бредогенератором текст, сабж - не новость. А это лет пять назад было, если не раньше.

name_no ★★
()

Между прочим, гранты раздают еще хуже: знакомые фамилии откладываются в стопку №1, конкуренты - в стопку №2, все остальные - в стопку №3. Стопка №2 идет в отказ, №1 - в добро, если количества заявок не хватает, из №3 отбирается случайным образом несколько штук и из них отбираются содержащие название, больше всего понравившееся эксперту.

По-другому никак, т.к. количество заявок на одного эксперта обычно составляет от нескольких сотен до нескольких тысяч, и за отведенное на разбор заявок время он даже не успеет прочитать краткое описание их всех.

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от Eddy_Em

Еще есть черные списки. Если по предыдущему отчету по гранту человек попилил бабло, то грант ему не дадут в след. раз. Причем велика вероятность, что никто не даст. Потому что списками обмениваются. По крайней мере в США так.

hibou ★★★★★
()
Ответ на: комментарий от r_asian

Без грантов ученые склеили бы ласты. А с грантами у нас некоторые даже не знают, какая у них зарплата: выплаты с грантов значительно превосходят ее.

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от hibou

У нас возможны рецидивы по попилу :)

Кстати, на сайте госзакупок тоже есть черный список. Но фирмы-распильщики обычно организуются на один раз - под конкретный заказ. Затем они быстренько сворачиваются, и концы в воду.

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от Eddy_Em

Когда учился, нам рассказывали случай, как один наш чел. на грант купил своей дочке мерседес. Ну и в отчете что-то там сочинил. Грантов больше ему американцы не давали.

hibou ★★★★★
()
Ответ на: комментарий от hibou

Давайте отвлечемся от распилов, и рассмотрим ситуацию, когда действительно приходится придумывать всякую чушь.

РФФИ, например, не разрешает просить грант на работу, уже оплачиваемую из другого гранта. А теперь, представьте: хотите вы создать новую аппаратуру. На разработку уйдет миллиона 3, на построение прототипа - еще столько же, плюс расходы туда-сюда, итого получаем, скажем, 10 миллионов. А учитывая то, что организация, в которой вы работаете, забирает значительный процент с этих денег, просить надо 20 миллионов. 20 миллионов вам под один проект сразу не дадут. Поэтому приходится хитрить: либо называть проект по-разному и просить гранты в нескольких местах, либо же, как обычно и делают, брать грант на какую-нибудь чушь, деньги из него пускать в свой проект, а отчитываться «от балды». И эта система работает.

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от name_no

Было такое, с нашего факультета проф. пофанился :)

silw ★★★★★
()
Ответ на: комментарий от hibou

>один наш чел. на грант купил своей дочке мерседес. Ну и в отчете что-то там сочинил. Грантов больше ему американцы не давали.

ему больше и не надо было :) вообще это неплохая затея - государство в порядке конкурса раздаёт десятку счастливчиков мерседесы\дачи\студии\etc

jcd ★★★★★
()
Ответ на: комментарий от r_asian

> Возникает вопрос: а нужна ли вообще тогда грандообразующая система финансирования науки?

Не нужна, потому что, например, в СССР вся наука более чем успешно развивалась без всяких грандов и по многим позициям опережала мировую настолько, что кое где и сейчас остатки этого опережения имеются. В США гранды тоже особого значения не имели где-то до 70-х годов. В США лунную программу, ядрену бомбь, компьютеры, как-то и без них осилили.

praseodim ★★★★★
()
Ответ на: комментарий от praseodim

В США лунную программу, ядрену бомбь, компьютеры, как-то и без них осилили.

Без грантов ничего бы этого не было. Любая федеральная научная программа представляет собой грант, который какая-нибудь организация выигрывает. В СССР гранты заменяло собой централизованное финансирование, и получить деньги на какой-нибудь интересный проект было еще сложнее, чем при современной грантовой системе.

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от Eddy_Em

> и получить деньги на какой-нибудь интересный проект было еще сложнее, чем при современной грантовой системе.

Да до перестройки на фильтры Петрика финансирование получить было неимоверно сложнее, практически невозможно. Но зато каким потом на современной грантовой системе наука расцвела пышным цветом!

praseodim ★★★★★
()
Ответ на: комментарий от praseodim

При чем тут распил? Я говорю про реальные проекты. Даже в геологии для получения денег на разработку открытого месторождения на какие только уловки не шли (открывали их десятками, а деньги выделялись только на единицы).

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от Eddy_Em

он даже не успеет прочитать краткое описание их всех.

Далеко не везде так.

true_admin ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
Talks