LINUX.ORG.RU

Диссернету нужна помощь со скачиванием диссертаций для проверки

 ,


5

3

Update: К сожалению НЭБ ужесточила слежку, так что бан выдаётся через два часа активности. Пока не найдено какое-то другое решение отбой.

P.S. Поставьте тег диссернет в избранное, чтобы быть в курсе если возникнет какая-либо полезная информация. ☺

Нужна помощь сообществу Диссернет в выкачивании диссертаций из НЭБ (Национальная Электронная Библиотека).

Диссернет занимается проверкой диссертаций «на вшивость». К сожалению вшивость местами такова, что относительно небольшое число активистов и автоматизация процесса позволяет вычислить большую часть списанных/купленных/украденных диссертаций, но для этого нужен доступ непосредственно к самому их тексту. Причём доступ нужен не только к проверяемым диссертациям, но и ко всему массиву имеющихся для поиска зависимостей в тексте.

Что необходимо:

  • Умение и возможность запускать скрипт python на долгое (несколько суток) время на десктопе/ноутубке/через что-нибудь вроде x2go, так как используется API firefox для симуляции человека.
  • Регистрация на сервисе Госуслуги. Это необходимо для авторизации, которая делается вручную один раз на запуск скрипта.

Последствия:

  • У вас забанят просмотр текстов на сайте НЭБ. Вы больше не сможете просматривать имеющиеся там доступные для граждан РФ и оцифрованные на их налоги текстовые ресурсы.

Меня забанили после выкачивания примерно 500 диссертаций. Забанили всех, кто использовал скрипт в течении недели от начала кампании по выкачиванию. Сейчас интервал забана от момента запуска скрипта уменьшился до пары суток. Это порядка 100-150 выкаченных диссертаций. Банят и по IP, и по логину. На мой запрос в службу поддержки стоит внезапно ожидаемая тишина.

Что можно сделать:

  • Написать мне по e-mail упомянутом в моём тутошнем профиле и я по запросу вышлю скрипт и инструкцию (работоспособность проверялась на ноутбуке с Ubuntu 18.04), а также договоримся как будет передан результат.

P.S. IMHO мошенникам должно икаться. Сами они это за нас не сделают.

★★★★★

Ответ на: комментарий от alex-w

Давайте не передёргивать: отношение к астрологии в любом месте примерно такое же как к путинской теологии — это средневековое окаменевшее фуфло, которое не имеет к науке никакого отношения. Обратное отношение сразу характеризует уровень дискутанта как неадеквата.

Evgueni ★★★★★ ()

Регистрация на сервисе Госуслуги.

У меня есть акк в библиотеке не привязанный к госуслугам, я даже могу читать там Пушкина, как мне проверить могу ли я скачивать диссертиции?

ya-betmen ★★★★★ ()
Ответ на: комментарий от ya-betmen

Я спрошу. Дам знать как получу ответ. Здесь я транслирую требования, которые выставили мне.

P.S. скрипт какой-то время тестировался, но весьма далёк от совершенства, так как автор (если я правильно подозреваю кто он) далеко не информатик.

Evgueni ★★★★★ ()
Последнее исправление: Evgueni (всего исправлений: 3)

Последствия:

У вас забанят просмотр текстов на сайте НЭБ. Вы больше не сможете просматривать имеющиеся там доступные для граждан РФ и оцифрованные на их налоги текстовые ресурсы.

Подозреваю, что так вы слона не продадите.

intelfx ★★★★★ ()
Ответ на: комментарий от intelfx

Скажите честно: вы слышали о существовании НЭБ до этого? Искали ли там хоть что-то?

Я вот нет и нужность этого ресурса кроме как для скачивания диссертаций, которому они всячески противодействуют на уровнях начиная от дирекции (как минимум не способствуют ибо с ними на эту тему велись переговоры), у меня вызывает вопросы.

Evgueni ★★★★★ ()
Последнее исправление: Evgueni (всего исправлений: 1)
Ответ на: комментарий от Evgueni

Как изменилось бы ваше отношение, если бы диссертация вашего коллеги не прошла проверку на оригинальность?

Leupold_cat ★★★ ()
Ответ на: комментарий от Leupold_cat

Отношение к чему?

И да, я крайне отрицательно отношусь к любой форме списывания в том числе и во время обучения.

Evgueni ★★★★★ ()
Последнее исправление: Evgueni (всего исправлений: 2)
Ответ на: комментарий от qulinxao3

такая задача явно не стоит - ибо для этого в реальности нужно сократить число должностей на которые пререквизитом служит наличие степени

На таких должностях, где степень реально необходима, смотрят на публикации. А покупают их в основном для престижа.

Axon ★★★★★ ()
Ответ на: комментарий от Evgueni

Давайте не передёргивать: отношение к астрологии в любом месте примерно такое же как к путинской теологии — это средневековое окаменевшее фуфло, которое не имеет к науке никакого отношения. Обратное отношение сразу характеризует уровень дискутанта как неадеквата.

Т.е. теология на Западе - это нормально и хорошо, а теология в России - это средневековье и плохо? Я полный профан в теологии и х.з. что там вообще есть, но покажите мне ведущие университеты Европы, где нет теологических факультетов. В случае США да, там много университетов без теофаков. Причём тут вообще Путин? Если в НГУ откроется теофак или даже теокафедра, то значит ли это, что ты сразу превратишься в псевдоучёного?

alex-w ★★★★★ ()
Ответ на: комментарий от alex-w

Нет конечно. Теология и путинская теология близнецы и братья. Только в первом случае принято стыдиться пережитка, а во втором случае новодела.

Если я займусь теологий, то я стану лжеучёным, но наличие лжеучёных неподалёку, даже на руководящих ролях и даже в минобразине (то, во что она преобразилась), не делает меня таковым, так как данный признак не наследуется по иерархии и не передаётся воздушно-капельным путём.

И да, давайте не передёргивать: залить дерьмом можно любое хорошее дело, чем путин с его теологией с неизменным успехом и занимается.

Evgueni ★★★★★ ()
Последнее исправление: Evgueni (всего исправлений: 3)
Ответ на: комментарий от Leupold_cat

Если коллега списал, то я буду относиться к нему, как к списавшему. Если коллега смошенничал, то я буду относиться к нему как к мошеннику. Если коллега украл, то я буду относиться к нему как к вору. КО

Evgueni ★★★★★ ()
Ответ на: комментарий от peregrine

Была такая история в 90е в одной из областей математики на постсоветском пространстве. Один талантливый учёный и организатор науки А защитил докторскую, а потом явился некий Б и заявил что А у него упер основные результаты. Сейчас это трудно, поскольку все результаты должны быть опубликованы до защиты, как тогда было не знаю.

Собралась комиссия и устроила экзамен, им обоим предложили эти результаты получить используя только бумагу и карандаш. А не справился, Б справился легко. Чем все кончилось в деталях не помню, помню что у А были серьезные проблемы. В интернете следов не нашел.

AntonI ()
Ответ на: комментарий от Evgueni

Ещё раз: Никто не мешает вам проверить это самостоятельно. Эта деятельность исключительно волонтёрская и никакого профита кроме морального удовлетворения активистам не даёт.

Я как раз о моральной и этической стороне дела экспертов диссернета. На сайте диссернета написано:

Эксперты «Диссернета» проводят анализ каждой исследуемой работы с использованием программного комплекса, в составе которого имеется ключевой компонент, получивший название “диссерорубка профессора Ростовцева”. В ряде случаев используются также возможности сервиса «Антиплагиат».

Я лично этого скрипта на perl никогда не видел (видел только пространные описания, что он проводит анализ и сравнение текста) и как он работает доподлинно не знаю. Просто засунуть текст в антиплагиат очевидно не является тут решением, потому что если в антиплагиат (бесплатный тариф) засунуть докторскую диссертацию Ростовцева, то окажется, что у неё оригинальность составляет 78,13% - означает ли это, что почти на четверть она списана? На мой взгляд нет, т.к. найдены пересечения с авторефератом этой диссертации, с другой стороны я не использовал базу той же РГБ для более глубокой проверки.

alex-w ★★★★★ ()
Ответ на: комментарий от AntonI

Это крайне уникальные ситуации и все они разруливаются в индивидуальном порядке. Можно ещё вспомнить историю Ньютона и Гука.

К сожалению то, что мы наблюдаем, весьма далеко от такой уникальности.

Evgueni ★★★★★ ()

а как сообщество договаривается, чтоб повторно одно и то же не выкачивать?

anto215 ★★ ()
Ответ на: комментарий от alex-w

Ещё раз: перед выкладыванием результатов в открытый доступ, они проверятся вручную. Выложенные результаты _каждый_ может самостоятельно проверить. Там всё для этого есть aka совпадающие фрагменты и источники. Иными словами результаты свободны для анализа в полном смысле этого слова. Если вы нашли какие-то неувязки в результатах, то вы смело можете на них указать так же открыто или в поддержку сайта по желанию. Это относится как к результатам по диссертациям, так и к результатам по статьям.

Evgueni ★★★★★ ()
Ответ на: комментарий от ya-betmen

У меня есть акк в библиотеке не привязанный к госуслугам

А как Вы его получили?

AntonI ()
Ответ на: комментарий от anto215

Есть список и таблица с расписанными по волонтёрам диапазонами. Я выдаю интервалы из своего диапазона. Если кто-то сам будет готов организовать волонтёрскую микросеть, то я свяжу его с лидером проекта и они уже договорятся.

Evgueni ★★★★★ ()
Последнее исправление: Evgueni (всего исправлений: 1)
Ответ на: комментарий от Evgueni

Нет конечно. Теология и путинская теология близнецы и братья. Только в первом случае принято стыдиться пережитка, а во втором случае новодела.

Вот только в Европе теологии не стыдятся, вообще. Надо ли тут поминать, что кафедру теологии в МИФИ радостно открывали физики-ядерщики? И было это при министре ммнобрнауки - физике. Или хочешь сказать, что это Путин пришел в МИФИ и лично приказал (наверное ещё и запугивал при этом или вообще в рабство взял всех учёных) изучать божественные частицы? Может всё же не надо огульно идиотизм на местах перекладывать на президента. Или может я что-то не знаю и НГУ таки руководит лично Путин? Ведь при таком раскладе и все заслуги нужно Путину приписывать.

И да, давайте не передёргивать: залить дерьмом можно любое хорошее дело, чем путин с его теологией с неизменным успехом и занимается.

Ну так зачем сами приплетаете Путина ко всякому столбу и льёте дерьмо? Или может кто-то сильно скучает по временам «отличного» развития наука при Ельцине (сарказм)?

alex-w ★★★★★ ()
Ответ на: комментарий от Evgueni

Так, стоп! Евгений, ты в числе экспертов или ты просто волонтёр, который делает черновую работу по извлечению диссертаций и передачи их экспертам? Если второе, то все вопросы снимаются.

alex-w ★★★★★ ()
Ответ на: комментарий от alex-w

Вот только в Европе теологии не стыдятся, вообще.

Стыдятся. Со времён средневековья прошло много времени. Хотя согласен, что у некоторых личностей мышление осталось на том же уровне, но мы их и не уважаем.

Ну так зачем сами приплетаете Путина ко всякому столбу и льёте дерьмо?

Теология была введена с его подачи во время его царствования, так что это он сам на себя дерьмо вылил. Никто его это делать не заставлял.

Evgueni ★★★★★ ()
Ответ на: комментарий от Evgueni

это средневековое окаменевшее фуфло, которое не имеет к науке никакого отношения.

Мне на голову как то нагадил голубь, сразу по выходу из дома. А вернутся некогда, важная встреча на физфаке. Бегу я к автобусу вытирая шевелюру платком, сел в автобус, звонит жена - я ей жалуюсь, вот голубь какая скотина… - Так это у деньгам говорит, не расстраивайся!

Через 15 минут звонит Заказчик - у нас с вами договор на техподдержку не закрыт, срочно пишите отчёт, конец года же! А я про договор этот напрочь забыл…:-)))

AntonI ()
Ответ на: комментарий от Evgueni

Теология была введена с его подачи во время его царствования, так что это он сам на себя дерьмо вылил. Никто его это делать не заставлял.

Да ну? А вот на сайте этой же самой кафедры в истории её появления что-то совсем другое написано.

Я так понимаю, что во всех изменениях XXI века в НГУ тоже лично Путин виноват…

alex-w ★★★★★ ()
Ответ на: комментарий от AntonI

Хм, по идее простая рега (но я не пробовал и не знаю как оно с других ip выглядит, мой российский и белый). Меняя ip и аккаунты можно всё выкачать.

peregrine ★★★★★ ()
Последнее исправление: peregrine (всего исправлений: 1)
Ответ на: комментарий от alex-w

Теологию обличили государственным научным статусом в России именно при путине, так что это его личная (одна из, но ядрёная) бочка с дерьмом, так что ему не отмыться как бы вы не выкручивались. Оно уже прибито к канве истории. Хотя мне нравится, что вы согласны с тем, что теология — это дерьмо.

Evgueni ★★★★★ ()
Последнее исправление: Evgueni (всего исправлений: 2)
Ответ на: комментарий от Evgueni

Если коллега списал, то я буду относиться к нему, как к списавшему.

Полагаю, это ничего не меняет.

Leupold_cat ★★★ ()
Ответ на: комментарий от Leupold_cat

Если я и ранее отрицательно относился к коллеге, то, да, не меняет.

Я крайне отрицательно отношусь к списыванию в любых его формах.

Evgueni ★★★★★ ()
Ответ на: комментарий от Evgueni

Я задал этот вопрос, потому что мне было интересно, как будет выглядеть изгнание из научного сообщества. Судя по всему, ничего в отношениях «списавшего» с коллегами, как представителями этого сообщества, не изменится.

Leupold_cat ★★★ ()
Ответ на: комментарий от Leupold_cat

Изменится, конечно. Люди будут стараться поменьше контактировать с таким «коллегой», как в научном плане, так и в человеческом.

Sahas ★★★★★ ()
Ответ на: комментарий от Evgueni

Теологию обличили научным статусом в России именно при путине, так что это его личная (одна из, но ядрёная) бочка с дерьмом, так что ему не отмыться как бы вы не выкручивались. Хотя мне нравится, что вы согласны с тем, что теология — это дерьмо.

Странные вы люди. Евгений, я же отлично помню, как у нас очень многие учёные требовали сделать у нас науку и образование таким, какое оно есть в «цивилизованных странах», даже в Болонскую систему для этого влезли. Причём требовали зачастую «выкинуть всё советское и поставить всё западное». Ну так вот, на Западе теология всегда была наукой и на очередной итерации синхронизации номенклатуры научных степеней теология стала наукой и у нас. И теперь эти же самые учёные исходят на дерьмо за теологию. Не замечаете тут проблем логикой?

Я не знаю теологию (знаю только на уровне википедии) и без понятия - наука это или нет, поэтому я не готов сказать, что объективно она дерьмо. А если спустится до личных оценочных суждений, то на мой взгляд наряду с теологией дерьмом является и экономика, впрочем почти как и все остальные общественные науки.

P.S. Я тут даже специально уточню - учёные сами требовали синхронизации номенклатуры учёных степеней с «цивилизованными странами» и Путин тут вообще не при делах. И для меня весьма странно видеть перекладывание вины за своё дерьмо на «соседа».

alex-w ★★★★★ ()
Последнее исправление: alex-w (всего исправлений: 2)

Чёт я не до конца понял. Там где цветом помечено значит была копипаста то есть списывание с других диссертаций без указания источника?

LINUX-ORG-RU ★★ ()
Ответ на: комментарий от alex-w

Странные вы люди. Евгений, я же отлично помню…

Давайте с воображаемыми учёными в своей голове вы будите спорить сами, а мне ваши фантазии больше приписывать не будете. Путинская теология — это бочка с дерьмом как она есть и это уже записанный в скрижалях факт. dixi

Evgueni ★★★★★ ()
Ответ на: комментарий от LINUX-ORG-RU

Да. Если кликнуть на номере страницы, то там будет сравнение с источниками. Можете проверить самостоятельно и составить своё мнение: было ли это заимствование добросовестным (типа забыл) или только мясо на конфеты поменяли (вполне реальные кейсы). И как бы да, белый цвет не значит, что там всё чисто — просто совпадений не найдено.

Evgueni ★★★★★ ()
Последнее исправление: Evgueni (всего исправлений: 1)
Ответ на: комментарий от LINUX-ORG-RU

Чёт я не до конца понял. Там где цветом помечено значит была копипаста то есть списывание с других диссертаций без указания источника?

Не всегда. Зачастую это копипаста с другого источника с указанием оного, но без должного внимания к деталям реализации (т.е. ссылки неверно оформлены). Причём зачастую в «цветную» область могут попасть и «кописаста» со своих же работ. Там на сайте у них немного деталей на эту тему есть, но подозреваю, что довольно часто это результат забивания на ГОСТ при оформлении ссылок.

P.S. Кстати, а ведь есть ГОСТ 2018 года на оформление библиографии… ;)

alex-w ★★★★★ ()
Ответ на: комментарий от alex-w

но подозреваю

Неа. Но вы можете проверить и составить своё «экспертное мнение» с объяснениям.

Evgueni ★★★★★ ()
Ответ на: комментарий от peregrine

М.б. там для такой простой реги есть ограничения, типа к диссертациям доступа не дают?

Баны НЭБ могут быть связаны еще и с борьбой с мошенниками - я скажем эпизодически попадаю на сайт где мне предлагают купить текст чьей нить диссертации за 500-1000 рублей. Особенно доставляет когда это моя диссертация или диссертации кого то из коллег;-)

По теме - @Evgueni, дело это благое и даже я бы сказал богоугодное;-) Я готов поучаствовать и даже закинуть просьбу о помощи коллегам, но хотелось бы сначала услышать две вещи:

  1. насколько там обязательна регистраниция именно через госуслуги?

  2. что сказала по поводу банов прокуратура?

В любом случае с моей стороны это быстро не будет, мне придется реанимировать домашний комп и разбираться с тем как скрыть свой IP - у меня все доступные IP статические. Ну так и у диссернета это наверное не сильно горит.

AntonI ()
Ответ на: комментарий от alex-w

А, ну да. Типа это детектор по сути, а далее уже всё равно смотреть надо глазами. Надо для гитхаба такую штуку запилить, кто у кого чего накопипастил 1 в 1 :D

LINUX-ORG-RU ★★ ()
Ответ на: комментарий от alex-w

Кстати да, антиплагиат (насколько я с ним сталкивался, немного) совершенно дурная штука, он реагировал на «заимствования» из своих же работ. Но у диссернета вроде более грамотные критерии.

Про ГОСТы на библиографию лучше не надо, но тут не диссернет и не соискатели виноваты. Моя б воля, я бы вообще все эти диссертации отменил к фигам, это не более чем цвет штанов из кин-дза-дзы.

AntonI ()
Ответ на: комментарий от alex-w

https://trv-science.ru/2015/01/24/universitety-i-teologiya-opyt-sovremennojj-evropy/

Я думаю, вы видите, какие изменения коснулись области академической теологии за последнее десятилетие. В большинстве университетов Западной Европы термин «теология» был заменен полностью или включен в понятие «религиоведение». Эти перемены отражают тот факт, что церковные традиции более не имеют предопределяющего значения при составлении учебных планов. Вместо традиционных факультетов научной теологии и религиоведения на первый план выходят коммерческие учреждения, например, библейские школы, католические духовные семинарии или образовательные курсы для священников. Это происходит на фоне, на мой взгляд, архиважного разделения церкви и государства. Мы должны и можем видеть различия между «государственной теологией» и «церковной теологией», между общественным и личным. Обе науки располагают своим арсеналом средств для превращения научных целей в конкретные методологические подходы, и у каждой из них свой горизонт толкования. Для государственной теологии неприемлем горизонт абсолютной церковной догмы. Для церковной теологии немыслима герменевтика, выходящая за рамки официальной догмы (для Римской Католической церкви) или выходящая за рамки свидетельств библейских текстов для классических протестантов. Безусловно, для концепции либеральной теологии границы между научным исследованием и интерпретацией догмы весьма размыты.

По моему мнению, современные теологические факультеты должны учитывать постоянно изменяющиеся контекст и горизонты реальности. То есть: теология должна рассматривать сама себя как деятельность, направленную на непрекращающуюся интерпретацию существующей меняющейся действительности. У каждой эпохи своя теология. Студенты-теологи поэтому должны уметь: получать информацию и знания из современного контекста, который предопределен научными, экономическими и технологическими характеристиками; рассматривать религиозные традиции с точки зрения герменевтического открытого и критического подхода; дистанцироваться от собственных духовных традиций (равнозначно для всех – атеистов, христиан и т.д.).

greenman ★★★★★ ()
Ответ на: комментарий от Evgueni

Давайте с воображаемыми учёными в своей голове вы будите спорить сами, а мне ваши фантазии больше приписывать не будете. Путинская теология — это бочка с дерьмом как она есть и это уже записанный в скрижалях факт. dixi

О как. Я был о Вас лучшего мнения, но тут Вы себя показали с неожиданной стороны, особенно в выдаче своих фантазий и чаяний за факты.

alex-w ★★★★★ ()
Ответ на: комментарий от AntonI

насколько там обязательна регистраниция именно через госуслуги?

Мне было выставлено это условие, когда неделю назад со мной связались. Я задал вопрос по этому поводу и жду ответа.

что сказала по поводу банов прокуратура?

Понятия не имею, так как вопросов не задавал. Если хочется повыяснять, то никто не мешает забаниться с помощью скрипта и начать квест. У меня есть сомнения, что это даст какой-то положительный результат.

Evgueni ★★★★★ ()
Ответ на: комментарий от alex-w

Евгений всё правильно написал, и человек он известный. А вы, простите, «чьих будете»?

Sahas ★★★★★ ()
Ответ на: комментарий от Sahas

Люди будут стараться поменьше контактировать с таким «коллегой», как в научном плане

То, что кто-то не захочет иметь общие исследования, проекты я еще представить могу, хотя было бы намного интереснее почитать чужое подробное мнение.

так и в человеческом.

А вот то что человеку с ненастоящей диссертацией в спину будут свистеть и руки при встрече не подадут - такого я представить уже не могу.

Leupold_cat ★★★ ()
Последнее исправление: Leupold_cat (всего исправлений: 2)
Ответ на: комментарий от AntonI

Кстати да, антиплагиат (насколько я с ним сталкивался, немного) совершенно дурная штука, он реагировал на «заимствования» из своих же работ.

Это не проблема, так как вам на руки выдаются результат автоматической проверки, а вы их можете прокомментировать. Имеющие доступ к результатам проверки могут это проверить.

Но у диссернета вроде более грамотные критерии.

Там после автоматической проверки перед выдачи результата в публичное пространство идёт ручная, что подобные косяки легко отбрасывает.

это не более чем цвет штанов из кин-дза-дзы.

Вот если бы пацак при появлении малиновых штанов вставлял цак и говорил ку, то аналогия была бы рабочей, а так это IMHO не в ту степь сравнение.

Evgueni ★★★★★ ()
Ответ на: комментарий от Leupold_cat

такого я представить уже не могу.

И зря. Люди они весьма разные существа.

Evgueni ★★★★★ ()
Ответ на: комментарий от LINUX-ORG-RU

Ээээ, а разве для гитхаба это не главная фича? В смысле форки.

Evgueni ★★★★★ ()
Ответ на: комментарий от alex-w

Странные вы люди. Евгений, я же отлично помню, как у нас очень многие учёные требовали сделать у нас науку и образование таким, какое оно есть в «цивилизованных странах», даже в Болонскую систему для этого влезли. Причём требовали зачастую «выкинуть всё советское и поставить всё западное». Ну так вот, на Западе теология всегда была наукой и на очередной итерации

А вы уверены, что это не было следствием лоббирования от одной религиозной организации, которой советы по философским наукам никто бы не дал открыть.

Вообще, я как раз не против отдельного вида наук для этих специальных люлей. Сразу видно кто есть кто.

sergey3000 ()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)