LINUX.ORG.RU

Диссернету нужна помощь со скачиванием диссертаций для проверки

 ,


5

3

Update: К сожалению НЭБ ужесточила слежку, так что бан выдаётся через два часа активности. Пока не найдено какое-то другое решение отбой.

P.S. Поставьте тег диссернет в избранное, чтобы быть в курсе если возникнет какая-либо полезная информация. ☺

Нужна помощь сообществу Диссернет в выкачивании диссертаций из НЭБ (Национальная Электронная Библиотека).

Диссернет занимается проверкой диссертаций «на вшивость». К сожалению вшивость местами такова, что относительно небольшое число активистов и автоматизация процесса позволяет вычислить большую часть списанных/купленных/украденных диссертаций, но для этого нужен доступ непосредственно к самому их тексту. Причём доступ нужен не только к проверяемым диссертациям, но и ко всему массиву имеющихся для поиска зависимостей в тексте.

Что необходимо:

  • Умение и возможность запускать скрипт python на долгое (несколько суток) время на десктопе/ноутубке/через что-нибудь вроде x2go, так как используется API firefox для симуляции человека.
  • Регистрация на сервисе Госуслуги. Это необходимо для авторизации, которая делается вручную один раз на запуск скрипта.

Последствия:

  • У вас забанят просмотр текстов на сайте НЭБ. Вы больше не сможете просматривать имеющиеся там доступные для граждан РФ и оцифрованные на их налоги текстовые ресурсы.

Меня забанили после выкачивания примерно 500 диссертаций. Забанили всех, кто использовал скрипт в течении недели от начала кампании по выкачиванию. Сейчас интервал забана от момента запуска скрипта уменьшился до пары суток. Это порядка 100-150 выкаченных диссертаций. Банят и по IP, и по логину. На мой запрос в службу поддержки стоит внезапно ожидаемая тишина.

Что можно сделать:

  • Написать мне по e-mail упомянутом в моём тутошнем профиле и я по запросу вышлю скрипт и инструкцию (работоспособность проверялась на ноутбуке с Ubuntu 18.04), а также договоримся как будет передан результат.

P.S. IMHO мошенникам должно икаться. Сами они это за нас не сделают.

★★★★★

Последнее исправление: Evgueni (всего исправлений: 10)

Ответ на: комментарий от sergey3000

Этот вывод был сделан из-за отказа показать текст скрипта?

Не только, хотя отказ от публикации и публичной разработки скрипта закачки сам по себе выглядит довольно странно.

Но помимо этого:

  1. Нет публичного доступа к уже собранной диссернетом коллекции исходных и обработанных документов, и как следствие сторонний человек не может провести их собственный анализ. Например студент или разработчик нейросетей мог бы использовать их как базу тренировки нейросетей и поделиться полученными результатами.
    Пример самореклама анализатора исходного кода PVC за счёт поиска ошибок в ядре линукса.
  2. Сторонний человек не может сообщить о своих результатах и провести их публичное обсуждение на форуме с подведением того или иного итога модераторами.(форума с привязанными к конкретным дисертациям конкретными темами нет как такового)
  3. Вообще нет публичного обсуждения анализируемых диссертаций, даже в тех, в которых были выявлены заимствования.
  4. Сторонний человек не может попросить о проверке той или иной диссертации.
  5. Всё это и то, что диссернет построен так, чтобы указывать не на подложные диссертации, а на конкретных людей наводит на мысль что он инструмент политической борьбы предназначенный для дискридитации членов определённого клана, а не исправления ситуации с защитой диссертаций в целом.
  6. Нет списка уже диссертаций с указанием статуса не_выкачена/выкачана/выкачана частично/приоритетное_выкачивание/требуется_обработка/обработана/требуется_анализ/проведён_анализ/нужны_дополнительные_документы(список) и формы для приёмки документов или ссылок на них.

В общем диссернет хочет чтобы люди просто делали что они требуют, а иначе "проходили мимо" и принимали готовые результаты как есть, без обсуждения результатов и человека, а так же не использует, или игнорирует(как в этой теме в лице @Evgueni) эфективные средства анализа и сбора данных,что в совокупности выглядит подозрительно.

torvn77 ★★★★★
()
Последнее исправление: torvn77 (всего исправлений: 6)
Ответ на: комментарий от cobold

Это верно в случае демократии, где власть определяется избирателями, но в нашем случае распределение денег от избирателя не зависит от слова никак.

Популяризация сама по себе — это сложно (это моя экспертная оценка, как человека этим делом занимавшимся от написания статей до проведения за сотню экскурсий для школьников), поэтому если она не приносит денег, то круг популяризаторов сужается до кружка энтузиастов, которые безусловно прекрасны, но их тупо мало да и не все из них, скажем прямо, носители высоких квалификаций.

Evgueni ★★★★★
() автор топика
Последнее исправление: Evgueni (всего исправлений: 1)
Ответ на: комментарий от sergey3000

Она сложна и специализирована.

Дело не в этом.
Дело в том что и популяризаторы плохо объясняют, пытаясь вымучить чудо там, где его нету, и сами учёные, как например это сейчас в истории могут сидеть в своём эголитарном загоне и если и выходят за его пределы, то с перевиранием концепций критикуемых ими "альтернативных историков".

(Допустим "альтернативные историки" не правы, но перевирать их в своей критике зачем?)

torvn77 ★★★★★
()
Последнее исправление: torvn77 (всего исправлений: 1)

на федорке кто-нибудь запустил скрипт? а то чота навскидку не выходит каменный цветок. федора 26

anto215 ★★
()
Ответ на: комментарий от torvn77
  1. Стороннему человеку это ненужно. Поддерживать инфраструктуру для доступа и поиска по скачанным диссертация авторам проекта диссернета нет смысла. У проекта другие цели.
  2. Сторонние люди не нужны. Все это делается для дальнейшей подачи заявлений в ВАК. Вопрос о решении степени решается дальше советом.
  3. Публичное обсуждение диссертаций не нужно. Эксперты и без того имеют к ним доступ.
  4. Это общество добровольцев, а не исполнители хотелок сторонних людей, которые не нужны.
  5. Домыслы. Одна из задач — привлечение внимания к проблеме. Проще этого достичь на публичных персонах. К которым, будем честны, и требования повыше чем к никому неизвестным сотрудникам вузов и институтов. Поэтому пусть несут бремя публичности.
  6. Ресурсов сделать все и сразу может и не быть.
sergey3000
()
Ответ на: комментарий от torvn77

Дело в том что и популяризаторы плохо объясняют, пытаясь вымучить чудо там, где его нету

Чудо — понятие субъективное. Для тех, кто понимает, и второй закон Ньютона вполне себе чудо.

sergey3000
()
Ответ на: комментарий от sergey3000

п 1,2,3, ну и почему при таком ко мне отношении я И ДРУГИЕ ЛЮДИ должны вам помогать с выкачиванием и оцифровыванием диссертаций?

И да, вся инфраструктура это бытовой двуядерник с клиентом торрент сети, /сарказм/ безумно дорогая и сложная в поддержке вещь/сарказм/

torvn77 ★★★★★
()
Последнее исправление: torvn77 (всего исправлений: 1)
Ответ на: комментарий от torvn77

И да, вся инфраструктура это бытовой двуядерник с клиентом торрент сети, /сарказм/ безумно дорогая и сложная в поддержке вещь/сарказм/

Если все так просто, то зачем вам предъявлять претензии к диссернету. Вы и сами это сделаете.

п 1,2,3, ну и почему при таком ко мне отношении я должен вам помогать с выкачиванием и оцифровыванием диссертаций?

Не помогайте, жаловаться-то зачем.

ДРУГИЕ ЛЮДИ

Тут каждый решает за себя. Идет на сайт проекта, читает о нем. Видит результаты его деятельности, оценивает их, а дальше принимает решение помогать или нет.

sergey3000
()
Последнее исправление: sergey3000 (всего исправлений: 2)
Ответ на: комментарий от sergey3000

Затем что

  1. Показываемый в этой теме подход противоречит идеологии свободного доступа к исходному коду и данным, по факту близок к проприетарщине и следлвательно для ЛОРа оффтоп и тема должна быть удалена.
  2. В целом аргумент "не нравится так проходите" обычно используется продавцами плохого товара или мошенниками, а значит эту тему следует заблокировать как потенциальное мошенничество.
  3. по совокупности 1 и 2 и того, что эта тема является политотой она должна быть удалена.

Вам нет места на ЛОР, тем более в технических разделах.

torvn77 ★★★★★
()
Ответ на: комментарий от sergey3000

Тут каждый решает за себя.

Вы просите о помощи, но делаете это без уважения, с желанием односторонне поиметь профит.

torvn77 ★★★★★
()
Ответ на: комментарий от sergey3000

Дополню по первому пункту. Не подумал сразу. Диссертация — объект авторского права. Авторской право сохраняется за соискателем. При защите соискатель дает право библиотеке распространять его и только ей на определенных условиях. Если вы или я накачаете диссертаций и начнете их распространять в промышленном масштабе, мы быстро станем фигурантами в уголовном деле.

sergey3000
()
Ответ на: комментарий от Evgueni

когда ходите в ино(относительно первого языка) язычные вики - заглядывайте не только и не столько в англо -

даже если нет третьего языка вполне достаточно(тут) гугль али какоё ещё транслейт - делая сравнение трёх и более число разноязычных статей вики можно напитаться ароматом разных восприятий человечеством одних и тех же событий явлений

ибо замещать одно на другое моно язычное восприятие делать себе медвежью услугу.

например сев-кар иран и саудиты например не во всём согласны с англо-версиями картины мира - а уж франки со своей академией защиты Галии те ваще полные иностранцы англичанам.

зы. у вас стереотипные идолы и сожаления что тут не там :)

qulinxao3
()
Ответ на: комментарий от torvn77

Вы просите о помощи, но делаете это без уважения

Понятно. Я-то у вас ничего не просил, и никогда не стал бы. (если что к проекту не имею отношения)

sergey3000
()
Ответ на: комментарий от torvn77

Вы просите о помощи, но делаете это без уважения, с желанием односторонне поиметь профит.

и где это «без уважения» и «желание односторонне поиметь профит»? Ты вообще о чём? Это некоммерческая деятельность энтузиастов, связанная с областью распространения (открытых) знаний. Ты пришёл в этот тред «весь в белом» и начал «качать права». Лучше уходи отсюда, если нечего по существу сказать.

Sahas ★★★★☆
()
Последнее исправление: Sahas (всего исправлений: 2)
Ответ на: комментарий от sergey3000

Это не так. Согласно современным правилам ВАК диссертация и автореферат ДОЛЖНЫ быть выложены в свободный доступ за 1… 3 месяца до защиты.

AntonI ★★★★
()
Ответ на: комментарий от torvn77

редкий популяризатор серьёзный исследователь хоть в чём-то ( при том и у серьёзных исследователей бывают прекрасные мозговые тараканы)

как следствие многие популяризаторы шарлатаны балаганные - при не критичном восприятии публикой многие фокусы таковых служили причиной появлений у публики призанятнейших суеверий воспринимаемых как научное( т.е доказанное) знание.

qulinxao3
()
Ответ на: комментарий от AntonI

Да. Но право распространять дано не всем. При защите соискатель письменно дает это право (с размещением в электронной библиотеке согласен и т.д.)

sergey3000
()
Ответ на: комментарий от AntonI

Ты будешь смеяться, но есть конторы которые этим промышляют (продажей текстов диссертаций которые по идее должны быть в открытом доступе) в промышленных масштабах. Так что реальный открытый доступ вполне себе кость в горле вполне конкретным бызнесменам.

Evgueni ★★★★★
() автор топика
Последнее исправление: Evgueni (всего исправлений: 1)
Ответ на: комментарий от qulinxao3

Как правило да, хотя есть некоторое товарное кол-во нобелевских лауреатов/просто известных физиков которые писали великолепные научно-популярные тексты. Навскидку Фейнман, Абрагам, Вайнберг, Вуд…

AntonI ★★★★
()
Ответ на: комментарий от anto215

Пиши мне. Разберёмся, точнее подумаем.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от AntonI

Сомневаюсь, так как эти ребята имеют доступ сразу ко всей базе изначально без всяких скачиваний. Монетизация так сказать того, что имеют.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от Evgueni

Так возмите и выложите всё скаченное в торренты или ipfs.

torvn77 ★★★★★
()
Ответ на: комментарий от AntonI

в том и поинт

что попсы всегда будет количественно больше чем качественного.

при том что уже количество качественного превышает возможности ознакомления

и ситуация сложилась такой явно уже больше чем несколько веков - поэтому такой полезной оказалось уловка использовать в качестве первейшего критерия «современность» как распад единого книжного рынка латино-язычного случился в первую очередь по экономическим причинам так и позновательная литература которая использует «устаревший» язык оказывается малоизвестной среди «интересующихся»

это ещё наслаивается на представление(а скорее тешенье себя предощущение) что с пылу с жару опровергнут очередной фундаментальный закон - и поэтому только «новинка» будет верней отражать как устроенна вселенная - замещение реального прогресса гонкой за новинками

вот такое вот ретраградство.

прикольно что корпус текстов ( да на том же гутенберге) общебесплатных - всегда достаточен для получения высококлассного образования

но оказывается людям часто шашечки а не ехать :)

ps. умница Уил Хантинг сцена в баре про выдачу лыж на горно0лыжном курорте.

qulinxao3
()
Ответ на: комментарий от qulinxao3

умница Уил Хантинг сцена в баре про выдачу лыж на горно0лыжном курорте.

Спасибо, сцена зачетная, фильм надо будет посмотреть.

AntonI ★★★★
()
Ответ на: комментарий от AntonI

Скорее обычная зашоренность. Люди понимают, что они имеют нечто, обладающее ценностью (читай «все диссеры в одном месте»), но хоть убей не понимают, как из этого извлекать профит. И энтузиастам всяким не хотят давать доступ, т.к. знают, что с энтузиастов ничего не возьмёшь. Совершенно типичная, повседневная, скучная история.

Конечно, можно чуток эту историю раскрасить, немного поиграв в конспирологию: НЭБ сами ищут списанные диссеры и стригут мзду с авторов. Но такое больше встречается у Конан Дойля и у Агата Кристи, чем в реальном мире.

future_anonymous
()
Ответ на: комментарий от future_anonymous

IMHO действительно просто, в смысле никакой конспирологии, разве что они приторговывают доступом к текстам через разного рода шарашки, хотя вряд ли там большой профит. Голосую за первый параграф.

Evgueni ★★★★★
() автор топика
Последнее исправление: Evgueni (всего исправлений: 1)
Ответ на: комментарий от buddhist

Остаётся радоваться, что это не континуум.

P.S. Я говорил в том смысле, что число пальцев на руках и ногах сравнимо с тем числом. Как минимум примерно того же порядка, а не тысячи.

Evgueni ★★★★★
() автор топика
Последнее исправление: Evgueni (всего исправлений: 3)
Ответ на: комментарий от sergey3000

Их это не остановит.

Но это не повод облегчать им жизнь.

dvetutnev
()
Ответ на: комментарий от Leupold_cat

Не могу сказать конкретно про диссертации, но у нас был чувак, который списал учебник и хотел его опубликовать в институтском издательстве. После обнаружения этого факта его уволили, от него ушла жена (это, конечно, совпадение), ну и ему пришлось уехать из города.

Степени у этого чувака, к слову, не было.

buddhist ★★★★★
()
Ответ на: комментарий от AntonI

а-ля вики, но с четкой персональной привязкой кто что написал и с возможностью обсуждения + хороший поиск по всему этому

Звучит как Scholarpedia

buddhist ★★★★★
()

Похоже, теперь бан выдают намного оперативнее. Удалось скачать всего несколько диссертаций...

Sahas ★★★★☆
()
Ответ на: комментарий от buddhist

Полагаю, что если бы он не пытался впутать в свои темные дела институт, то его бы не уволили.

Leupold_cat ★★★★★
()
Последнее исправление: Leupold_cat (всего исправлений: 1)
Ответ на: комментарий от Sahas

Интересно, а если относительно рандомно скакать по разным страницам разных диссеров, с малой интенсивностью (один диссер в три дня скажем)?

AntonI ★★★★
()

Кто-нибудь пытался связаться с НЭБ и договориться об получении нужных диссертаций более удобным способом?

Leupold_cat ★★★★★
()
Ответ на: комментарий от Leupold_cat

Имхо диссернет этого делать не станет, так как для такого сорта проектов главное безответно просить, подвергаться гонениям и лишениям, а не решать проблемы.

torvn77 ★★★★★
()
Ответ на: комментарий от torvn77

ты флудер, похоже. Даже из Политеха доступ к ресурсам НЭБ только со «специализированных компьютеров»

Sahas ★★★★☆
()
Ответ на: комментарий от Leupold_cat

Похоже, так просто не получить доступ. Сейчас он открыт по причине пандемии. Вот что написано на страничке какой-то диссертации, которую я открыл: «Доступ к полному тексту документа в электронной форме предоставлен временно из-за невозможности посещать библиотеки. Для чтения документа необходима авторизация через «Госуслуги». »

Sahas ★★★★☆
()
Ответ на: комментарий от AntonI

Судя по тому, что я нашёл на сайте НЭБ, услуга предоставления онлайн доступа временная. И похоже, они тщательно следят, чтобы не скачивали всё подряд.

Sahas ★★★★☆
()
Ответ на: комментарий от sergey3000

Возможно. По идее, диссертация и автореферат должны лежать в открытом доступе. И это отчасти так: любой человек может прийти в библиотеку и ознакомиться с текстом. А вот по поводу свободного скачивания всё сложно, как обычно...

Sahas ★★★★☆
()
Ответ на: комментарий от Leupold_cat

Да. Со слов Андрея Заякина непосредственно до попыток написать скрипт был разговор с дирекций. Результат отрицательный.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от Sahas

Сейчас стали к сожалению следить. На прошлой неделе не следили.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от AntonI

В списке с 2002 по 2012 год 39 тысяч наименований. Доооолго качать придётся.

Evgueni ★★★★★
() автор топика
Ответ на: комментарий от sergey3000

В случае теологии, есть группа интересов, которая способна пролоббировать нужное есть решение. И все.

Не думал что кто-то будет лоббировать теологию, не расскажите в чём там дело?

torvn77 ★★★★★
()
Ответ на: комментарий от Im_not_a_robot

Ботов банить это нормально для абсолютно любого ресурса. Заодно можно и ТС перечеркнуть, not your personal army.

K50
()
Ответ на: комментарий от torvn77

Диссернету нужна помощь со скачиванием диссертаций для проверки (комментарий)

Представители православия и других конфессий добивались её включения в этот перечень[93],

При этом отгородились от потенциальных конкурентов:

Обучаться можно только в вузе или в научной организации и только христианской, исламской, буддийской или иудейской теологии какой-либо зарегистрированной в РФ конфессии, но не языческой, тенгрианской, шаманской, межконфессиональной, межпланетной, межгалактической, сектантской и т. д. теологии

sergey3000
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.