LINUX.ORG.RU

Диссернету нужна помощь со скачиванием диссертаций для проверки

 ,


5

3

Update: К сожалению НЭБ ужесточила слежку, так что бан выдаётся через два часа активности. Пока не найдено какое-то другое решение отбой.

P.S. Поставьте тег диссернет в избранное, чтобы быть в курсе если возникнет какая-либо полезная информация. ☺

Нужна помощь сообществу Диссернет в выкачивании диссертаций из НЭБ (Национальная Электронная Библиотека).

Диссернет занимается проверкой диссертаций «на вшивость». К сожалению вшивость местами такова, что относительно небольшое число активистов и автоматизация процесса позволяет вычислить большую часть списанных/купленных/украденных диссертаций, но для этого нужен доступ непосредственно к самому их тексту. Причём доступ нужен не только к проверяемым диссертациям, но и ко всему массиву имеющихся для поиска зависимостей в тексте.

Что необходимо:

  • Умение и возможность запускать скрипт python на долгое (несколько суток) время на десктопе/ноутубке/через что-нибудь вроде x2go, так как используется API firefox для симуляции человека.
  • Регистрация на сервисе Госуслуги. Это необходимо для авторизации, которая делается вручную один раз на запуск скрипта.

Последствия:

  • У вас забанят просмотр текстов на сайте НЭБ. Вы больше не сможете просматривать имеющиеся там доступные для граждан РФ и оцифрованные на их налоги текстовые ресурсы.

Меня забанили после выкачивания примерно 500 диссертаций. Забанили всех, кто использовал скрипт в течении недели от начала кампании по выкачиванию. Сейчас интервал забана от момента запуска скрипта уменьшился до пары суток. Это порядка 100-150 выкаченных диссертаций. Банят и по IP, и по логину. На мой запрос в службу поддержки стоит внезапно ожидаемая тишина.

Что можно сделать:

  • Написать мне по e-mail упомянутом в моём тутошнем профиле и я по запросу вышлю скрипт и инструкцию (работоспособность проверялась на ноутбуке с Ubuntu 18.04), а также договоримся как будет передан результат.

P.S. IMHO мошенникам должно икаться. Сами они это за нас не сделают.

★★★★★

Ответ на: комментарий от einhander

не «де факто», а «де юре», не путайте термины

Sahas ★★★★★ ()
Ответ на: комментарий от greenman

Точно! Я был не прав, приношу свои извинения на этот счёт

alex-w ★★★★★ ()
Ответ на: комментарий от AntonI

Вместо кина про ментов

Это бизнес. Зарабатывание денег.

научно популярные фильмы

Это будут непрерывные убытки.

научно популярные статьи

Так они и сейчас есть. Те же элементы.ру. Интересно, много там читателей. (не говоря уж, что знание английского открывает еще больше возможностей)

У нас ученые шарахаются от журналистов, это моветон. В частности потому что журналисты перевирают все что им говорят (стрелка осциллографа и пр).

Ну не знаю. Сайты РНФ и РФФИ увешаны интервью с учеными, получившими гранты. Нам тоже приходило письмо от фонда: «если можете рассказать популярно о своем исследовании, не проходите мимо» или типа того (естественно, было проигнорировано)

Я понимаю ваш подход. Решить проблему сверху при отсутствии спроса снизу. И, хотя я не против технократии в теории, на практике оно наверное не очень полетит.

sergey3000 ()
Ответ на: комментарий от sergey3000

Это бизнес. Зарабатывание денег.

Есть вещи где бизнес должен подвинуться в угоду государственным интересам. Не всегда рыночный подход это благо, ну или государство должно сформировать такие правила игры что бы рыночный подход приводил к нужны результатам.

История знает несколько примеров, когда победа одерживалась «за школьной партой» - франко-прусская война, первый спутник и т.д.

Я уж не говорю про коммерицю в науке и технологиях, ей там далеко не всегда есть место. А у нас после распада СССР коммерциализировали вообще все.

AntonI ()
Ответ на: комментарий от sergey3000

Позвольте не согласиться. В России по-прежнему две ученых степени: кандидат и доктор. В то время как в Европе одна.

Не соглашусь, в Германии до сих пор 2 степени (у нас система из 2 степеней как раз заимствована от них), но в целом по Европе да, одна степень.

alex-w ★★★★★ ()
Ответ на: комментарий от alex-w

А у шведов есть лайт-вариант PhD, эдакий полукандидат.

AntonI ()
Ответ на: комментарий от greenman

Что процесс поглядывания на Европу в области высшего образования пошел с развалом СССР я знаю, ту же теологию как специальность у нас внести в 2000 году, но вот присоединения к Болонскому процессу официально произошло в 2003 году, при Путине, поэтому я и принёс извинения, т.к. с Ельциным я был не прав.

alex-w ★★★★★ ()
Ответ на: комментарий от sergey3000

Это будут непрерывные убытки.

Будто бы российский телящик можно этим испугать. Только в отличии от того мракобесия, которое там твориться данная инициатива делает вклад в дело всеобщего образования, которое, между прочим тоже убытки.

Так они и сейчас есть. Те же элементы.ру.

Это частный благотворительный проект. И он такой как бы вообще один. Людей, которые там публикуются можно по пальцам перечислить.

Сайты РНФ и РФФИ увешаны интервью с учеными, получившими гранты.

Не это. Я одно время интересовался темой научной журналистики и даже писал что-то. Так вот: её нет сейчас как класса, вообще. Отдельные кадры, типа Аси Казанцевой только подтверждают правило, так как она работает вопреки системе.

Evgueni ★★★★★ ()
Последнее исправление: Evgueni (всего исправлений: 2)
Ответ на: комментарий от Evgueni

Я бы не был столь пессимистичен. Например, в фейсбуке есть страничка ИЯФ СО РАН.

Кроме элементов появились и другие неплохие сайты. N+1 https://nplus1.ru/, например.

greenman ★★★★★ ()
Последнее исправление: greenman (всего исправлений: 1)
Ответ на: комментарий от Axon

престиж включает в себя занятие престижных должностей - в пререквизитах которых те ещё глукые кудрёнки.

ваще ситуация с покупкой степеней - показатель распределения социальной ткани и её структуры

членство в обществах филателистов ещё с конца перестройки вот как то не котировалось например среди масс.

qulinxao3 ()
Ответ на: комментарий от sergey3000

Ловля совсем уж глупых фабрик диссертаций приведет только к росту цен на услуги нормальных диссерописателей.

Так это же хорошо!

torvn77 ★★★★★ ()
Ответ на: комментарий от sergey3000

Не понимаю, почему вы связываете только с этим? Возможно, все проще. Некоторые люди, решили создать свою грядку для сбора урожая, подконтрольную только им. А то, что где-то существуют похожие степени, оказалось им только на руку.

Такое вполне возможно, соглашусь.

Вот в России есть степень доктора военных наук. Как много стран, где есть аналог?

Немного — в Словении, Британии и Финляндии есть аналоги (PhD in Defence studies; PhD in Military-Social Sciences; PhD in Military science). Может ещё где есть.

alex-w ★★★★★ ()
Ответ на: комментарий от Evgueni

в вашем отношении к теологии ( а их ведь много разных :) ) - очень мракобесно - https://la.wikipedia.org/wiki/Epistolae_obscurorum_virorum

ваще воинсвующий атеизм как и воинствующий теизм/деизм/тропизм/приапизм - не лучшие советчики в рассудочных действиях.

вся современная наука есть плод западноевропейского события после 7000 от сотворения мирка. - первыми факультетами были теологические …

для самого чистого примера расмотрите существующую не первый год росийское общество макаронного монстра - если они как организация смогут просуществовать более нескольких поколений человеков - то воленс ноленс организация приобритёт во многом знакомые черты.

ваще есть достаточно хорошо фундированная гипотеза что церковь родоначальница современных государств.

qulinxao3 ()
Ответ на: комментарий от greenman

Во, ещё две инициативы: «производственный фэйсбук» и ровно один ну очень популярный сайт! Это конечно спасёт... :(

Evgueni ★★★★★ ()
Ответ на: комментарий от qulinxao3

ваще есть достаточно хорошо фундированная гипотеза что церковь родоначальница современных государств.

Ох слышал я эти рассказы. Попытка нафундировать сову, как по мне.

первыми факультетами были теологические

Но это не повод открывать новые. Или подождем 7000 лет, пока они приведут к новым прорывам?

sergey3000 ()
Ответ на: комментарий от Evgueni

ваще ставить себя выше «измышленного» средневековья (которое обязательно тёмное) - очень характерно для нового времени.

уважаемый новое время уже не как вы выражаетесь «не современно»

зы. и да самый край ващет творился на дистанции 1630+- 1830+- - вот когда был самый разгул очень альтернативных человечности форм организаций общественной жизни.

qulinxao3 ()
Ответ на: комментарий от qulinxao3

дык дисернет для того и существует - отделять честных «писательских негров»(Дюма велик) - от проходимцев

А почему бы честным писательским неграм не выкачивать диссертации самим?

Или их только эти семь человек и есть?

torvn77 ★★★★★ ()
Ответ на: комментарий от sergey3000

ну блин всёж стоит различать какого нить Августина ( не щоколадного ) и сельского батюшку который даже в когомологии нет пути.

повторюсь - лично для меня было полезно узнать некоторые нюансы истории как их видят некоторые у вполне вменяемого

https://www.youtube.com/playlist?list=PLHxtyCq_WDLXzT_CgYPtjYab8fyd2PkjB = Civilizing the Barbarians

ваще достаточно продолжительные процессы очень прекрасно взаимно переплетены действиями людей.

qulinxao3 ()
Ответ на: комментарий от sergey3000

ващет мы уже достаточно далеки от тех отношений когда если вы пришлый в городе и ни скем ни в проксении то только членство в эклесии обеспечивало физическую безопасность.

мы очень многое привычное нам воспринимаем как существующее независимо от общественных отношений.

qulinxao3 ()
Ответ на: комментарий от Evgueni

Не это. Я одно время интересовался темой научной журналистики и даже писал что-то. Так вот: её нет сейчас как класса, вообще. Отдельные кадры, типа Аси Казанцевой только подтверждают правило, так как она работает вопреки системе.

Крамольную мысль выскажу, может быть, ее нет, потому что она сейчас не востребована. Какой прок от популяризации современной науки? Она сложна и специализирована. Для понимания даже университетского образования недостаточно. А без понимания, нужно ли оно?

sergey3000 ()
Ответ на: комментарий от alex-w

Немного — в Словении, Британии и Финляндии есть аналоги (PhD in Defence studies; PhD in Military-Social Sciences; PhD in Military science). Может ещё где есть.

Вот я и пытаюсь сказать, что даже в Европе нет унификации: где-то какие-то отрасли «остепенены» а какие-то нет, где-то степени две, где-то одна (+ мастер и бачелор, конечно). Поэтому попытка объяснить явление нам теологических наук только присоединением к болонскому процессу мне кажется недостаточно обоснованной.

sergey3000 ()
Ответ на: комментарий от sergey3000

Это не так: Она вполне себе востребована (тут я могу только своё экспертное мнение высказать, так как статистики не наводил), но действительно условные 1000 знаков на научную тему написать хорошо скажем в три раза сложнее, чем 1000 знаков на тему скажем Linux. Иными словами это требует более высокой квалификации у автора и более высокой его оплаты, так как ему требуется больше времени на новость. Такие люди вполне себе есть — я знаю их по именам. Так вот это вопрос не востребованности научной журналистики, это вопрос существования качественной без дураков журналистики, которая у нас душится всеми возможными способами. Более того, был момент когда вполне годная научная журналистика (мне даже не хотелось через слово материться при прочтении текстов по моей специальности) вполне себе обреталась внезапно на той же lenta.ru (та же Ася Казанцева), но баланс был возвращён разгоном редакции.

Evgueni ★★★★★ ()
Последнее исправление: Evgueni (всего исправлений: 2)
Ответ на: комментарий от Evgueni

на уровнях начиная от дирекции

Повтрю вопрос:

  1. В прокуратуру с жалобой на бан обрщались?
  2. В администрацию президента обращались?
  3. Хоть одного депутата госдумы пытались найти и привлечь к своей деятельности?
  4. Почему скрипт рассылается почтой, а не опубликован на github?
  5. Публичный анализ скрипта проводился?
    Может бан обоснован и правилен?
  6. Почему просто не опубликовать список выкаченных диссертаций чтобы люди сами выбирали какие диссертации к вам закачивать?
  7. Может для облегчения деятельности альтернативных диссернетов стоит выкаченные публикации регулярно выкладывать на ipfs или торрент?

А то в целом от темы тут такое впечатление, вы нам тут покачайте, а мы вам шиш и вообще идите отсюдова.

torvn77 ★★★★★ ()
Ответ на: комментарий от alex-w

Я полный профан в теологии и х.з. что там вообще есть,

К нам в школу нанялся трудовиком и учителем физики один научный работник, так вот, он крайне удивился,когда я ему пояснил что астралогия работает не с "звёздами", а планетами и влияние планеты зависит от её высоты над горизонтом.

torvn77 ★★★★★ ()
Ответ на: комментарий от Evgueni

Я разрешаю вам пройти мимо.

А не стыдно то писать такой ответ, это ведь неуважение не только ко мне, но и к другим участникам форума.

torvn77 ★★★★★ ()
Ответ на: комментарий от torvn77

У меня нет никакого неуважения к другим участникам форума.

Evgueni ★★★★★ ()
Ответ на: комментарий от Evgueni

Ну слова то вы говорить можете любые, а на деле вы отказались ответить на вполне нормальные вопросы.
Покажите своё уважение делом.

torvn77 ★★★★★ ()
Ответ на: комментарий от Evgueni

Она вполне себе востребована

Допускаю, потому как сужу по себе. Среди меня она не востребована полностью (в крайнем случае r/science).

Иными словами это требует более высокой квалификации у автора и более высокой его оплаты, так как ему требуется больше времени на новость.

Я понимаю, что качественный продукт в сложной области это дорого. Потому мне и кажется, что востребованность не покроет этих затрат.

sergey3000 ()
Ответ на: комментарий от Evgueni

Я разрешаю вам пройти мимо.

Надо ли понимать ваш пост как отказ от публичного аудита вашего скрипта для выкачивания диссертаций?

torvn77 ★★★★★ ()
Последнее исправление: torvn77 (всего исправлений: 1)
Ответ на: комментарий от torvn77

Думайте что хотите. Пока скрипт в паблик выкладываться не будет. Такая возможность рассматривалась, но лидер проекта решил отложить её на попозже. Если доверия нет, то разумно не связываться со мной.

Evgueni ★★★★★ ()
Ответ на: комментарий от sergey3000

BBC это не мешает, как и куче других компаний и организаций к сожалению не русскоязычных.

Evgueni ★★★★★ ()
Ответ на: комментарий от Evgueni

Ссылки на некорректные сообщения (52) (комментарий)

Ничего против ревизии диссертаций не имею, но ваша деятельность более напоминает либеральные кривляния, а не реальную борьбу с подложными диссертациями.

torvn77 ★★★★★ ()
Ответ на: комментарий от Evgueni

и организаций к сожалению не русскоязычных.

На их стороне то, что английский понимает гораздо больше людей. И если в относительных значениях интерес к науке может быть таким же, в абсолютных значениях этот рынок больше.

sergey3000 ()
Ответ на: комментарий от torvn77

но ваша деятельность более напоминает либеральные кривляния,

Этот вывод был сделан из-за отказа показать текст скрипта?

sergey3000 ()
Ответ на: комментарий от sergey3000

Да и это тоже нам не в плюс и поражение в общем уровне образования.

Evgueni ★★★★★ ()
Ответ на: комментарий от sergey3000

Нет. Это просто человек такой. Ему везде рептилоиды мерещатся.

Evgueni ★★★★★ ()
Последнее исправление: Evgueni (всего исправлений: 1)
Ответ на: комментарий от sergey3000

русскоязычных

Уровень коллективного хранилища знаний можно сравнить на примере Википедий. За более обширными ссылками по теме и за разъяснениями почти всегда приходится идти в англоязычную часть. Я про научные топики если что, хотя научная часть в русскоязычной части местами очень даже неплоха. К сожалению человек, который в начале её поднимал (эту часть) уехал и с концами, что бесконечно печально, так как он IMHO лучший популяризатор физики частиц на просторах рунета.

Evgueni ★★★★★ ()
Последнее исправление: Evgueni (всего исправлений: 7)
Ответ на: комментарий от Evgueni

русскоязычных

Не верю я существование значительных отличий. Доказать, конечно, не могу.

За более обширными ссылками по теме и а разъяснениями почти всегда приходится идти в англоязычную часть.

А в 16-м веке ходили бы в латинскую часть, в 19-м — в немецкую. Сейчас английский — язык науки. Неудивительно, что и источники, по которым википедию компилируют, в основном англоязычные.

sergey3000 ()
Ответ на: комментарий от sergey3000

Не верю я существование значительных отличий.

А они к сожалению есть. Как и суслик.

Evgueni ★★★★★ ()
Ответ на: комментарий от AntonI

В телевизоре нет проблемы найти научно-популярные каналы, в ютубе нет проблемы найти научно-популярные лекции даже на русском языке, а ещё и тед есть, но что-то в тренды ютуба они не выходят, наверное Путин виноват. Журналист не просто так пишет бэйтовый заголовок - газете/журналу нужны читатели, нужно привлечь внимание чем-то

cobold ★★ ()
Ответ на: комментарий от Leupold_cat

Коллега, списавший диссертацию в ИЯФ, далеко пойдет, только ему в науке, скорее всего, делать нечего…

vitruss ★★★★ ()
Ответ на: комментарий от torvn77

Я запросил у Евгения скрипт. Он работает как и описано: последовательно ходит по страницам диссертации и скачивает их (в формате jpg).

А хочется пофлудить — велкам в отдельную тему

Sahas ★★★★★ ()
Последнее исправление: Sahas (всего исправлений: 1)
Ответ на: комментарий от sergey3000

Ну мне кажется обывателю это полезно для понимания(в упрощенном виде) современного состояния научного представления о нашем мире, а для ученых это может полезно для того чтобы те обыватели, на налоги которых проводятся работы, видели отдачу от этих работ. Увы, ученым приходится быть политиками. т.к. деньги на фундаментальные исследования выделяют политики, а за политиков голосуют обыватели

cobold ★★ ()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)