LINUX.ORG.RU

Что смотрят лоровцы, или все ютуб-видео с linux.org.ru

 , , ,


6

1

Решил фор-фан собрать все видео упоминавшиеся на лоре, благо у меня есть база Лор-стата - http://lor-stat.com/ - Статистика ЛОРа

в которой я храню все сообщения с лора.

Итак, я выдрал из базы все ссылки на ютуб, vimeo и rutube видео и залил их в плейлист - http://vpoisk.tv/user/playlist/8/

Думаю эта подборка может быть интересна.

Перемещено beastie из talks

★★★★★

Быдловидео с быдлотюба, рекомендованое быдлоюзерами быдлолора?
Не нужно.

Stahl ★★☆ ()

Можно узнать процент видео со словами pony, пони и mlp?

aidan ★★★★ ()
Ответ на: комментарий от aidan

Если только по названиям видео пройтись, то ~0.24% по основному плейлисту (4 видео).

Названия отсеивал так - t like '%pony%' or t like '%mlp%' or t like '% пони %' (где t - lower(title))/

'% пони %' - тут с пробелами, иначе другие слова попадают (япония, понимаешь, etc)

p.s. если добавить в выборку еще и видео где есть эти слова в описании, то таких видео - 7 (~0.42%)

pi11 ★★★★★ ()
Последнее исправление: pi11 (всего исправлений: 3)

Прокрутил 30+ страниц, пока нашёл что-то из того, что я постил. В каком порядке оно отсортировано?

Sadler ★★★ ()
Ответ на: комментарий от Sadler

Без определенного порядка, хотя возможно надо было по дате появления на лоре сделать, да.

pi11 ★★★★★ ()
Ответ на: комментарий от pi11

А вот Топ50 ютуб спамеров (вторая колонка кол-во видео) -

 username         | count 
------------------+-------
 anonymous        |   653
 KRoN73           |   209
 Rastafarra       |   173
 Quasar           |   164
 Bad_ptr          |   157
 Karapuz          |   148
 lexxus-lex       |   134
 MiracleMan       |   128
 amorpher         |   100
 cuki             |    97
 Bioreactor       |    94
 Sonsee           |    92
 redgremlin       |    91
 Absurd           |    85
 PolarFox         |    81
 Manhunt          |    75
 bbk123           |    71
 pi11             |    70
 ZenitharChampion |    68
 vilfred          |    66
 sin_a            |    62
 dikiy            |    61
 shimon           |    61
 xtraeft          |    59
 devl547          |    58
 fornlr           |    57
 iZEN             |    57
 question4        |    55
 newpunkies       |    52
 Zubok            |    52
 Cancellor        |    52
 madcore          |    51
 pevzi            |    50
 Napilnik         |    50
 aidan            |    50
 lazyklimm        |    50
 anonymfus        |    50
 zloy_buratino    |    48
 DNA_Seq          |    47
 stevejobs        |    47
 tazhate          |    46
 winddos          |    44
 soomrack         |    44
 bk_              |    43
 olibjerd         |    41
 Novell-ch        |    41
 r                |    41
 Gary             |    38
 LongLiveUbuntu   |    38
 Zodd             |    37
pi11 ★★★★★ ()
Последнее исправление: pi11 (всего исправлений: 1)

в которой я храню все сообщения с лора

Поделись историей успеха: сам crawl'ил или у maxcom'а дамп попросил? Если первое, то как много времени у тебя это заняло? Как часто базу обновляешь?

edigaryev ★★★★★ ()
Ответ на: комментарий от edigaryev

Не помню уже сколько времени заняло первоначальное сканирование, несколько дней примерно. База обновляется постоянно.

pi11 ★★★★★ ()
Ответ на: комментарий от pi11

А на чем паук написан и как часто запросы делаешь? Например тут макском писал, что старые темы можно тянуть не чаще десяти запросов в минуту.

edigaryev ★★★★★ ()
Ответ на: комментарий от pi11

А вот Топ50 ютуб спамеров

Это количество ссылок или количество уникальных видео? Если количество ссылок, то маловато как-то.

Sadler ★★★ ()
Ответ на: комментарий от Sadler

Это количество сообщений в которых есть ссылки на ютуб.

pi11 ★★★★★ ()
Ответ на: комментарий от edigaryev

На питоне, старые темы я вообще не трогаю, новые - 1 секунда + время ответа и обработки запроса.

pi11 ★★★★★ ()

Видео вполне тематические. Внезапно.

anonymous_sama ★★★★★ ()

Надо еще, пожалуй, поиск сделать по этому плейлисту.

pi11 ★★★★★ ()

Это с удаленными?

leave ★★★★★ ()
Ответ на: комментарий от leave

Если бот успел схавать страницу - то она попала. Т.е. часть удаленных там есть (начиная с 2012 года).

pi11 ★★★★★ ()

Добавил еще rutube видео.

pi11 ★★★★★ ()

мои 100500 осели в удалённых :(

wakuwaku ★★★★ ()
Ответ на: комментарий от pi11

Unable to display video player.
Adobe Flash Player is either not
installed or an outdated version.

Please install the latest version of Flash Player from the Adobe company's website

Got to Flash Player installation page


:(

wakuwaku ★★★★ ()
Ответ на: комментарий от pi11

вот так работает: https://www.youtube.com/watch?v=wBpjZ7PzVaA
это нормально, что в лисе только 720p? и вообще ощущение помойки не покидает на ютубе, ужасного качества звука и пережатого видео, если точнее.

wakuwaku ★★★★ ()

Кстати, у меня в этом vpoisk не работает просмотр видео. (FF, debian 7.5)

beastie ★★★★★ ()
Ответ на: комментарий от beastie

Там с разных сайтов встроено, от coub.com я знаю что в фф не работает, но тут я ничего не могу сделать. У тебя никакие не работают? А например на ютубе видео работают?

pi11 ★★★★★ ()
Ответ на: комментарий от wakuwaku

Не знаю, мне 720 на компе хватает для просмотра.

pi11 ★★★★★ ()
Ответ на: комментарий от pi11

upscaled 720p не торт, но проблема в сути тытрубы, а именно в многократном перекодировании, особенно в случае когда исходные данные были сильно ужаты. downscale там явно не с прицелом на качество.

wakuwaku ★★★★ ()
Последнее исправление: wakuwaku (всего исправлений: 1)
Ответ на: комментарий от pi11

Я в случайном порядке потыкался. Тормозит и не показывает. =( Чуть поздже ещё гляну.

beastie ★★★★★ ()

pi11 | 70

не знаю почему, но к тебе у меня стоит заметка

pi11 ★★★ ***** спамбот

reprimand ★★★★★ ()
Ответ на: комментарий от reprimand

Бывает я пишу всякую фигню, когда пьян.

pi11 ★★★★★ ()
Ответ на: комментарий от pi11

Твой топ подозрительно напоминает топ заметных пользователей ЛОРа вообще. Не 100% совпадение, но очень близко.

hobbit ★★★★★ ()
Ответ на: комментарий от hobbit

Ну понятно, что кто много пишет сообщений тот вероятнее попадет в этот топ. Но я например, пишу довольно мало сообщений но в этот топ попал.

pi11 ★★★★★ ()
Ответ на: комментарий от redgremlin

Охренеть, а я искал по youtube* и мне выдавало другие результаты.

lexxus-lex ★★★ ()

Теперь процесс автоматизирован, плейлист обновляется раз в сутки (добавляются новые видео с ЛОРа).

pi11 ★★★★★ ()

В загрузке ютубовских видео была ошибка, поэтому раньше были добавлены не все видео. Теперь плейлист более полный 9k+ видео.

pi11 ★★★★★ ()
Ответ на: комментарий от wakuwaku

Зависит от монитора. Раньше у меня был 1280x1024, хватало. Сейчас вроде чуть маловато

mittorn ★★★★★ ()
Ответ на: комментарий от pi11

А youtu.be ты парсишь? Я обычно именно так вставляю видео. Странно, что меня в списке нет.

CYB3R ★★★★★ ()
Ответ на: комментарий от CYB3R

Честно говоря я тебя не совсем понял, в каком списке тебя нет?. Что касается ютуба - то у него API есть.

pi11 ★★★★★ ()
Последнее исправление: pi11 (всего исправлений: 1)
Ответ на: комментарий от pi11

В Топ50 я не попал.
Я про то, каким образом ты выдираешь ссылки из сообщений. Если ты просто ищешь слово «youtube.com» в сообщении, то ищи ещё и «youtu.be».

CYB3R ★★★★★ ()
Ответ на: комментарий от CYB3R

Я про то, каким образом ты выдираешь ссылки из сообщений.

Да, youtu.be я учитываю. Парсинг там всякие варианты учитывает, даже старые версии ссылок рутуба и т.д.

Вот для топа у меня простой запрос был, сейчас посмотрел, я делал просто -

select b.username, count(*) from forum_message a, forum_userprofile b 
where a.user_id=b.id and a.id in 
  (select ms_id from forum_messagestore where text like '%youtu.be/%' or text like '%youtube.com/wa%' or text like ('%vimeo.com/%')) 
group by b.username order by count(*) desc limit 50;

Тут просто упоминанию утьюба тоже учитываются, но думаю это не страшно.

pi11 ★★★★★ ()
Последнее исправление: pi11 (всего исправлений: 3)
Ответ на: комментарий от pi11

текущий топ -

     username     | count 
------------------+-------
 anonymous        |   720
 Bad_ptr          |   229
 KRoN73           |   214
 Rastafarra       |   188
 Quasar           |   169
 Karapuz          |   152
 lexxus-lex       |   141
 MiracleMan       |   128
 Bioreactor       |   110
 amorpher         |   105
 redgremlin       |   101
 pi11             |   100
 cuki             |    98
 Sonsee           |    96
 Manhunt          |    88
 Absurd           |    85
 newpunkies       |    85
 PolarFox         |    83
 bbk123           |    74
 ZenitharChampion |    68
 sin_a            |    68
 vilfred          |    66
 dikiy            |    65
 fornlr           |    65
 Novell-ch        |    62
 shimon           |    62
 question4        |    60
 xtraeft          |    60
 devl547          |    59
 invy             |    59
 nepank           |    58
 crowbar          |    58
 iZEN             |    58
 aidan            |    57
 Zubok            |    56
 stevejobs        |    55
 Napilnik         |    54
 DNA_Seq          |    54
 anonymfus        |    52
 Cancellor        |    52
 madcore          |    51
 lazyklimm        |    50
 pevzi            |    50
 zloy_buratino    |    48
 soomrack         |    46
 tazhate          |    46
 r                |    45
 drF_ckoff        |    44
 LongLiveUbuntu   |    44
 winddos          |    44
pi11 ★★★★★ ()
Ответ на: комментарий от pi11

Кстати тут ещё бывают используют всякие tinyurl и goo.gl для ссылок на ютуб (да, жестоко и беспощадно).

Да и тег [url=http://..]текст[/url] тоже. Сам так делаю

KennyMinigun ★★★★★ ()
Последнее исправление: KennyMinigun (всего исправлений: 2)
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.