Что смотрят лоровцы, или все ютуб-видео с linux.org.ru

Быдловидео с быдлотюба, рекомендованое быдлоюзерами быдлолора?
Не нужно.

Можно узнать процент видео со словами pony, пони и mlp?

Если только по названиям видео пройтись, то ~0.24% по основному плейлисту (4 видео).

Названия отсеивал так - t like '%pony%' or t like '%mlp%' or t like '% пони %' (где t - lower(title))/

'% пони %' - тут с пробелами, иначе другие слова попадают (япония, понимаешь, etc)

p.s. если добавить в выборку еще и видео где есть эти слова в описании, то таких видео - 7 (~0.42%)

Прокрутил 30+ страниц, пока нашёл что-то из того, что я постил. В каком порядке оно отсортировано?

Без определенного порядка, хотя возможно надо было по дате появления на лоре сделать, да.

А вот Топ50 ютуб спамеров (вторая колонка кол-во видео) -

 username         | count 
------------------+-------
 anonymous        |   653
 KRoN73           |   209
 Rastafarra       |   173
 Quasar           |   164
 Bad_ptr          |   157
 Karapuz          |   148
 lexxus-lex       |   134
 MiracleMan       |   128
 amorpher         |   100
 cuki             |    97
 Bioreactor       |    94
 Sonsee           |    92
 redgremlin       |    91
 Absurd           |    85
 PolarFox         |    81
 Manhunt          |    75
 bbk123           |    71
 pi11             |    70
 ZenitharChampion |    68
 vilfred          |    66
 sin_a            |    62
 dikiy            |    61
 shimon           |    61
 xtraeft          |    59
 devl547          |    58
 fornlr           |    57
 iZEN             |    57
 question4        |    55
 newpunkies       |    52
 Zubok            |    52
 Cancellor        |    52
 madcore          |    51
 pevzi            |    50
 Napilnik         |    50
 aidan            |    50
 lazyklimm        |    50
 anonymfus        |    50
 zloy_buratino    |    48
 DNA_Seq          |    47
 stevejobs        |    47
 tazhate          |    46
 winddos          |    44
 soomrack         |    44
 bk_              |    43
 olibjerd         |    41
 Novell-ch        |    41
 r                |    41
 Gary             |    38
 LongLiveUbuntu   |    38
 Zodd             |    37

в которой я храню все сообщения с лора

Поделись историей успеха: сам crawl'ил или у maxcom'а дамп попросил? Если первое, то как много времени у тебя это заняло? Как часто базу обновляешь?

Не помню уже сколько времени заняло первоначальное сканирование, несколько дней примерно. База обновляется постоянно.

А на чем паук написан и как часто запросы делаешь? Например тут макском писал, что старые темы можно тянуть не чаще десяти запросов в минуту.

А вот Топ50 ютуб спамеров

Это количество ссылок или количество уникальных видео? Если количество ссылок, то маловато как-то.

Это количество сообщений в которых есть ссылки на ютуб.

На питоне, старые темы я вообще не трогаю, новые - 1 секунда + время ответа и обработки запроса.

Обновил основной плейлист, добавил еще vimeo видео - http://vpoisk.tv/user/playlist/8/

//Залип надолго

Видео вполне тематические. Внезапно.

Надо еще, пожалуй, поиск сделать по этому плейлисту.

Тоже твой сайт?

Да.

Это с удаленными?

Если бот успел схавать страницу - то она попала. Т.е. часть удаленных там есть (начиная с 2012 года).

Добавил еще rutube видео.

мои 100500 осели в удалённых :(

http://www.nicovideo.jp/watch/nm17945751

Please Log In or Register a New Account to watch videos!

Unable to display video player.
Adobe Flash Player is either not
installed or an outdated version.

Please install the latest version of Flash Player from the Adobe company's website

Got to Flash Player installation page

:(

вот так работает: https://www.youtube.com/watch?v=wBpjZ7PzVaA
это нормально, что в лисе только 720p? и вообще ощущение помойки не покидает на ютубе, ужасного качества звука и пережатого видео, если точнее.

Кстати, у меня в этом vpoisk не работает просмотр видео. (FF, debian 7.5)

Там с разных сайтов встроено, от coub.com я знаю что в фф не работает, но тут я ничего не могу сделать. У тебя никакие не работают? А например на ютубе видео работают?

Не знаю, мне 720 на компе хватает для просмотра.

upscaled 720p не торт, но проблема в сути тытрубы, а именно в многократном перекодировании, особенно в случае когда исходные данные были сильно ужаты. downscale там явно не с прицелом на качество.

Я в случайном порядке потыкался. Тормозит и не показывает. =( Чуть поздже ещё гляну.

pi11 | 70

не знаю почему, но к тебе у меня стоит заметка

pi11 ★★★ ***** спамбот

У тебя быдло головного мозга

Бывает я пишу всякую фигню, когда пьян.

Твой топ подозрительно напоминает топ заметных пользователей ЛОРа вообще. Не 100% совпадение, но очень близко.

Надо как-либо нормализовать на активность.

Ну понятно, что кто много пишет сообщений тот вероятнее попадет в этот топ. Но я например, пишу довольно мало сообщений но в этот топ попал.

Такого не может быть, я не мог напостить 134 ссылки на youtube

Могу дать список сообщений =)

Не мог, но сделал

Охренеть, а я искал по youtube* и мне выдавало другие результаты.

Теперь процесс автоматизирован, плейлист обновляется раз в сутки (добавляются новые видео с ЛОРа).

В загрузке ютубовских видео была ошибка, поэтому раньше были добавлены не все видео. Теперь плейлист более полный 9k+ видео.

Зависит от монитора. Раньше у меня был 1280x1024, хватало. Сейчас вроде чуть маловато

А youtu.be ты парсишь? Я обычно именно так вставляю видео. Странно, что меня в списке нет.

Честно говоря я тебя не совсем понял, в каком списке тебя нет?. Что касается ютуба - то у него API есть.

В Топ50 я не попал.
Я про то, каким образом ты выдираешь ссылки из сообщений. Если ты просто ищешь слово «youtube.com» в сообщении, то ищи ещё и «youtu.be».

Я про то, каким образом ты выдираешь ссылки из сообщений.

Да, youtu.be я учитываю. Парсинг там всякие варианты учитывает, даже старые версии ссылок рутуба и т.д.

Вот для топа у меня простой запрос был, сейчас посмотрел, я делал просто -

select b.username, count(*) from forum_message a, forum_userprofile b 
where a.user_id=b.id and a.id in 
  (select ms_id from forum_messagestore where text like '%youtu.be/%' or text like '%youtube.com/wa%' or text like ('%vimeo.com/%')) 
group by b.username order by count(*) desc limit 50;

Тут просто упоминанию утьюба тоже учитываются, но думаю это не страшно.

текущий топ -

     username     | count 
------------------+-------
 anonymous        |   720
 Bad_ptr          |   229
 KRoN73           |   214
 Rastafarra       |   188
 Quasar           |   169
 Karapuz          |   152
 lexxus-lex       |   141
 MiracleMan       |   128
 Bioreactor       |   110
 amorpher         |   105
 redgremlin       |   101
 pi11             |   100
 cuki             |    98
 Sonsee           |    96
 Manhunt          |    88
 Absurd           |    85
 newpunkies       |    85
 PolarFox         |    83
 bbk123           |    74
 ZenitharChampion |    68
 sin_a            |    68
 vilfred          |    66
 dikiy            |    65
 fornlr           |    65
 Novell-ch        |    62
 shimon           |    62
 question4        |    60
 xtraeft          |    60
 devl547          |    59
 invy             |    59
 nepank           |    58
 crowbar          |    58
 iZEN             |    58
 aidan            |    57
 Zubok            |    56
 stevejobs        |    55
 Napilnik         |    54
 DNA_Seq          |    54
 anonymfus        |    52
 Cancellor        |    52
 madcore          |    51
 lazyklimm        |    50
 pevzi            |    50
 zloy_buratino    |    48
 soomrack         |    46
 tazhate          |    46
 r                |    45
 drF_ckoff        |    44
 LongLiveUbuntu   |    44
 winddos          |    44

Кстати тут ещё бывают используют всякие tinyurl и goo.gl для ссылок на ютуб (да, жестоко и беспощадно).

Да и тег [url=http://..]текст[/url] тоже. Сам так делаю