LINUX.ORG.RU

Бот для поиска совпадений

 ,


0

1

Всем привет, такая проблема, нужно анализировать стену на Facebook на наличие определенных слов (например - problems, dont load и тд) И если находит совпадение то выдавать предупреждение. Не могу придумать как искать совпадение на странице, все остальное уже придумал как реализовать. Находит совпадение, заносит в базу количество и нагиос сервер вытягивает. Если больше заданого порога то выдает алерт. Буду очень благодарен в помощи.

Перемещено true_admin из general



Последнее исправление: ymn (всего исправлений: 1)

Берём raw-страницу, по регуляркам вытаскиваем ключевые слова, разве нет? Подозреваю, что есть подводные камни, ибо этот вариант просто очевиден, а ТС его не взял.

Lilly
()
Ответ на: комментарий от maison999

Тут нужен facebook api. Гуглим его под python. Находим ссылку. Тыц. Вот тут человек делает выборку постов страницы, после чего получает выборку комментариев к ним. Дальше прогоняем через регулярки и получаем результат. Ход мыслей чист?

Lilly
()
Ответ на: комментарий от maison999

И таким образом получится

если ключевых слов с десяток — получится без проблем. Если их(слов) Over9000, нужен другой подход.

emulek
()
Ответ на: комментарий от emulek

например - problems, dont load

ТСу очевидно нужно немного, судя по этому. Был бы перебор по словарям слов - было бы другое дело. Хотя уточнить не мешает, конечно.

Lilly
()

Тут только есть небольшой подводный каменть. «don't load», «dont load» и «do not load» (на самом деле, должно быть «doesn't load») это одно и тоже. Для решения этой проблемы есть готовые словари и либы. По-моему, это называется морфологический поиск.

true_admin ★★★★★
()

Тред не читай@сразу отвечай

Посмотрите в сторону scrapy, возможно, этот фреймворк для построения поисковых пауков(crawler) поможет. А и посмотрите NLTK для анализа текстов

pylin ★★★★★
()
Последнее исправление: pylin (всего исправлений: 1)
Ответ на: комментарий от true_admin

Почему, там вполне может быть «don't you dare to load, puny humans» или вроде того. Кстати, есть ли какие-нибудь анализаторы для определения смысла и контекста? У гугла наверняка есть, но интересны открытые реализации.

wakuwaku ★★★★
()
Ответ на: комментарий от wakuwaku

Увы, я не разбираюсь в таком софте. Но то что такие вещи есть в виде студенческих поделок я не сомневаюсь, у меня есть знакомые которые занимались/занимаются подобными вещами.

true_admin ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.