LINUX.ORG.RU

Избранные сообщения winlook38

обработка естественных языков

Форум — Development

внезапно!

питон или ява? хочется конечно яву... какая либа круче всех?

чего хочу: хочу имея с вободной форме текст разбить его на полезные кусочки и сложить в базулю.

ну например:

1. гражданин сидоров, проживающий по адресу, зарезал к чертям свою соседку по пьяне.

2. на улице произошло столкновение двух клевых автомобилей.

что мы тут видим? есть ФИО, есть адреса, есть преступление, как будто есть даже марки машин.

и вот имея ворох таких документов хочется узнать сколько клевых парней прешило негодных баб в прошлом месяце и сколько ухайдакали ведер на районе.

вариант относительно простой, но трудоемкой: нашлепать в рукопашную кучу файлов с метками и грубо говоря структурой документа. ну типа:

<fio regexp/> <address regexp/> <action regexp/>

<marker fio/>, <marker adderess>, <marker action>

проблема в том, что количество таких шаблонов будет расти и их будет просто до черта. считай на каждую новую «свободную» форму свой новый шаблон. одно уныние.

а хочется чего-то более машинленинговово, чтоб OpenNLP или NLTK какой. хочется больше эвристики. как это правильно нынче делается?

 , ,

Rastafarra
()

Вакансия Python full stack remote developer

Форум — Job

Описание по ссылке. Если в кратце, то это известный в Украине проект поиска работы наоборот: http://djinni.co. Суть такова вы описывает свои скилы, а рекрутеры делают вам оферы, и вы сами решаеин кому открывать контакты. Сейчас клонов уже много, но это именно оригинальный проект в Украине.

 ,

yurikoles
()

Лексер, парсер, интерпретатор и все такое

Форум — Development

Скажу сразу — Я НЕ ПИШУ СВОЙ ЯП!

Задача у меня такая: есть выражение, которое нужно распарсить, оно, в принципе, лексически простое.

И тут есть одно «НО». Например для "(a+b+(((c-d))))" необходимо вынести «бессмысленно вложенный» кусок на самый возможно высокий уровень и привести к виду "(a+b+(c-d))" еще ДО запуска. Т.е. нормализовать. Это просто пример, сами же выражения могут быть монструозными, а вариантов нормализации больше одного, и эти выражения нужно как-то облагородить, сократить.

Например https://ru.wikipedia.org/wiki/Алгоритм_сортировочной_станции не подходит (она тупо берет по токену и «гори оно огнем»).

Выходит, я должен забыть об однопроходном принципе и разделить парсинг на задачи:

1) лексер — пройдет и соберет все токены, какие получилось.
2) валидатор — провалидирует синтаксис выражения.
3) парсер — построит АСД как есть (может быть объединен с валидатором, строим дерево сразу, и если ошибка, то прерываемся).
4) нормализатор — вот это вот все про перестроение дерева.

Все я правильно думаю? Есть что прокомментировать? Есть какой-то менее раздутый подход к решению этой задачи?

Кастую тех кто засветился на первой странице поиска ЛОРа по фразе «свой ЯП»:

holuiitipun, true_admin, Zubok, Int64 и наверное intelfx, он вроде головастый.

Остальные так же приглашаются — еще одна голова свежих мыслей никогда не будет лишней.

UPD:

Для ( a+(-b) ) | ( a+(-c) ) = два результата a-b и a-c

(a+b) равно ли (b+a) ? — да

a+(b|c)+d+(b|c) — дубликаты зависит от ситуации, для этого примера так:

a+(b|c)+d+(b|c)
    => [a+b+d+b, a+b+d+c, a+c+d+b, a+c+d+c] // развернули в 4
    => [a+b+d, a+b+d+c, a+c+d+b, a+c+d] // удалили дубликаты (в 1 и в 4)
    => [a+b+d, a+b+d+c, a+c+d] // удалили третье как дубликат второго

Предугадываю насчет вопроса про разнознаковые:

a+(-b|-c)+d+(b|-c)
    => [a-b+d+b, a-b+d-c, a-c+d+b, a-c+d-c] // развернули в 4
    => [a+d, a-b+d-c, a-c+d+b, a-c+d] // -+ сожгли др друга, для -- просто убрали дубликаты
    // среди деревьев дубликатов нет

Порядок операндов не важен, важны их значения, дубликаты операндов в одном дереве и дубликаты деревьев (от перестановки слагаемых сумма не меняется) удаляются как показано выше.

Все значения будут известны, на момент выполнения может «сгореть» какой-то результат по вине значений, но это уже другая история.

 ,

deep-purple
()

Самая трудная экономическая стратегия

Форум — Talks

Привет, ЛОР! Тут вот человек игру искал существующую, а я ищу гипотетическую.

Посоветуйте какую-нибудь лютую экономическую стратегию, максимально приближенную к реальности. Есть Tropico - довольно хорошая реализация, особенно когда развиваешь нацию до большого масштаба - тогда начинаются проблемы с социумом, политикой, экономикой-финансами-торговлей. Но всё равно очень много деталей опущено, а хотелось бы именно детализированности в экономике. Военные действия мало интересны, но могут присутствовать.

 ,

Mamin_simpotyaga
()

Алгоритм поиска сразу кучи подстрок в потоке.

Форум — Development

Понимаю как это реализуется - сначала по куче искомых строк строится конечный автомат с множеством одновременных состояний. И эти состояния потенциально сдвигаются «к успеху» на каждый входной символ или убиваются или заводятся новые «процессы прохода». Состояние (процесс), которое дошло до своего успеха сигнализирует о появлении слова (N шагов назад его начало).

Как называется это по-умному? Чё за алгоритм?

 

hlamotron
()

asyncio message queue

Форум — Development

Ребята, понадобилась очередь сообщений и драйвер для работы с ней по PEP 492. Казалось бы, требований мало: 1) Стандартный интерфейс для очереди: push, get 2) Отсутствие направленности на working queue: никаких воркеров или таксов, просто обмен сообщениями. 3) Живой репозиторий.

Но не выходит найти решение подходящее по всем пунктам. Например, клиенты для rabbitmq тянут за собой логику с Consume и callback.

Ребята из мейлрушки рекомендуют использовать tarantool queue, но решение не выглядит живым.

Что посоветуете?

 

helium
()

попытка изучения общей теории относительности

Форум — Science & Engineering

Есть желание понять общую теорию относительности. Не в бытовом/школьном плане, а, по возможности, более или менее глубоко. Что надо знать, какие разделы математики, физики, астрономии, чтобы начать постигать ОТО?

Вот так, условно, что надо знать помимо школьной программы, чтобы понимать конкретно эту теорию? Какие разделы каких книг, если позволите так поставить вопрос?

Вопрос, понимаю, наивен, но выскажите свои идеи, пожалуйста

 ,

jcdr
()

Endless Sky

Форум — Games

Знаю что большинство тут предпочитает проприетарщину из стима и на свободные игрушки не смотрит, но вот сабж, имхо, понравился бы даже им.

http://endless-sky.github.io/

2D космическая леталка. Исследуем галактику перемещаясь между звёздными системами, зарабатываем бабло торговлей, перевозом грузов и пассажиров, отловом пиратов, или сами грабим корованы (можно брать корабли на абордаж, снимать груз и оборудование, либо вообще захватывать их целиком). На деньги покупаем более крутые корабли (вплоть до авианосцев) и оборудование, а потом можно вообще сколотить свой флот. Выполняем побочные квесты или идём по основной сюжетной линии (которая офигенна, огромна и включает терроризм, сепаратистов, общегалактическую гражданскую войну, альянсы и предательства, по меньшей мере двукратное объединение перед лицом общего врага, политические и дипломатические интриги, открытие новых технологий, таинственные угрозы и загадки глубокого космоса и прошлого человечества, другие расы и всё это переплетено с судьбами отдельных людей. Романтической линии разве что не хватает, хотя может я до неё просто не добрался).

Играю вторую неделю и до конца пока не добрался, всем советую.

 , ,

slovazap
()

Моя первая программа на Lisp

Форум — Development

Все везде нахваливают Lisp и я решил тоже потыкать его. Почитал немного документации, а затем написал свою первую программу.

http://pastebin.com/CZ6MTw1S

Это преобразователь из инфиксной в префиксную форму. С учётом скобок и приоритетов операций. А ещё с возможностью вызывать функции помимо выполнения математических операций.

То есть пишем что-то вроде (c-expr ( 2 + 2 * 2 + sin ( 1 ) ) / 2 ), а оно преобразует это в нормальную лисповую форму записи - (/ (+ (+ 2 (* 2 2)) (sin 1)) 2), а такое уже легко вычисляется средствами самого Lisp.

Программа работает вроде как и всегда (пробовал несколько тестов) выдаёт верный результат, но вот вопрос - там огромное количество всяких ветвлений и рекурсий. Насколько я рационально её написал, не будет ли проблем с производительностью (быть может, надо как-то оптимизировать)?

Просто в Lisp не принято писать так, как в обычных языках программирования (да и некоторые конструкции при дословном переводе будут некрасиво смотреться), поэтому и советы по оптимизации от них не годятся. Например, если сохранять в локальные переменные все значения, которые используются дважды (чтобы не считать их 2 раза), то будет дикая лапша из let. Или это не нужно? Или это не лапша (и вообще мой код не лучше), а норма?

 ,

KivApple
()

Посоветуйте что-то вроде 17 мгновений весны

Форум — Talks

В идеале такой интеллектуальный шпионский или детективный сериал, в котором упор не на экшен, а на тонкую интеллектуальную игру и противостояние. Можно конечно поспорить насколько этим критериям отвечает многосерийный фильм про Штирлица, но что-то трудно вспомнить лучшее.

В идеале еще бы и хотя бы примерно по реальным событиям.

 , ,

praseodim
()

Вопрос про фальсифируемость и формальные науки

Форум — Talks

Как я понимаю, все в математике(да и любой формальной науке) строится поверх каких-то аксиом. Аксиомы нельзя никак проверить(в них приходится верить, т.к. доказать их невозможно) и они истинны до тех пор, пока теорема, построенная на ней, не даст трещину. То есть я могу придумать свою какую-то абсурдную и очевидно неправильную аксиому и на основе её построить теорему. И до тех пор пока теорема не сломлена, аксиома будет жить?

А можно ли сразу опровергнуть аксиому(эмпирически, а как же еще), тем самым сломав теорему?

Разум мне подсказывает, что ответ на 2 вопрос будет положительным. Просто мне кажется, что я что-то не понимаю, но не пойму что.

 

letni
()

Упрощатор SQL - убрать все джойны и экзисты!

Форум — Development

По определенным причинам нельзя больше делать джойны и экзисты. Но уже написанна тьма кода на SQL, который их использует.

Есть ли способ, который позволит АВТОМАТИЧЕСКИ упростить SQL, выбросив оттуда джойны и экзисты, сведя их к более простым операциям? Например, какая-то консольная утилита

 

stevejobs
()

Кинематограф. Пьянь. ЖЖ. 1927.

Форум — Talks

Я думаю те, кто старше 20 лет слышали про Бастера Китона.
А те, кто в школе не бухал (а я не бухал в школе и даже не курил) возможно помнят про попытку северян (я сейчас пишу про гражданскую войну в США) отрезать южан. Эта попытка была очень неплохо показана в фильме The Great locomotive chase.
Фильм на уровне Индианы если вы любите приключения, но фильм исторический. Имена. Даты. Координаты. Всё честно.
Но я рекомендую вам комедию. Китона. Бастера Китона.
Он по этому нюансу снял отличнейший фильм. Он убрал драматизм (всех, кого поймали, повесили), но... При этом он снимал с точки зрения южанина. А это что-то с чем-то..
Очень рекомендую. Тем более, что качество на уровне. Я не спец в этих нюансах и не могу сказать хорошо ли сохранилась плёнка или толково реставрировали, но посмотрите.
http://www.imdb.com/title/tt0017925/

 , ,

Stahl
()

Как стать умнее?

Форум — Talks

[жж]
Осознал, что при столкновении с задачами, подразумевающими думанье, отличное от стандартного, я почти полный лох. Примеров таких задач в Интернете полно, даже на ЛОРе их постили. А ведь их решать научиться нужно не ради превосходства в решении абстрактынх головоломок, а ради весьма конкретной необходимости IRL. Вот читаешь «Шерлока Холмса» или что-то вроде и понимаешь, что как главные герои до всего додумываться, да ещё и так быстро, не смог бы... Пробовал (и пробую) тыкать шахматы: установил gnome-chess (кстати, где там вообще настройки?), сыграл c ИИ кучу партий и ещё ни разу не выиграл, т. е. строить стратегию я тоже плохо могу.
[/жж]

Как развивать способности быстро находить выход в нестандартных ситуациях, продумывать стратегию? Продолжать учиться шахматам, пытаться решать головоломки? Или есть какие-то иные способы, кроме подхода «в лоб», возможно более эффективные?

Линукс тут при том, что чтобы под него программировать годные вещи, нужно хорошо думать.

UPD. Всем, кто советует читать учебники и другие книги: Как стать умнее? (комментарий)

 , , ,

sudopacman
()

туризма тред Великий Новгород

Форум — Talks

Посетив с помощью лоровцев Минск я собираюсь на следующие выходные в Великий Новгород. Что можно посмотреть,куда сходить ?Какие подводные камни и места куда не стоит ходить с девушками?

 , ,

GNU-Ubuntu1204LTS
()

В чем «соль» «Конкретной математики»?

Форум — Talks

Вопрос по сабжу. То есть, все эти рекуррентные соотношения, производящие функции, частные суммы и т.д., все это, конечно, хорошо и кучеряво. Но, где тот «мостик», который ведет от теории к плодотворной практике, а не просто к общеизвестной 4-х томной монографии того же автора?

 , , ,

Twissel
()

А кто нить баребоны покупал на ali ?

Форум — Talks

 

Jopich
()

#ITPRINCESS

Форум — Talks

Интересно, что для девушек тоже есть конкурсы в IT-сфере, #ITPRINCESS

Сегодня наткнулся на этот сайт, делая небольшую подборку хакатонов и IT-конкурсов России.

 ,

pacify
()

Вышел второй том учебника А. В. Столярова

Новости — Документация
Группа Документация

На сайте А. В. Столярова объявлено о выходе второго тома книги «Программирование: введение в профессию». Учебник А. В. Столярова примечателен, в частности, ориентацией на ОС семейства Unix (в том числе Linux) в качестве единой среды для обучения программированию. Электронная версия книги выложена в открытый доступ на сайте автора.

Во второй том вошли части, посвящённые ассемблеру NASM и языку Си.

Как отмечается в предисловиях к обоим томам, издание стало возможным благодаря успешной краудфандинговой кампании. В настоящее время продолжается сбор средств с целью написания и издания последующих томов; итоговая серия будет состоять из трёх или четырёх книг.

>>> Подробности

 , ,

Croco
()

JavaScript?!

Форум — Development

Бобра всем форумчанам.

Недавно переквалифицировался из чистого бекенда во фронтенд и открыл для себя прекрасный мир JavsScript (оказывается это давно уже Язык, зря к нему так относился пренебрежительно). Появились некоторые вопросы:

  • Что можно почитать из книг именно по ES6?
  • Аналогично - посоветуйте что нибудь по Node.js
  • Так же - по Express и Jade
  • Есть ли какой-нибудь фреймворк для создания игр для декстопа (не html5) кроме Cocos2d (по нему очень плачевные доки для JS)?
  • Какой фреймворк для декстоп приложений рассмотреть? Qt/QML не предлагать - интересен именно фреймворк с поддержкой ES6.
  • Аналогично предыдущему - для мобильников.
  • Лучшая IDE?

Всем спасибо за ответы!

 , , ,

silver-bullet-bfg
()