LINUX.ORG.RU

Избранные сообщения fmdw

Парсер страниц с нечеткими критериями

Форум — Development

Посоветуйте плз что почитать на тему парсинга страниц, когда информация ищется на основе нечетких правил(не знаю блин, как это сформулировать). Предположим, мне нужно искать состав продуктов на разных сайтах, блоки в хтмл могут называться по разному(т.е. тут обращением к элементу дома не отделаешься), собственно говоря, как такаое делают?

Помню тут парень один нечто подобное писал - поделись опытом)

 ,

by_zero ()

[ФП] Примеры работы с БОЛЬШИМИ файлами

Форум — Development

Всем привет, хочу продолжить тему работы с файлами в ФП. Тут недавно были примеры, но очень тривиальные, прочитать-записать. Вопрос такой, как в ФП-языке считать в память огромный файл как двумерный массив, и чтобы он а) занимал в памяти столько же места сколько на диске б) доступ к элементам был быстрый (О(1))?

Предистория такова, мы обрабатываем изображения с телескопов, там счёт идёт на сотни мегапикселей, и глубина пикселя 32 бита. Так что типичное изображение ~ два с половиной гигабайта, для этих целей специально собраны счётные узлы с 4 Гб RAM. Это чтобы изображение поместилось целиком в память, и оставалось на промежуточные буферы для накопления результатов. Естественно, все рассчёты написаны на Си и С++, работает быстро, памети хватает. Но код некрасивый, много повторяющихся конструкций и т.п. Народ в основном закостенелый из старшего поколения, ничего кроме Си и фортрана не знают, а я хочу попробывать более современные языки.

Так что буду благодарен за примеры чтения массивов для Haskell и особенно Scheme. И чтобы можно было посмотреть, сколько памяти реально израсходовано. Спасибо!

Ignatik ()

Прикладное ониместроение в Blender

Галерея — Скриншоты

Решил немного отвлечься от новеллы и привести в порядок аниме конструктор для блендера. Итогом стал релиз кандидат под нумером 4 - RC4-«REDBIRD». Доведен до ума риг персонажа, пофикшена проблема с развесовкой в области таза, исправлены проблемы с IK - которыми страдал риг от makehuman 0.7, который и брался за основу рига как более удобный для анимации(щаз тут начнутся советы про ригифай - к черту ригифай - его ещё сильнее надо править из моего опыта работы с риггингом).

Что до сих пор не сделано: Всё ещё хочется завернуть эту радость в плагин для блендера, а не темплейт.

Что до возможностей - уже сейчас можно быстро собрать аниме персонажа - например эту девочку с мечом я сообразил за час где-то - дольше сам меч придумывал.

Что в планах? Завернуть это дело в плагин или портировать обратно в makehuman сделав его форк. Сделать отдельный темплейт для мужских аниме персонажей. Ну и конечно уже в каком то виде темплейт выпустить.

Ну и помимо прочего я немного вернулся к manga-shading'у(картинка в левом верхнем углу). Пока не знаю во что это выльется. Как то оно так.

>>> Просмотр (1920x1080, 1281 Kb)

 ,

wst ()

Поиск пиков

Форум — Development

Ситуация для моей области типичная. Попадается типичная кривая. Надо её аппроксимировать до суммы нескольких кривых плотностей распределений Лоренца. Для начала хотелось бы разобраться с поиском пиков (x_1, x_2 и x_3). Хочется отметить, что пик на x_2 особый и в его окрестности первая производная нигде нулю не равна. Вроде бы всё ничего, но если увеличить хорошенько масштаб то вся кривая у нас такая.

Мои товарищи по цеху в отличие от меня уже все почти профессора и с умным софтом каким-то имели дело (проприетарным), но всё равно делают почти всё вручную. Я вот не унимаюсь и думаю что со всем этим могла бы неплохо справиться машина. Хотя бы с поиском пиков, для начала.

Не могу определиться с методом. Можно было рассчитать сплайн типа кривой Безье для упрощения, но проблема в том что точек очень много и производительность сильно упадёт.

В голову также приходила скользящая средняя, но она мне что-то не нравится.

Может можно бы каким нибудь хитрым статистическим методом определить области пиков и там рассчитывать более простой сплайн. Прошу совета в общем.

 

ados ()

Видеолекции по теорфизике под свободной лицензией (update4)

Новости — Документация
Группа Документация

Силами кафедры теоретической физики физического факультета Новосибирского государственного университета были записаны лекции по физике. Исходные видеофайлы выложены в открытый доступ под лицензией CC-BY-SA 4.0.

Значимые изменения после предыдущего сообщения: добавлены оставшиеся лекции спецкурса по Двухфотонной физике (Сербо В. Г.), Физики атомного ядра (Дмитриев В. Г.), добавлены семинары по Теории сильных взаимодействий (Резниченко А. В.), лекции Астрофизика в Антарктике (Дэвид Бессон), Лекции по космологии (профессор Долгов А. Д.), а также Семинары теоротдела ИЯФ им. Г. И. Будкера.

( читать дальше... )

>>> Ссылки на Youtube и торрент-файлы

 

Evgueni ()

Какую систему виртуализации выбрать?

Форум — Admin

С виртуальными машинами дел не имел (только в убунте гуёвый виртуалбокс несколько раз тыкал). Как реализовано их управление через консоль не представляю (по аналогии с chroot — консольная сессия, или процесс в фоне, который не связан с терминалом?).

Нужна система виртуализации для конкретной задачи: тестовая установка ПО.

Требования:

  • только консоль (гуй не нужен)
  • возможность запуска из скрипта родительской системы, с последующим выполнением определённой программы интерактивно в консоли, запустившей скрипт. При завершении программы — выход из VM обатно в родительский shell
  • возможность оффлайн доступа к дереву ФС виртуальной среды из родительской системы

 , , , ,

teod0r ()

Редактор тайловых карт Tiled 0.11.0

Новости — Open Source
Группа Open Source

Тихо, но незаметно вышла новая версия Tiled — свободного редактора тайловых карт. Основным новшеством этого релиза стала поддержка гексагональных карт (подробнее).

Другие изменения:

  • экспорт по умолчанию использует настройки из прошлого вызова;
  • добавлен хоткей (Ctrl+R) для перезагрузки карты;
  • возможность редактировать названия Custom properties для тайлов;
  • добавлены уникальные идентификаторы для объектов;
  • новый плагин для экспорта в CSV;
  • экспорт карты через cli;
  • поддержка сборки с помощью Qbs;
  • обновлены переводы;
  • и многое другое.

>>> Подробности

 , ,

aidan ()

C++ медленное чтение файла с помощью std::ifstream

Форум — Development

Делаю небольшую тулзу поиска по логам. Суть в том, чтобы прочитать большой текстовый файл построчно и поискать по каждой строке регэкспом некоторую подстроку.

std::ifstream infile(fname);
 
while (std::getline(infile, line)) {
    // обрабатываем строку
}

Все это дело работает достаточно медленно. Как показывает профилирование - основная часть времени - std::getline, если убрать всю обработку и оставить только чтение файла - время выполнения программы практически не меняется. Если заменить ifstream и std::getline на fopen и fgets - то скорость возрастает примерно в 10 раз. Подскажите, как правильно готовить ifstream, чтобы скорость была сопоставима с fgets.

 

Goganchic ()

Видеолекции по теорфизике под свободной лицензией (update3)

Новости — Документация
Группа Документация

Силами кафедры теоретической физики физического факультета Новосибирского государственного университета были записаны лекции по физике. Исходные видеофайлы выложены в открытый доступ под лицензией CC-BY-SA 4.0.

Значимые изменения после предыдущего сообщения: Добавлены все лекции спецкурса Избранные вопросы нелинейной и хаотической динамики (Жирова О.В), добавлены в первый раз лекции по Двухфотонной физике (Сербо В.Г.), семинары по Физике элементарных частиц (Сковпень Ю.И.), Физики атомного ядра (Дмитриев В.Ф.), а также «Экскурсия» в теорию струн (Померанский А.А.). Появился неофициальный YouTube канал кафедры.

( читать дальше... )

>>> Ссылки на Youtube и торрент-файлы

 

Evgueni ()

Я познаю мир

Форум — Science & Engineering

В этом треде мы помогаем лоровцам получше понять и разобраться во всяких интересных математических концепциях. Кто-то до сих пор не понимает почему на ноль делить таки нельзя; кому-то нравятся аналогии «на пальцах» вида детерминант — ориентированный объём, ковектор — (n-1)-мерная плоскость; кому-то будет интересно узнать, что из алгебраической топологии, интеграл это всего-навсего произведение цепи на коцепь. А кто-то до сих пор не знает что такое тензор; возможно, не всем известно, что механику, электродинамику, теорию относительности и квантовую теорию поля можно локально вывести из наикрасивейшего лагранжева формализма; зачем нужны алгебры Ли; что такое ковариантная производная; в чём отличии гомологий от гомотопий, ну и так далее.

Заметьте, это не тред ответов на вопросы вида «почему небо голубое» — за этим идите в гугл; это не тред выполнения за вас домашних заданий — решайте сами; это не тред споров с фриками — игнорируйте их; это тред добра и просвещения. Однако в идеале вы уже должны иметь представление о математике и физике хотя бы на уровне первого-второго курса. Здесь так же можно просить и рекомендовать литературу, можно посылать в английскую википедию, можно и нужно объяснять как можно проще и доступнее (пускай и совсем неформально). Главное, чтобы у зашедшего лоровца появился интерес и желание учиться.

 , ,

mix_mix ()

Переосмысление программы расчета

Форум — Development

У меня есть программа на С++ для расчетов методом конечных элементов.
В силу того, что написана была не очень удачно (имеется плохие структуры данных и некоторые недостатки в алгоритме всей программы),
нужно ее переписать с использованием правильных алгоритмов и технологий.
В программе нужно перейти на использование blas для увеличения скорости работы с матрицами.
Возможно в будущем придется добавить возможность использования MPI или Cuda/OpenCL.
Также ее нужно сделать более универсальной.

Поэтому возникли следующие вопросы:

1. Какие технологии и библиотеки использовать для программы?
2. Какую реализацию работы с матрицами выбрать?
3. Какой язык программирования (c++, fortran, python) выбрать и какая библиотека blas лучше подойдет?
4. Использовать ли boost и итераторы?

 , , ,

Zodd ()

X11 под андроид

Галерея — Скриншоты

Тем временем под андроид тихо и незаметно вышли иксы, которые не тормозят в отличие от хвнс, не требуют пришибать сервисы андроида в отличие от хорг и из коробки дружат с тачскрином в отличие от обоих вариантов.

Сообщение набирал с планшета под этими же иксами.

В остальном дефолтное lxde на дебиановом чруте.

https://play.google.com/store/apps/details?id=x.org.server

>>> Просмотр (1280x752, 160 Kb)

 , , ,

PolarFox ()

Andorid == linux, или прикладное хлебобулочное троллейбусостроение

Галерея — Скриншоты

Дамы и господа, на скриншоте вы видите запущенный на 4 нексусе Android 4.4, на котором запущен Linux Deploy, в котором развёрнут Debian Sid, в доме, который построил Иен.

В оный дебиан запилены zsh, tmux, vim, python3/numpy/matplotlib/ipython, matchbox-wm (чисто чтобы окошки на весь экран раскукоживал) и ещё пара мелочей, жизненно необходимых на мобильнике каждому здравомыслящему человеку.

Общение со всем этим производится трансректально, а именно: ConnetctBot'ом цепляемся на локалхост черезз SSH, а картинку гоним на XServer XSDL (Спасибо PolarFox за рекламу).

В итоге получаем возможность допиливать и гонять свои быдлоскриптики для обработки шибко научных данных непосредственно на смартфоне, а так же показывать начальству получившиеся картинки прямо как в фантастических фильмах про хакеров. Добавить бы к этому великолепию хардварную клавиатуру, и я, наверное, даже идиотом себя в процессе чувствовать перестану. ☺

Скриншот с вимом

>>> Просмотр (1280x1536, 418 Kb)

 , , ,

Axon ()