Посоветуйте плз что почитать на тему парсинга страниц, когда информация ищется на основе нечетких правил(не знаю блин, как это сформулировать). Предположим, мне нужно искать состав продуктов на разных сайтах, блоки в хтмл могут называться по разному(т.е. тут обращением к элементу дома не отделаешься), собственно говоря, как такаое делают?
Помню тут парень один нечто подобное писал - поделись опытом)
Всем привет, хочу продолжить тему работы с файлами в ФП. Тут недавно были примеры, но очень тривиальные, прочитать-записать. Вопрос такой, как в ФП-языке считать в память огромный файл как двумерный массив, и чтобы он а) занимал в памяти столько же места сколько на диске б) доступ к элементам был быстрый (О(1))?
Предистория такова, мы обрабатываем изображения с телескопов, там счёт идёт на сотни мегапикселей, и глубина пикселя 32 бита. Так что типичное изображение ~ два с половиной гигабайта, для этих целей специально собраны счётные узлы с 4 Гб RAM. Это чтобы изображение поместилось целиком в память, и оставалось на промежуточные буферы для накопления результатов. Естественно, все рассчёты написаны на Си и С++, работает быстро, памети хватает. Но код некрасивый, много повторяющихся конструкций и т.п. Народ в основном закостенелый из старшего поколения, ничего кроме Си и фортрана не знают, а я хочу попробывать более современные языки.
Так что буду благодарен за примеры чтения массивов для Haskell и особенно Scheme. И чтобы можно было посмотреть, сколько памяти реально израсходовано. Спасибо!
Решил немного отвлечься от новеллы и привести в порядок аниме конструктор для блендера. Итогом стал релиз кандидат под нумером 4 - RC4-«REDBIRD». Доведен до ума риг персонажа, пофикшена проблема с развесовкой в области таза, исправлены проблемы с IK - которыми страдал риг от makehuman 0.7, который и брался за основу рига как более удобный для анимации(щаз тут начнутся советы про ригифай - к черту ригифай - его ещё сильнее надо править из моего опыта работы с риггингом).
Что до сих пор не сделано: Всё ещё хочется завернуть эту радость в плагин для блендера, а не темплейт.
Что до возможностей - уже сейчас можно быстро собрать аниме персонажа - например эту девочку с мечом я сообразил за час где-то - дольше сам меч придумывал.
Что в планах? Завернуть это дело в плагин или портировать обратно в makehuman сделав его форк. Сделать отдельный темплейт для мужских аниме персонажей. Ну и конечно уже в каком то виде темплейт выпустить.
Ну и помимо прочего я немного вернулся к manga-shading'у(картинка в левом верхнем углу). Пока не знаю во что это выльется. Как то оно так.
>>> Просмотр (1920x1080, 1281 Kb)
Ситуация для моей области типичная. Попадается типичная кривая. Надо её аппроксимировать до суммы нескольких кривых плотностей распределений Лоренца. Для начала хотелось бы разобраться с поиском пиков (x_1, x_2 и x_3). Хочется отметить, что пик на x_2 особый и в его окрестности первая производная нигде нулю не равна. Вроде бы всё ничего, но если увеличить хорошенько масштаб то вся кривая у нас такая.
Мои товарищи по цеху в отличие от меня уже все почти профессора и с умным софтом каким-то имели дело (проприетарным), но всё равно делают почти всё вручную. Я вот не унимаюсь и думаю что со всем этим могла бы неплохо справиться машина. Хотя бы с поиском пиков, для начала.
Не могу определиться с методом. Можно было рассчитать сплайн типа кривой Безье для упрощения, но проблема в том что точек очень много и производительность сильно упадёт.
В голову также приходила скользящая средняя, но она мне что-то не нравится.
Может можно бы каким нибудь хитрым статистическим методом определить области пиков и там рассчитывать более простой сплайн. Прошу совета в общем.
Силами кафедры теоретической физики физического факультета Новосибирского государственного университета были записаны лекции по физике. Исходные видеофайлы выложены в открытый доступ под лицензией CC-BY-SA 4.0.
Значимые изменения после предыдущего сообщения: добавлены оставшиеся лекции спецкурса по Двухфотонной физике (Сербо В. Г.), Физики атомного ядра (Дмитриев В. Г.), добавлены семинары по Теории сильных взаимодействий (Резниченко А. В.), лекции Астрофизика в Антарктике (Дэвид Бессон), Лекции по космологии (профессор Долгов А. Д.), а также Семинары теоротдела ИЯФ им. Г. И. Будкера.
( читать дальше... )
С виртуальными машинами дел не имел (только в убунте гуёвый виртуалбокс несколько раз тыкал). Как реализовано их управление через консоль не представляю (по аналогии с chroot — консольная сессия, или процесс в фоне, который не связан с терминалом?).
Нужна система виртуализации для конкретной задачи: тестовая установка ПО.
Требования:
Тихо, но незаметно вышла новая версия Tiled — свободного редактора тайловых карт. Основным новшеством этого релиза стала поддержка гексагональных карт (подробнее).
Другие изменения:
>>> Подробности
Делаю небольшую тулзу поиска по логам. Суть в том, чтобы прочитать большой текстовый файл построчно и поискать по каждой строке регэкспом некоторую подстроку.
std::ifstream infile(fname);
while (std::getline(infile, line)) {
// обрабатываем строку
}
Все это дело работает достаточно медленно. Как показывает профилирование - основная часть времени - std::getline, если убрать всю обработку и оставить только чтение файла - время выполнения программы практически не меняется. Если заменить ifstream и std::getline на fopen и fgets - то скорость возрастает примерно в 10 раз. Подскажите, как правильно готовить ifstream, чтобы скорость была сопоставима с fgets.
Силами кафедры теоретической физики физического факультета Новосибирского государственного университета были записаны лекции по физике. Исходные видеофайлы выложены в открытый доступ под лицензией CC-BY-SA 4.0.
Значимые изменения после предыдущего сообщения: Добавлены все лекции спецкурса Избранные вопросы нелинейной и хаотической динамики (Жирова О.В), добавлены в первый раз лекции по Двухфотонной физике (Сербо В.Г.), семинары по Физике элементарных частиц (Сковпень Ю.И.), Физики атомного ядра (Дмитриев В.Ф.), а также «Экскурсия» в теорию струн (Померанский А.А.). Появился неофициальный YouTube канал кафедры.
( читать дальше... )
В этом треде мы помогаем лоровцам получше понять и разобраться во всяких интересных математических концепциях. Кто-то до сих пор не понимает почему на ноль делить таки нельзя; кому-то нравятся аналогии «на пальцах» вида детерминант — ориентированный объём, ковектор — (n-1)-мерная плоскость; кому-то будет интересно узнать, что из алгебраической топологии, интеграл это всего-навсего произведение цепи на коцепь. А кто-то до сих пор не знает что такое тензор; возможно, не всем известно, что механику, электродинамику, теорию относительности и квантовую теорию поля можно локально вывести из наикрасивейшего лагранжева формализма; зачем нужны алгебры Ли; что такое ковариантная производная; в чём отличии гомологий от гомотопий, ну и так далее.
Заметьте, это не тред ответов на вопросы вида «почему небо голубое» — за этим идите в гугл; это не тред выполнения за вас домашних заданий — решайте сами; это не тред споров с фриками — игнорируйте их; это тред добра и просвещения. Однако в идеале вы уже должны иметь представление о математике и физике хотя бы на уровне первого-второго курса. Здесь так же можно просить и рекомендовать литературу, можно посылать в английскую википедию, можно и нужно объяснять как можно проще и доступнее (пускай и совсем неформально). Главное, чтобы у зашедшего лоровца появился интерес и желание учиться.
У меня есть программа на С++ для расчетов методом конечных элементов.
В силу того, что написана была не очень удачно (имеется плохие структуры данных и некоторые недостатки в алгоритме всей программы),
нужно ее переписать с использованием правильных алгоритмов и технологий.
В программе нужно перейти на использование blas для увеличения скорости работы с матрицами.
Возможно в будущем придется добавить возможность использования MPI или Cuda/OpenCL.
Также ее нужно сделать более универсальной.
Поэтому возникли следующие вопросы:
1. Какие технологии и библиотеки использовать для программы?
2. Какую реализацию работы с матрицами выбрать?
3. Какой язык программирования (c++, fortran, python) выбрать и какая библиотека blas лучше подойдет?
4. Использовать ли boost и итераторы?
Тем временем под андроид тихо и незаметно вышли иксы, которые не тормозят в отличие от хвнс, не требуют пришибать сервисы андроида в отличие от хорг и из коробки дружат с тачскрином в отличие от обоих вариантов.
Сообщение набирал с планшета под этими же иксами.
В остальном дефолтное lxde на дебиановом чруте.
https://play.google.com/store/apps/details?id=x.org.server
>>> Просмотр (1280x752, 160 Kb)
Дамы и господа, на скриншоте вы видите запущенный на 4 нексусе Android 4.4, на котором запущен Linux Deploy, в котором развёрнут Debian Sid, в доме, который построил Иен.
В оный дебиан запилены zsh, tmux, vim, python3/numpy/matplotlib/ipython, matchbox-wm (чисто чтобы окошки на весь экран раскукоживал) и ещё пара мелочей, жизненно необходимых на мобильнике каждому здравомыслящему человеку.
Общение со всем этим производится трансректально, а именно: ConnetctBot'ом цепляемся на локалхост черезз SSH, а картинку гоним на XServer XSDL (Спасибо 
PolarFox за рекламу).
В итоге получаем возможность допиливать и гонять свои быдлоскриптики для обработки шибко научных данных непосредственно на смартфоне, а так же показывать начальству получившиеся картинки прямо как в фантастических фильмах про хакеров. Добавить бы к этому великолепию хардварную клавиатуру, и я, наверное, даже идиотом себя в процессе чувствовать перестану. ☺
>>> Просмотр (1280x1536, 418 Kb)
