LINUX.ORG.RU

Форум

Активные теги:

 , , , , , , , , , , , , , ,

В команду 2aix.ru требуется data scientist на постоянную основу

 


Место работы — удалённо.

График — гибкий (обговорим отдельно).

ЗП — от 100 000 (зависит от компетенции и вовлечённости, обговорим отдельно).

Без трудоустройства, в идеале — работа с самозанятым.


Мы — команда разработчиков, математиков и аналитиков, создающая собственную платформу спортивной аналитики на основе данных, статистических моделей и алгоритмов машинного обучения.

В течение нескольких лет мы развиваем систему, которая анализирует тысячи параметров каждого спортивного события: статистику команд, индивидуальные показатели игроков, историю выступлений, текущую форму, внешние факторы и множество других данных.

За время разработки мы создали собственные математические модели и алгоритмы, которые прошли проверку на больших исторических выборках и тысячах реальных событий. Но спортивная индустрия постоянно меняется: появляются новые стратегии, меняется поведение команд, обновляются подходы к формированию коэффициентов и меняются сами данные.

Поэтому мы продолжаем развивать платформу и ищем Data Scientist, который поможет совершенствовать существующие модели, находить новые закономерности и создавать более точные алгоритмы анализа.

Чем предстоит заниматься:

— разработка и улучшение моделей машинного обучения;

— исследование больших массивов спортивных данных;

— поиск новых признаков (Feature Engineering) для повышения качества моделей;

— построение и тестирование прогнозных моделей;

— анализ эффективности существующих алгоритмов;

— проведение статистических исследований и проверка гипотез;

— работа с временными рядами и историческими данными;

— оптимизация процессов обработки и подготовки данных;

— участие в развитии архитектуры аналитической системы.

Наши требования:

— опыт работы в роли Data Scientist / Machine Learning Engineer;

— уверенные знания Python и инструментов анализа данных;

— опыт работы с библиотеками Pandas, NumPy, SciPy, Scikit-learn;

— понимание алгоритмов машинного обучения (Regression, Classification, Clustering, Ensemble Methods);

— опыт построения и оценки ML-моделей;

— понимание методов валидации моделей и предотвращения переобучения (Cross-validation, Regularization, Overfitting Control);

— знание статистики, теории вероятностей и математического моделирования;

— опыт работы с большими наборами данных;

— уверенное владение SQL;

— понимание процессов подготовки данных (ETL, Data Cleaning, Data Transformation).

Будет преимуществом:

— опыт работы с прогнозными системами;

— опыт анализа спортивной статистики;

— знания в области временных рядов (Time Series Forecasting);

— опыт работы с алгоритмами Gradient Boosting, XGBoost, LightGBM, Random Forest;

— опыт работы с нейронными сетями (PyTorch, TensorFlow);

— понимание принципов вероятностных моделей и Bayesian подходов;

— опыт работы с облачными технологиями и большими данными;

— навыки работы с Linux, Git, Docker.

Что мы предлагаем:

— участие в развитии сложной аналитической платформы;

— работу в команде программистов, математиков и специалистов по данным;

— задачи, где результат напрямую зависит от качества моделей и исследований;

— возможность влиять на развитие продукта и архитектуру системы;

— удалённый формат работы;

— долгосрочное сотрудничество.

Мы ищем не просто специалиста, который будет обучать готовые модели. Нам нужен человек, которому интересно исследовать данные, находить новые закономерности и создавать технологии, способные работать с большими потоками информации.

Если вам интересны машинное обучение, математика, алгоритмы и спортивная аналитика — будем рады познакомиться.

Kadmus38
()

Восстановление ZFS. Поиск удаленного Zvol 4 дня спустя.

 , ,

Недавно мне довелось столкнуться с задачей, когда клиент случайно удалил важный Zvol, содержащий множество документов пользователей, но его отсутствие заметили, только через на следующий рабочий день + время на ожидание обслуживающего персонала, кода пул активно эксплуатировался (прошло близко к 100 000 транзакций).

Классическое решение с анализом MOS, поиском объектов не увенчалось успехом. Проверка связок UB/MOS также была безрезультатной и фактически отражало лишь последние 20 минут жизни пула. При этом часть связок уже имела явные проблемы неполноты древа из-за перезаписанных блоков с метаданными.

Все осложнялось используемым сжатием LZ4. Коммерческие продукты такие как PC3000Express, UFS Explorer, Klennet Recovery в данной ситуации также ничем не помогли.

Пришлось рассмотреть задачу иначе: написать анализатор объектов ZFS (поиск сжатых и несжатых DMU и Indirect blocks). Собрать информацию с пула и проанализировать осиротевшие метаданные, которых в результате поиска обнаружилось заметно больше, чем через MOS.

Дальнейший метод строился на определении особенностей нужного Zvol, чтобы понять какого рода древо нас ожидает и сколько уровней. Для Zvol с заявленным размером 300ГБ и около 200Гб занятого (фактические в аллокации) и блоке в 64кб нас ожидает структура L3-L2-L1 - L0 (данные).

После того как появилось понимание чего ждать в древе, то был проведен анализ все связок L3-L2 (как приближенная оценка с высокой гранулярностью) чтобы отбросить все то, что не является структурами искомого Zvol.

Дальше выяснилось, что из-за принципа CoW ZFS за 100 000 транзакций уже успела переписать немало. Отдельно целого объекта уже не существует ни в одной копии. Сбор из сотен обрывков в итоге дал результат, что удалось собрать виртуальный диск, который уже содержал около 75-80% живых файлов.

Подробнее я изложил на хабре в публикации «Восстановление данных с ZFS: задача со звёздочкой об удалённом Zvol»

К сожалению там с аудиторией не получилось диалога (он отсутствовал, вероятно сильно специфическая тема). Хотелось бы обсудить с профильным сообществом перспективы развития подобных методов восстановления данных и какие реальные потребности пользователей возникают.

hddmasters
()

Подкроватный сервер по-богатому

 , ,

Не знаю, как я пропустил это. Во всяком случае, не нашел темы на ЛОРе. Известный производитель рекламных роликов на Ютубе, LTT, снял проплаченный обзор на дата-центр Хецнера.
Там все прекрасно: стелажи как на складе и десктопные матерински на них, собранные в «корпусах» типа «открытый стенд».
Нет, там есть и нормальные серверные комплектующие, но они собраны в тех же открытых стендах.
Конечно, господа эксперты и так про это знали. Но одно дело знать, а другое - увидеть, хотя бы на видео.

Ссылка на оригинальное видео на английском языке: https://m.youtube.com/watch?v=MQeJYEN_lrg
Видео называется «This DIY Datacenter is NUTS - Hetzner Tour», если будете искать перезалив.

Линукс тут при том, что на ЛОРе не раз советовали хостинг от Хецнера.

Khnazile
()

Emacs treesit установка грамматик

 , , treesit

(use-package treesit
...
(elisp . ("https://github.com/Wilfred/tree-sitter-elisp" "1.7.2" "src/"))
...

treesit-install-language-grammar клонирует репозиторий и не компилирует .so. Я уже поставил

gnumake
gcc
npm

Но не собирает. Из дериваций собирать не хочу, т.к хочу конкретно для emacs оставить обратную совместимость с debian

bryak
()

Я изобрёл DLSS6

 , , ,

Пока Хуанг доказывает, что DLSS5 будущее игростроя, а остальные кидаются в него помидорами, мне тут подумалось вот что.

DLSS5 просаживает производительность даже RTX5090, проявляется это в снижении FPS, мне попадались сообщения, что от ~100 кадров, в некоторых играх остаётся ~25.

Картинка становится дёрганой, теряется плавность, приличные доны в такое играть не будут.

И вот это всё навело меня на мысль, может же ИИшечка научится рисовать кадры так, как они выглядят на киноплёнке. То есть экспозиция в ~1/25 приводит к размытию динамичных объектов на проявленном кадре, а статичные объекты выглядят чёткими.

Так вот кино использует 24 кадра примерно 50 лет, и картинка там всегда выглядит плавной.

Чтобы получить Cinema-эффект нужно научить нейронку изображать этот эффект на лету. Можно применять этот эффект как к большему, так и к меньшему числу кадров. То есть никто не заставляет использовать 24 кадра, можно и 60, и 120. Тогда исходить что выдержка будет 1/60, 1/120 и так далее.

Тогда будет хватать меньшего числа кадров, а картинка будет выглядеть более естественной.

PS. Тред заряжен на привлечение клоунов и ненужнистов:)

unclestephen
()

Монтирование диска NTFS в Debian13

 ,

Доброго времени суток.

Вопрос не нов, но победить не могу и поиск не помогает.

Лет много не было линукса на десктопе и вот снова пришло время вернуться на кошерную ОС.

Debian13. GNOME.

Есть файлопомойка на NTFS, система диск видит через «управление дисками», но не могу примонтировать.

# mount -t ntfs-3g /dev/sdc3 /mnt/win
NTFS signature is missing.
Failed to mount '/dev/sdc3': Недопустимый аргумент
The device '/dev/sdc3' doesn't seem to have a valid NTFS.
Maybe the wrong device is used? Or the whole disk instead of a
partition (e.g. /dev/sda, not /dev/sda1)? Or the other way around?

Как это победить?

Прошу прощения, если вопрос совсем глупый.

У меня тут еще вопросы по девайсам Razer накопились.

pyometra
()

Можно ли заниматься локальным ИИ на AMD или нужна только Nvidia?

 , , , ,

Всем привет. Я решил попробовать заняться Нейросетями и всем с ним связанным (пока ничего конкретного, тк только начал и еще не вникнул и не определился, но думаю для начала хочу использовать их для генерации изображений и вайбкодинга, + писать ИИ ассистентов, генерация видео Wan, обучение и вывод LoRA и тд) и еще попробовать использовать локальный ИИ. Так вот какое железо нужно для этого? Я сейчас хочу купить ноутбук на социальный контракт. Ноутбук изначально беру для другой деятельности, но тк планирую в перспективе и ИИ заниматься, то хочу такой который и это сможет потянуть по крайней мере на уровне выше среднего. Имею ввиду потянуть локальный ИИ. Сейчас мой фаворит 13.4" Ноутбук ASUS ROG Flow GZ302EA-RU086W с AMD Radeon 8060S Graphics тк он вроде бы достаточно мощный для всего, включая локальный ИИ надеюсь и + легкий и мобильный (мне это важно тк часто работаю в коворкингах и институте, а таскать тяжелую махину некомфортно). Так вот что скажете, подойдет он для всех сценариев работы с ии, включая достаточно серьезный локальный (понятно что самые топовые модели не потянет, но все-таки хотелось бы чтобы справился с достаточно серьезными). И еще, как нейронки дружат с AMD? Просто я так понял что NVIDIA лучше тк там CUDA, и получается локалки оптимизированы под нее. Но можно ли все -таки этим полноценно заниматься на AMD или это прям херня полная и много чего будет недоступно? Есть кто именно на AMD работает? Поделитесь стоит ли мне его брать, или однозначно нужен только ноут с NVIDIA?

Ссылка на ноут: https://www.dns-shop.ru/product/3f5f5da1cf26d9cb/134-noutbuk-asus-rog-flow-gz302ea-ru086w-cernyj/

DILA7N
()

Ну что ж, ЦЕРН съезжает на Дебиан

 , , ,

В догонку к прошлому переезду на альму и планах на центось стрим, в церне таки пораскинули мозгами и решили держаться от шапки подальше.

ya-betmen
()

Бегство с GTK продолжается

 , ,

Привет, чят!

Тут пару часов назад вышла новая версия Audacity 4.0 (новость писать не буду, не вижу смысла), основная фича в которой – переписанный с wxWidgets (почти GTK лол) на Qt6 интерфейс. У меня всё больше и больше складывается ощущение, что из-за повёрнутости авторов GTK на гнуме и почти полном покладании болта на работу в других средах, на GTK скоро софта вообще не останется.

В принципе, не скажу, что вижу в этом что-то ужасное, но крайне забавно наблюдать, как группа абсолютно упоротых товарищей смогла угробить чуть ли не самый популярный тулкит для построение интерфейсов в опенсорце, пока злые проприетарщики из Qt молча делали свою работу и в ус не дули.

Такие дела, чят. Продолжаю наблюдения.

yorshka
()

UI/UX - доказательная дисциплина?

 

Если выделить UI/UX в отдельную область знаний, дисциплину, как определить, что нововведения в нём - в большей степени желание пользователей, а не маркетологов, которые эти желания выдумывают из одного места.

Два примера.

  1. дегенераты из Daimler AG (нынче Mercedes Benz AG) предложили в одном из поколений систему инфотейнмент без физических кнопок, абсолютно всё управление через тачскрин. А на морозостойкость тачскрины не проверили. В итоге тачскрин просто переставал работать в тех регионах, где температура опускалась ниже определенной планки, и водитель оставался без навигации; Потом, осознав свою ущербность, перестали делать системы без физических кнопок;

  2. опенсорс шахматный сервис lichess.org выпустил новую версию клиента для андроида (на счёт иОС не в курсе). На мой взгляд, интерфейс стал менее контрастным, менее интуитивным и более тормознутым. Т.е., его разрабатывал человек, которого вообще нельзя допускать к разработке чего-либо. Как вы думаете, был ли опрос пользователей на предмет «хотим сделать менее эргономично и более тормознуто. Согласны?»

seiken
()

Что на самом деле интересует «Linux геймеров»

 

Понятно, что никаких серьёзных исследований по этому поводу не проводилось и вряд-ли будет, поэтому «наброшу».

Предыстория: у меня есть небольшая группа на Steam созданная для публикации обзоров: «Записки линуксоида»

Статистика Top10 числу просмотров из 493 рекомендаций (название, время публикации, число просмотров):

Ну что можно по поводу этой статистике сказать (ничем не обоснованный наброс): «Девушек-геймеров-линуксоидов» не существует.

Update: Если по ссылке на куратора перейти на вкладку «Лидеры продаж», то можно увидеть, что на первом месте гордо стоит Being a DIK (верно на 03.09.26), так что озабоченные не только линуксоиды (наброс, опять же без каких-либо претензий и оснований).

Evgueni
()

Динамика популярности лора

 

А можно где-то посмотреть динамику популярности лора? Кому он нужен в 2026?

Я на лоре был с 2009 вроде, когда были всякие вилдродни, штирлицы, выферы, исдены и прочее. Иногда тянет зайти сюда и понаблюдать за деградацией ресурса. А недавно решил что-то написать, так мне сразу снесли 14 этих ваших очков. Интересно, много ли желающих будет сюда что-то писать после такого.

Плюс по тому, что реклама здесь годами не меняется, возможно у владельцев лора с этим qратором какой-то договорнячок, или кто-то из админов там работает. Купили пожизненную рекламу на лоре лол. А без этого не понятно, как бы сайт вообще монетизировался.

Итак, колитесь, что у вас с популярностью?

lolkasosaka
()

Как собираете автоматом изменения?

 , , netbox, ,

Коллеги подскажите а как вы в такой конфигурации в netbox автоматом собираете изменения и мониторите их ?

  • Серваки на HP DL385 Gen11
  • Сетевушки дополнительные на них Mellanox , Silicom
  • Proxmox
  • Есть доступ на сервера по ILO
  • Свитчи Aruba
  • Роутеры Fortigate
pinachet
()

Крашится vscode

 

Добрый день. Подскажите - может кто сталкивался?

После недавнего обновления стал закрываться vscode. Oracle Linux 8, GNOME.

Это происходит, например, при запуске по F5 проекта на C, в котором есть синтаксическая ошибка. Успевает показать в выводе инфу про ошибку и сразу весь закрывается.

Аналогично закрывается при попытке отключить некоторые расширения.

Почистил все расширения из терминала, оставил минимум - проблема не ушла. В логах ничего понятного не нашел, есть лишь нечитаемый бинарный дамп.

Paka_RD
()

А каникулы-то удались

 ,

Привет, ЛОР.

Все и всё понимают о сборе публичной статистики, но тем не менее, вот вам свежее распределение десктопных осей по версии Statcounter.

За прошедшее лето (май-август) венда триумфально грохнулась с 76% до 63%, а линукс вырос с 3.8% до 8.8%. В прежние годы таких летних выкрутасов вроде бы не наблюдалось.

Это все ИИ-боты? Это все школьники? Что случилось-то, почему, объясните немедленно.

thesis
()

Сегодня UTF-8 исполнилось ((1<<4)+1)<<1 года

 , ,

Собственно, сабж.

fn main() {
    println!("Сегодня UTF-8 исполнилось {} года. Ура!!!", ((1<<4)+1)<<1);
}

saahriktu
()

Вопрос, насколько актуальны 32х битные системы?

 , ,

Стоит ли бороться за поддержку 32х бит, пилю тут кое что системное экскаватором.

Предполагаю, что на настольной системе 32 бита встретить крайне сложно, а вот может есть какие-то arm старые или тому подобное…

В общем, где такое встретить можно, насколько оно распространено, есть ли что-то на 32 разряда лично у Вас?

unclestephen
()

Идея по повышению популярности lor

 , , личное мнение, личный бренд, платформа

Возможно такая идея была, но мне кажется сейчас буквально все готово для реализации. Возможно стоит сделать в профилях пользователей от одной-трех звезд личный блог. С лимитом до 2-3х записей в месяц. Было бы интересно мысли некоторых личностей почитать, вместо talks, куда не всегда хочется публиковать что-то.

Например /people/{username}/blog/{id}

Так-же развивая идею к этому можно сделать подписку опционально, например:

  1. Если у человека нет одной-трех звезд он с ней сразу может там писать.
  2. Если человек/бренд хочет больше 2-3х записей в месяц.

Цифры взял с потолка, но думаю идея понятна.

Фильтр можно оставить такой же как для talks, т.е. по умолчанию блоги не показывать.

anonymous_sama
()

Билл Гейтс предложил налог на AI-токены и роботов, а в Конгрессе США уже рассматривают похожий налог

 , , ,

26 августа сооснователь Microsoft Билл Гейтс предложил изменить налоговую систему с учётом распространения ИИ и роботизации. В опубликованном на Gates Notes эссе он прямо пишет о необходимости облагать налогом AI-токены и роботов, чтобы уменьшить экономический стимул заменять людей автоматизированными системами и получить средства на переобучение и социальную поддержку работников.

Гейтс объясняет предложение существующим налоговым перекосом: при найме человека государство получает налоги с его труда, тогда как приобретение робота компания во многих случаях может учитывать как расход. По его мнению, тем самым налоговая система дополнительно стимулирует автоматизацию. При этом Гейтс предлагает не облагать одинаковым налогом любое применение ИИ, чтобы не препятствовать его использованию, например, для удешевления медицины и образования, о чём он также рассказал в интервью Reuters.

( читать дальше... )

Источник

Перемещено dataman из ai

unclestephen
()

Защита от превышения напряжения питания

 ,

Хочется кардинально защитить свой комп с линуксом от возможных повреждений из-за некорректного напряжения питания. (а то недавно один лоровец писал что с ним это случилось) Знаю, в бесперебойниках бывает защита от такого, но она там вида «отключим реле когда заметили плохое», при этом у неё очевидно есть задержка реакции или этот выключатель просто может сломаться от того, что ему самому подали плохое питание.

Если допустим предположить, что в розетке окажется 1000В (или 10000В) вместо 220, каким способом можно сделать так, чтобы допустим ничего выше 350В (это примерно амплитуда бытовой 220В сети + ещё чуть-чуть) до оборудования гарантированно не дошло даже на короткое мгновение (а на длинное - не дошло ничего кроме нормальной 220В синусоиды)?

Приходит в голову схема с зарядом-разрядом батарей по кругу, т.е. оборудование работает только от автономного питания батарей, а если на входе окажется что-то опасное то сгорит только зарядный контур ну и может заряжаемая батарея взорвётся, оборудование в итоге окажется обесточено, но живо. но по-моему от такого батареи быстро умрут.

Можно ещё механический трансформатор сделать (мотор крутит вал с маховиком, генератор генерирует из вращения электричество) - он как минимум не даст опасному напряжению распространиться со скоростью света на сторону потребителя, а если мотор не сгорит и начнёт раскручивать вал быстрее чем следует - с этим уже можно что-то будет сделать медленными механизмами на другой стороне. И этот, и предыдущий способ по-моему будут иметь плохой кпд 50% или меньше.

Что ещё можно предложить? А так же, есть ли какая-то общепринятая практика и готовые решения по тому что написал я?

firkax
()

RSS подписка на новые темы