LINUX.ORG.RU

Избранные сообщения goingUp

Оцените архиватор (дедупликатор) hashget для бэкапов. (архив менее 1%)

 , , , ,

Привет!

Поглядите пожалуйста мой новый «велосипед» - дедупликатор hashget. Начнем сразу с интриги:

Сравнение

Data sampleunpacked size.tar.gzhashget .tar.gz
Wordpress-5.1.143 Mb11 Mb ( 26% )155 Kb ( 0.3% )
Linux kernel 5.0.4934 Mb161 Mb ( 20% )4.7 Mb ( 0.5% )
Debian 9 (LAMP) LXC VM724 Mb165 Mb ( 23% )4.1 Mb ( 0.5% )

Предыстория

Всегда когда целиком бэкапил виртуалку, у меня было некоторое ощущение неправильности. С одной стороны, никогда нельзя просто сохранить только нужное (например, /etc, /home, /root и /var/www), потому что при восстановлении из такого бэкапа либо надо будет что-то сделать (поставить/настроить пакет какой-то), либо что-то забудешь положить в архив, например, утилитку из /usr/local/bin. А нужно - чтобы из архива автоматически получить точно ту же исходную систему, без «жаль забыл еще то и это в бэкап включить».

С другой стороны, паковать всю машину с файлами apache, mysql (о! базы mysql еще забыл в предыдущем списке) - получается примерно гигабайт исходных данных даже на скромную чистую LAMP машинку где еще нет ничего ценного. Очень большой overhead.

И еще у бэкапов есть важное свойство - делаем мы их регулярно, храним их (и оплачиваем хранение) каждый день. А вот восстанавливаемся из них - раз в 5 лет. Соответственно, лишний гиг каждого бэкапа обходится довольно дорого.

Hashget

Hashget - делает только дедупликацию. То есть, смотрит, какие из файлов для архивации можно при восстановлении просто скачать (то есть, их для вас уже кто-то надежно хранит) и подготавливает exclude file для tar (опция -X). Например, файлы из пакета apache - в бэкап не пойдут. Файлы из wordpress тоже почти все не пойдут. Но если вы что-то пропатчили (и эти новые файлы отличаются от дистрибутивных) - то эти файлы будут в архиве.

Распаковка делается в два шага автоматом, сначала tar -x …, затем hashget -u … . Он автоматом выкачает то что нужно, положит по нужным путям, выставит те же атрибуты. Вот в примере выше, крошечные архивы по 150Kb / 4M - аналогичны таким же .tar.gz архивам по 160Mb.

Еще можно использовать его для инкрементальных и дифференциальных бэкапов. Тогда новые бэкапы (дельты) будут очень маленькими, и при этом все ресурсы для распаковки будут на собственных приватных серверах (все распакуется даже в случае зомби-апокалипсиса и падения интернета).

В результате

Бэкапы - гораздо меньше. Их можно делать каждый день и хранить хоть все. Это дешево. Можно пересылать по почте, в телеграм-чате, хоть на флоппи-дисках. Заливать на Amazon Glacier и забывать о них. Разложить в десяток разных мест на разных материках, чтобы даже после ядерной войны они сохранились. Все равно это все будет стоить копейки.

Вопрос

Может быть кто-то посоветует еще интересные проекты чтобы автоматически включить их в hashget? (Сейчас каждый пользователь вручную может добавлять их для себя, в том числе и приватные). Интересны проекты, где данные большого размера, прежние релизы доступны по тем же адресам, ну и не новые, чтобы была уверенность в надежности проекта.

Интересны любые отзывы и вопросы по hashget’у.

xen0n
()

Figma для Linux систем (инструмент для проектирования/дизайна интерфейсов)

 , , ,

Figma для Linux систем (инструмент для проектирования/дизайна интерфейсов)
Группа Проприетарное ПО

Figma — онлайн-сервис для разработки интерфейсов и прототипирования с возможностью организации совместной работы в режиме реального времени. Позиционируется создателями как основной конкурент программным продуктам компании Adobe.

( читать дальше... )

>>> Репозиторий GitHub (github.com)

temakonkin
()

Написать бота

 , , ,

Вот в общем представляется возможность покодить, в свободное от работы время, на благо родимого работодателя.

Задумало наше руководство внедрить ботов на сайт, для группы в ВК и для жаббера.

Не охота писать тупой автомат, охота чтобы бот хотя бы грамматические ошибки мог игнорировать.

А в идеале конечно чтобы был связан с нейронной сетью.

В общем научите куда смотреть, чтобы:

1) приделать «обработку» орфографии

2) научить понимать вопрос и выдавать ответ во всем многообразии форм человеческой речи... ну на сколько это возможно.

Не так давно общался с ботом Сбера и Тинькова, они там вполне вменяемые... примерно 2 из 3 вопросов ответили боты.

Что почитать, куда посмотреть.

Чтобы можно было в резюме потом писать: опыт использования нейронных сетей, опыт разработки на {new_language_name}.

Да, в качестве языка думаю выбрать Python, хотя мой босс и против, ибо не знает ничего о нем.

Shulman
()

Вопрос про Upwork?

 , ,

Всем привет! Подскажите пожалуйста, обязательно ли нужно устанавливать официальную тулзу upwork time tracker? Как быть если у меня стоит Arch Linux, не хочется всякий мусор ставить из AUR. А он как раз таки размещен на ауре.Как вы сами работаете в Upwork, если у вас linux?

Перемещено leave из job

Deleted
()

Посоветуйте плеер youtube. И какой софт юзаете?

 

В браузере смотреть ютуб невозможно, есть плагин для коди (или для чего там последнего юзал, уже не помню), тот крутит плавно, но каждое видео прогружает сначала полностью, а только потом даёт посмотреть - выходит в целом достаточно долгое ожидание.
youtube-dl требует ссылку для скачивания, искать её нужно в браузере, где всё тормозит. Посоветуйте гуи тулзу для просмотра роликов.

И кто чем пользуется, относительно нормально работающим, как для лайтового десктопа? Из своих наблюдений заметил, что на моей RPi3 B при использовании стандартного Raspbian со столом Pixel, отмечается секундный лаг при открытии меню. Ради интереса ставил Openbox, но время запуска Firefox не сократилось. Как ни странно, лучше всего себя проявил Ubuntu Mate, там менюшки открываются быстро и без лага. (пробовал поставить голый openbox на распбиан, но разницы в скорости с матэ особо не заметил, т.к. простые задачи так же быстро, а браузер так же долго).
По стандартным браузерам - хромой совсем лагал, огнелисом можно пользоваться (относительно), версией до перехода на движок квантум. После перехода он ещё хуже хромого. Остальные лайтовые браузеры особо не потестил, но мой выбор будет точно не midori, он со своими обязанностями справлялся совсем плохо.
Какой ещё софт можете посоветовать для лайтового десктопа помимо инструментов программирования? Интересует Gui с минимумом клавиатуры.

fehhner
()

Asterisk -VPN (Centos)- Телефон, связь только в одну сторону.

 ,

Добрый день, уважаемые. Столкнулся с проблемой, и как то решить не получается.

суть такая есть сервер Asterisk спрятанный за Centos смотрящим в интернет. Дома есть телефоно fanvil x3s и СИП клиент на компьютере. конфиг open vpn один и на компе и на телефоне. оба подключаются и регистрируются на Asterisk. оба Сип клиента могут звонить. но вот на сип который на телефон е позвонить не получается. Астериск считает что его нет.

Пинг и до Телефона и до компа с сип есть.

конфиг впн упростил как смог

client dev tun dev-type tun proto tcp remote 199.299.99.2 port 1194 resolv-retry infinite nobind auth SHA1 ca ca.crt cert client.crt key client.key cipher AES-256-CBC remote-cert-tls server verb 3 sndbuf 0 rcvbuf 0 comp-lzo

подскажите может кто сталкивался, может в телефоне где то зарыта галочка (фаервол) блокирующая входящие звонки.

PS если номер что на телефоне зарегистрировать в сип клиенте на компе он работает прекрасно!

Koran
()

Поясните за фриланс.

 , , , ,

Здравствуй ЛОРчег!

Шось меня насяльника подзадолбал. Хосяина хороший, а вот насяльника пытается вешать работу, которую мы договаривались, что я делать не буду. Ябедничать хосяину или HR мне влом. Не хочется разборок и обьяснений. Работу менять тоже влом. Дадут мне больше бабла, но насяльника не факт что хорошего дадут. Да и влом мне на енту работу ихнею ездить, сидеть в темном офисе без окон (они не прозрачные, улицу не видно), дома комфортненько, зверинец, холодильник рядом и все такое.

Хочу удаленку и свободный график. Сейчас удаленка раз в неделю. Насяльника хочет что бы я присутствовала в офисе в остальные дни, даже если сижу на отдельных проэктах и ни с кем не общаюсь. Я конечно такой фигней не страдаю, генератор весомых причин отмазок работает хорошо.

График полусвободный, могу приезжать когда хочу, но лимитируют пробки и (не)желание выползать из уютненькой избушечки в какую-то дыру с хреновой вентиляцией и отсутствием натурального света. Получается что работаю я примерно с 10ти до 6ти, что летом не особо устраивает ибо дня бела не вижу. Ехать на работу к 8-9 занимает час вместо 20ти минут, тоесть особо ничего не меняет, только больше выматывает.

Попросить удаленку у насяльника не вариант, он дибил (уже просила, можно выбивать только через HR). Проблема не только у меня, народ изза него увольняется, что конторе влетает в копеечку (у нас тут хроническая нехватка технарей).

То что кодеры фрилансят и попугаю понятно, а вот фрилансят ли девопсы? Админы у нас вроде фрилансят, но просто админить скучно. Люблю извращения автоматизацию.

Вообще, как начать фрилансить? Резюме + портофолио + найти какойнибудь гламурный сайт типо линкед-ина но для фриланса? Как выглядит портофолио девопсы? Что в нем? Примеры скриптов ансибл и прочих терраформов? Темплейты apache/nginx? Завумные статьи а ля «сервера и здравый смысл»? Гениальные хауту «автоматизация для блондинок, от блондинок»? Мудрые наставления в стиле «Как отучить хомячков стрелять себе в яйца»?

Какие есть моральные подводные камни? Сотрудник на пример говорит что у него едет крыша когда слишком долго сидит дома. У меня едет крыша в офисе (нарушение сна, пережор, тревожность/беспокойство, депресняк без причины, выжатость, нехватка энергии... таблетки жрать не хочу, вне офиса все нормально). Когда сижу дома, не испытываю недостатка общения с людьми. Если хочется погулять, на фрилансе в теории больше времени.

ЛОРчег, просвяти на тему фриланса, а то лето скоро, заставлять себя переться в дыру офис все тяжелее и тяжелее, особенно с поведением насяльника, а в новый перезжаем только в конце августа... увы насяльнику лоботомию все же сделать не удасться... наверное...

В общем, на дядю Васю больше работать не охота. Дяди Васи все хорошие, пока коса на камень не нашла, тоесть с моим характером, дело времени.

UDP: То что клиенты имеют свойство выносить мозг я в курсе. Меня это мало волнует. Клиенты у меня чаще всего выдрессированны хорошо, да и стиль работы редко позволяет придраться к чему либо.

UDP2: инглиш, франсэ, еспаньёль, русский и мова разговорные.

Murg
()

Антивирус удаляет рекламу из Adware-программ

 , , ,

ПРиколитесь. Сижу, калибрую аккумулятор клиентского телефона на android. Играю в Knife Hit. Выскакиваеет реклама каждые 3 попытки. И тут начинаются тормоза и при попытке выскочить очередной рекламе(как я потом понял) антивирус перехватывает её и выдаёт «Not a virus - adware» - удавить? Я соглашаюсь и так раз 8. ПОтом спокойно играю и, о чудо, НЕТ рекламы. Он её вырезал, сохранив полную работоспособность игры!
Вы знали об этом? Антивирус был Kaspersky Internet Security.
Я доволен. Протестиррую другие и буду клиентам советовать.

xwicked
()

хостинг с wordpress

 

Нагрузка околонулевая будет, надо только свой домен и какой-то выбор из нескучных тем. Доменное имя буду отдельно брать. На какую минимальную сумму можно рассчитывать?

dikiy
()

Начинаюсь сомневаться в дальнейшей изучении с Django'й?

 , , , ,

Привет всем! Я вот недавно начал изучать питон, заодно вместе с джангой. И начал сомневаться по поводу поиска работы, вообщем везде смотрю python/django-программисты не так уж и востребованы. В основном только php-шники, с ларевелами/вордпресами. Стоит ли дальше штудировать django? На upwork'е смотрю работ связанной с php - около 4к с лишним, а на django - 426 работ. Неужели с python-ом все так печально в вебе? :(

Hufoc
()

Skype после обновления: нет автологина

 , ,

Приветствую Сообщество!

После обновления skype в mint 18.0 xfce не происходит автологин.
Т.е. каждый раз после запуска надо вводить логин и пароль.
и еще каждый раз идет речь о каких-то связках ключей...

А это не удобно.
Как исправить?

mfch
()

Конец эры PHP, Ruby, etc на серверах?

 , , , ,

Захотел тут запилить свой блог с тегами и комментариями, и что бы это все было «реактивно» (React/Vue), чтобы не загружалась вся страница при поиске по блогу, фильтрации постов или добавлении коммента, но при этом что бы роботы поисковиков видели посты и комменты (изначально страница рендерилась на сервере).

И возник у меня вопрос что использовать?

Мне нравиться Laravel(PHP), давно хотел потыкать Rail или Symfony, думаю вот он шанс, и снова НО, как же реактивность?

Если делать бэкенд на PHP/Ruby, то придется и на React/Vue дублировать верстку что бы был нормальный серверный рендер и при этом сохранилась реактивность. Или нет?

Походу выход один запилить сервер на NodeJS, с серверным рендерингом Vue/React.

Но мне не нравится сервер на NodeJS, какие то личные мотивы и скепсис к NodeJS на сервере. Может просто привык к Laravel(PHP) и еще это непреодолимое желание познакомиться с другими фреймворками. Только вот разовая встреча с ними мне не интересна, ведь если все мертво или умирает кроме NodeJS зачем это изучать?

Это что получается PHP, Ruby, etc веб бекенд мертв, остался только NodeJS? Может есть еще им где то место в каких нибудь API или полностью статичных сайтах? Или я просто ошибаюсь с дублированием верстки и чего то не знаю?

Martin256
()

Raspberry pi кто как применяет

 ,

Интересует, в первую очередь, программные штуки типа kodi/plex сервера, сервиса для бекапов и т.д. дерганье GPIO интересует в меньшей степени.

trofk
()

Последствия «четвёртой промышленной революции»

 

Начать хочу с последних новостей {1, 2, 3, 4}.

Мы стоим на пороге четвёртой промышленной революции, когда автоматизация коснётся каждого человека, когда уйдёт в прошлое огромный перечень профессий. Заменять их нечем. Мировые лидеры старательно переводят новое поколение в ИТ, потому что якобы именно в этой отрасли будут зарождаться новые профессии которые придут на смену старым.

Всеобщая истерия тронула именно программистов и разработчиков. Люди в боязни потерять работу входят в IT и начинают обучать программированию детей с школьных парт. Проблема в том что ИТ рынок не резиновый и миллионы новоприбывших отрасль не выдержит.

Корпорациям глубоко наплевать сколько людей останутся без работы, если что-то можно сделать дешевле (заменить программистов ИИ), то они это сделают. Здесь уже поднимается вопрос капитализма и его возможностях выдержать текущую ситуацию, но сейчас не об этом. Может ли исправить положение создание новой экономической теории?!

Хотелось бы узнать мнение ЛОР-сообщества на это.

Artamudo
()

Снова об асинхронности (concurrency) и параллемизме

 , , , ,

Топик из разряда «Я познаю Мир».

Вот есть сравнение сабжевых понятий, но у меня вопрос в другом, есть ли накладные расходы (overhead) от использования «зеленых потоков» со стороны как ВМ языка реализации, так и ядра конкретной ОС и если есть, то насколько они велики?

И где можно почитать о потрохах «конкурентности»?

Как это все взаимодействует со «старым» Сишным ядром, которое как бы ни сном, ни духом ни о какой «зеленке», т.к. там давно есть своя классическая кухня, я правильно понимаю?

К админам, пишу в Talks, чтобы не было комментов от царей и Лолистов-Смайлистов, которые, с их же слов, суровые Javascript-кодеры.

Спасибо за понимание.

Twissel
()

Помощь в изучении English

 

Собственно, есть база языка (прям совсем натянута) и есть желание прокачать словарный запас, потому как сейчас читать даже простые тексты сложно: 40-50% слов знакомо, но связать их в предложение не могу. Как осуществить? Бороздить словарь и тупо заучивать слова? Или читать английские тексты со словарём?

FluffyPillow
()

Где лучше всего вести бложег

 , , ,

Вот бложек есть у меня на wp. Вроде бы норм всё, но вести его дико лень и на той платформе как-то не прёт. Хотя, казалось бы - вордпресс старается не отставать от современных тенденций в вебе, есть статы и всякие ништяки в админке блога - всё равно последние года три туда писать не тянет.

Вроде бы на гитхабе можно хостить с хорошими инструментами и свободой действий, но как-то и не опробовал толком.

А где ведёт бложег лоровец? Ведь в целом технический блог может быть интересным, но не хочется, чтобы он был в тягость. По этой же причине неохота хостить у себя или на съёмке.

UPD: Посмотрел, чего мне насоветовали. Местами довольно неплохие предложения зацепили внимание и я оценил их подобным образом:

  • WP. На нём раньше сидел. Инструментов для персонального блога достаточно, но есть ограничения на расширение их круга. Никакого кастомного интерфейса нахаляву, будь добр выбирать из предоставленных (довольно убогоньких, ИМХО) дефолтных тем. Интерфейс толстый, страница тянет много чего и отовсюду.
  • Github pages. Делай что хошь, но статикой. Вроде бы можно прикрутить комменты и всё такое, если захотеть. Хостинг на гитхабе, поэтому можно видеть просмотры и траффик. Вместо фолловеров есть Star и Watch на репозитории, так что сойдёт. Есть куча всего готового, тот же джекилл. Есть рекоммендации для лимитов, что нашёл это 100k реквестов или 100GiB в месяц, 1GiB на размер репы - для обычного бложега это выше крыши. При превышении не банят, а присылают письмо с вопросом, не треснет ли харя. Причём хостить всякое можно на cdn.
  • Facebook/Vk/Twitter. Имеет смысл если уже есть кодеры повязанные в социалочке, в большом количестве. Никто в поисках решения не будет смотреть там, да и выдача старых постов с таких сервисов маловероятна, поэтому смысла писать туда не особо много.
  • Heroku. Очень хипстерно. Плагины платные. По своей сути очень абстрактная обёртка над чем нибудь. Не понравилось, что самый адекватный язык из предложенных это Scala. Для чего сие предназначено - непонятно, чего оно может - неясно, где его используют на практике - ума не приложу. Квинтэссенция облака.
  • blogger. Почти полностью см. wp. Халявный гуглосервис, а значит вероятность закрытия выше, чем у двери перед носом торгового представителя с новой моделью пылесоса.
  • Medium. См. wp, только ещё хлеще. Болеет желтухой.
  • ZeroNet. Идея самой платформы интересна, но не считаю её подходящим вариантом для моей цели. Такое хорошо бы использовать для чего-то типа wikileaks.
  • diary.ru, lj. Устарело (не путать с просто старым). Для it оно так себе.
  • golos.io. Платформа для раскрутки самой себя, переполнена всякой фигнёй и писать туда никакого резона не вижу.
Bfgeshka
()

Слепая десятипальцевая печать

 

Я довольно быстро печатал, поглядывая на клаву, но сейчас появилась мотивация освоить полноценную слепую десятипальцевую печать рус\lat. Погуглив какие есть тренажёры под Linux, выбрал KTouch: yaourt -S ktouch.

Сижу, слушаю аудиокниги, изображаю акулу пера дятла клавиатуры. Столкнулся с трудностью преодолеть предел 150 знаков в минуту, и застрял на уроке:

https://habrastorage.org/web/b7b/a54/9e6/b7ba549e6f9b430c84925c8a4b3451d0.png

Подсвеченные клавиши - это те, которые участвуют в упражнении.

Уроки в KTouch построены по принципу добавления с каждым уроком новых клавиш и удержания скорости набора на одном уровне для перехода к следующему уроку. Клавиши добавляются сначала на линии положения пальцев обеих рук на клавишах «фыва» и «олдж», затем по сторонам от них и выше-ниже.

Однако я часто опечатываюсь, нажимая соседнюю клавишу, теряю контакт с помеченными выступами клавишами FJ, нажимаю букву не тем пальцем. Уроки в KTouch просто практика с повышающейся сложностью, не дающая мне ответов как повысить уровень и исправить типичные ошибки.

Просто муштра пальцев, непрерывный набор до изнемозжения только отупляет, пальцы начинают дружно посылать мозг нхй, через неск часов я перестаю мочь имя своё набрать без ошибок)

Посоветуйте пособия пожалуйста. Текст, видео.

hikikomori
()

Подбор железа (CPU+mem+MB)

 , , , ,

Мой старый боевой товарищ стал уже совсем старым, чувствую долго он не протянет. Начал задумываться об апгрейде (путём замены всех потрохов). Но я совершенно не в теме современного железа (в последний раз интересовался железом лет восемь назад), так-что прошу совета.
Нужны:
Проц;
Память. 16гб, потом когда-нибудь добавлю до 32;
Материнка. 4 слота памяти (что-бы можно было в будущем легко удвоить память), возможность установить быстрый SSD (так понимаю сейчас в основном M2 используется).

БП останется старый (он и так недавно менялся), диски — отдельный разговор для отдельной темы.

Комп нужен тихий. Работать на нём будет только онтопик, так-что отсутствие проблем с совместимостью — критично (хотелось-бы минимизировать пляски с дровами). Игори в число приоритетных задач не входят, хотя возможность поиграть в относительно старые игры будет плюсом, так-что думаю ограничиться интегрированной видюхой (опять-же шума будет меньше, и можно не обращать внимание на холивары nvidia vs amd :). Потом может воткну что-то дискретное (например ради третьего Ведьмака, судя по отзывам он уж очень хорош).

В основном смотрю в сторону Intel, потому-что их видюхи кажется неплохо поддерживаются в онтопике, к тому-же в AMDшном железе я разбираюсь ещё меньше чем в Интеловском.

Ориентировочный бюджет — 25 килорублей

MrClon
()

Кто тут музыку для бекграунда искал?

 , ,

Знаю, я искал, но помню еще темы проскакивали, короче вот утащил с редита ссылку http://tabletopaudio.com/ - качественная подборка.

foror
()