Высокая загрузка и перестал работать apt

Я б на диск io смотрел. И файловые системы. Плюс загрузить с livecd, memtestы всякие

загрузку пришлось смотреть пыттаься через ps

А top?

Диски все отлично, загрузки вообще нет.

А топ тоже не входит в прокс по умолчанию как оказалось

Отойди и не мешай - кто-то деньги зарабатывает.

По теме: зимбры часом не было на этом сервере?

Нет. Есть на другом в вм , там все ок

Лучше его выключить, снять образ системного диска и аккуратно изучить на другом компе в виртуалке например. Имея образ, можно туда и каким-нить варварским способом top установить например (не трогая оригинал).

по повожу деньги зарабатывает. есть такая версия. но как он туда попал… у меня для подавляющего большинства интернета сервера не существует. все порты закрыты … зайти можно на виртуалки через впн или с нескольких разрешенных адресов…

сейчас попробую проверить с лайвсиди касперского.

проблема в том что завтра с утра сервер должен работать. а лучше сегодня вечером уже.

Ну вот за ночь это всё можно успеть. Ну а вообще твоё дело.

я уже прошлую ночь с ним всю сидел… вторую не факт что выдержу. концептуально образ может и сниму для экспериментов. но серв надо запускать сейчас

Запускай с лайвцд, чтобы исключить железо. Делай образ, чтобы потом разобраться. Проверь бекапы и делай чистую установку прокса, у тебя же там ВМ, вообще должно на изи пройти.

мда, вписать в привычку везде ставить htop набор базовых инструментов %)
вообще если апт накрылся качаешь htop-%%-%%-%%.deb, смотришь чего ему требуется из библиотек, и чего нет на системе - докачиваешь бибилотеки и ставишь .деб через dpkg апт всего лишь качальщик пакетов для него. вообще есть atop кторый уммет записывать и потом просматривать мониторинг.
далее смортеть логи загрузки, работы - мож чего всплывет.
если косяков нет, то пусть завтра отработает, а потом начальству записку на вывод данного сервака на тех.обслуживание…

коль у вас есть набор серверов, свободных от присмотра как сопля в полете, то имхо стоит разворачивать мониторинг и оповещалки - пришло их время.

Скачай руками на свой рабочий комп .deb файл с репозитория, перекинь через scp на сервер и установи через dpkg -i … Если dpkg будет ругаться на зависимости, повторить аналогичные действия для установки зависимостей

я был уверен что топ есть он как бы обычно идет….

в общем точно сидит какое то говно но я через иптаблес поймал его щупальце и обрезал и оно теперь думает что инета нет и не работает дальше уже спокойно буду цеплять

да я так и начал делать… но потом подумал что проще сразу к конечной фазе и рванул в дц уже в прицнипе готов переустановить был… ибо как было сказано выше все вм на отдельных массивах… их подцепить и вернуть конфиги на место - дело 5 минут…

оно теперь думает что инета нет и не работает дальше уже спокойно буду цеплять

Ты оптимист. Всё же в таких случаях обычно отключают оборудование и проводят оффлайн-мероприятия по восстановлению нескомпрометированного состояния.

вообще, у создателей дистров свое мнение, сильно не сопадающее с твоим :)

дропай из запуска/работы:)
вообще пройдись по всем потоками и всё несистемное кильни, а еще лучше из запуска вырежи.
коль выпадет говнецо, то чисти/проверяй систему и поштучно запускай обратно..

у меня для подавляющего большинства интернета сервера не существует. все порты закрыты

Docker-контейнеры есть на хосте?

нет.. только вмки

я не оптимист.. но я просто пока вокруг сервера прыгал заметил - провод убираю он перестает выть.. включаю обратно - раз - пошел на взлет… прописал в иптаблес - логирование всего исходящего трафика - нашел там два странных айпи.. заблочил их с подсетями - нагрузка до 0,1 % стала.. пока смотрю - если что еще вылезет. тоже заблочу…. но пока норм вроде… просто часов в 8 -9 вечера уже нужна будет 1с… а так я пока потихоньку тот же хтоп поставлю еще какие нить варианты обдумаю спокойно, и когда будет запас времени буду уже полноценно потрошить.

То что он не шумит не значит что злоумышленники потеряли к нему доступ. Возможно, доступ пропал к какому-нить майнинговому пулу, и они наоборот зайдут выяснить что случилось, видят что ты их спалил и перепрячут свои трояны получше, уменьшив твои шансы их убрать потом.

Можешь даже у своего руководства спросить, что предпочтительнее: потерпеть день без сервера пока ты аккуратно всё переустановишь на чистую и постараешься выяснить через что они пролезли и исправить ту дыру, или же иметь риск потерять его надольше + кражу данных с него.

загрузку пришлось смотреть пыттаься через ps - тоже все чисто

Хреново, значит, смотрел…

ps axuww --sort=-%cpu | head -n 10

Возможно ему там пропатчили что-то, чтобы спрятать руткит, и apt тоже из-за этого сломался.

Тогда переустановка и восстановление из бэкапа, больше вариантов нет.

если они майнят то им данные неинтересны скорее всего. если бы я был уверен что я за день выясню..

есть вероятность что ктото из пользователей чтото запустил внутри виртуалок а оттуда уже… а не зная гдезалезли то и переустановка не спасет. поэтому пока действую так.

Ты же писал что нагрузка даже при выключенных виртуалках есть. Так что даже если изначально оно в виртуалке было, то сейчас оно определённо на хосте.

нет я имею ввиду что из виртуалок доступы к хост машине не перекрыты… те могли залезать через виртуалку…

то что оно точно на хосте - это 100%

кстати я подумал - я же знаю айпишники… они гдето в конфигах должны быть…. не поискать ли их…

Нет, не должны быть. Ты понимаешь что у тебя возможно даже ядро уже затрояненное, в котором что угодно может быть захардкодено?

ну вот и узнаем

Тогда стоит посмотреть список софта и портов.

кстати я подумал - я же знаю айпишники… они гдето в конфигах должны быть…. не поискать ли их…

Через тернии к rectum…

если они майнят то им данные неинтересны скорее всего

В совокупности с твоими словами выше про 1с, думаю стоит доложить руководству о проникновении. Может они решат обратиться в правоохранительные органы. А ты тут улики уничтожаешь своими руками

виртуалки как будто чистые… на самом сервере логи все почищены - то что я вижу. тут именно майнер…. айпишники немецкие и английские…

В совокупности с твоими словами выше про 1с, думаю стоит доложить руководству о проникновении.

Доложить и так и так стоит, что бы там ни стояло. Вообще я как-то не думал что это (необходимость доложить) может вызывать сомнения, и не писал. Но вообще, возможно, автор темы хочет утаить происшествие (чтоб его не «наругали»), что с его стороны весьма плохо.

а… не в этом плане я сообщил есесно что и как и свой план действий

кстати топ то в проксе есть… его походу специально рюкнули вместе с чисткой логов

Тогда переустановка и восстановление из бэкапа

Так раз похакали, то похакают повторно, я про то, что кроме восстановления ещё расследование провести желательно.

вот этим я и хочу пока заняться, чтобы понять откуда копыта

И логи авторизации и подобного на отдельный сервер стримить.

ну можно на почту отсылать..

проблема в том что завтра с утра сервер должен работать. а лучше сегодня вечером уже.

Обратитесь к системному администратору.

Серьезно, пни напарника, скажи что его фигня вывалилась из крона и душит сервак.

кстати я подумал - я же знаю айпишники… они гдето в конфигах должны быть….

А то что там не ip а hostname прописаны в голову не приходило?

И это тоже, но это уже про «улучшалки» :) на будущее.