LINUX.ORG.RU
ФорумTalks

Девопсы уже не нужны. Требуются DataOps, MLOps и AIOps

 ,


1

1

DataOps (DATA Operations, датаопс) — это концепция и набор практик непрерывной интеграции данных между процессами, командами и системами для повышения эффективности корпоративного управления или отраслевого взаимодействия за счет распределенного сбора, централизованной аналитики и гибкой политики доступа к информации с учетом ее конфиденциальности, ограничений на использование и соблюдения целостности.

В связи с популяризацией методов Machine Learning и ростом их практических внедрений, у бизнеса появилась потребность в организации непрерывного сотрудничества и взаимодействия между всеми участниками процессов работы с моделями машинного обучения от бизнеса до инженеров и разработчиков Big Data, включая Data Scientist’ов и ML-специалистов. Понятие MLOps еще достаточно молодое, однако с каждым днем оно становится все более востребованным.

AIOps состоит из двух основных компонентов: «большие данные» и «машинное обучение». Таким образом, ИТ специалисты должны отойти от логгирования и отслеживания множества отдельных событий (siloed IT), которые активно используются сейчас, а положиться на машинное обучение и анализ данных, которые приходят от систем мониторинга, журналов нарядов на работы и т.д. Желаемый результат - непрерывный анализ, который даст ответы и позволит реализовать непрерывные улучшения и исправления в работе ИТ-инфраструктуры. Платформа AIOps связывает три дисциплины – управление услугами, управление производительностью и автоматизацию - для достижения желаемого результата и может рассматриваться как непрерывное совершенствование, интеграция и внедрение (CI/CD) основных ИТ функций.


Продолжайте наблюдения!

ymn ★★★★★
()

Про GameOps забыл: непрерывная организация и сотрудничество в области разработки игровых приложений. . Таким образом, ИТ специалисты должны отойти от применения графических движков, которые активно используются сейчас, заменив их на компоненты системы взаимодействия между частями программы, отвечающими за сбор и накопление управляющих данных, и обеспечивающих для отображения на мониторе игрока изображения за счёт использования новых API DirectX, Vulkan и OpenGL.

next_time ★★★★★
()

ИТ специалисты должны отойти от логгирования и отслеживания множества отдельных событий (siloed IT), которые активно используются сейчас, а положиться на машинное обучение и анализ данных

А, это чтобы вообще никто не смог понять, как считает система, и почему в итоге получаются именно такие цифры?

tiinn ★★★★★
()
Ответ на: комментарий от next_time

GameOps

Не знаю. Про это не слышал. А так пишешь в резюме AIOps и всем сразу понятно, что ты - четкий пацан. Херки сразу текут и выстраиваются в очередь.

Djanik
() автор топика

Описанное никак не пересекается с собственно devops.

А то что в практики системного администрирования надо аналитику привлекать - это давно понятно. Времена когда ты админил один сервер и знал наизусть все его особенности давно прошли, и в большой инфре ты уже работаешь не только с вопросом «а что не так вот тут вот», но и с вопросами «сколько ещё машин задело этой проблемой» и «как часто она проявляется», и «какие есть корреляции между проблемой и например версиями софта или типом нагрузки».

Собственно хороший админ и раньше всеми этими вопросами интересовался, просто сейчас появились дополнительные инструменты кроме однострочников с грепом и awk для более «умной» аналитики.

alpha ★★★★★
()
Ответ на: комментарий от sanwashere

Спасибо, так понятнее. А куда потом девать всех этих ставших ненужными? Подвалы, чердаки не резиновые.

utanho ★★★★★
()
Ответ на: комментарий от sanwashere

Слежка за гражданами и обмен инстакотиками должны производиться на научной основе.

vaddd ★☆
()

«Да не создашь ты машину по своему образу и подобию…».

Minona ★★☆
()
Ответ на: комментарий от wandrien

MILFOps, говорите?

это концепция и набор практик непрерывной интеграции доступных вам оных между процессами употребления небольшими командами и системами для повышения эффективности корпоративного отдыха и управления коллективом руководителей или отраслевого взаимодействия за счет распределенного их использования либо сбора, централизованной видеоаналитики и гибкой манеры доступа к их внутренней информации миру с учетом ее конфиденциальности, ограничений на использование и соблюдения целостности форм и ощущений.

Brillenschlange
()
Ответ на: комментарий от sanwashere

В специализации нет ничего плохого, тем более, что разница между набором знаний и навыков у разных специальностей зачастую абсолютно объективна.

WitcherGeralt ★★
()
Последнее исправление: WitcherGeralt (всего исправлений: 1)
Ответ на: комментарий от utanho

Реклама курсов.
Не просто войти в IT, но ногой дверь открыть.

Если честно, не понятно зачем это нужно, если в IT и так спрос зашкаливает.

grim ★★☆☆
()
Ответ на: комментарий от Nervous

Синьёр девопс -> юньёр аёпс, зп/2, профит, повторить.

Синьёр девопс недавно искали знакомые, нашли за $140CAD/h это $115USD/h и довольны

Искали долго, так как нормальные специалисты заняты.

Так что попытка срезать ЗП ITшникам в современных условиях это самоубийство.

grim ★★☆☆
()

А просто ОПС, точнее УПС надо?
Могу время от времени произносить за в меру хорошую зарплату(тысяч эдак 150).

torvn77 ★★★★★
()
Последнее исправление: torvn77 (всего исправлений: 1)
Ответ на: комментарий от grim

попытка срезать ЗП ITшникам в современных условиях это самоубийство

Да это понятно, я просто пошутить хотел.

Nervous ★★★★★
()
Ответ на: комментарий от Djanik

К счастью, в дата сейчас нужно писать Apache Airflow, а не вот это всё.

Shadow ★★★★★
()

LOROps - вот мастхев в резюме.

Hg194
()

Как же LorOps? Непрерывное отслеживание тупняка, которое постят вчерашние регистранты и репорт в соответствующую тему модераторам?

vertexua ★★★★★
()
Ответ на: комментарий от WitcherGeralt

Пузырь IT раздувается ещё больше за счёт новых «лычек»

В специализации нет ничего плохого, тем более, что разница между набором знаний и навыков у разных специальностей зачастую абсолютно объективна

Да, у разных специальностей разные навыки, но в контексте нашего обсуждения находятся никакие не специальности и не разные — это ватокаты, которые разобрали себе по наборе колес, у кого-то квадратные, у кого-то треугольные, у кого-то овальные, и вот теперь они осваивают новые рынки, новые ниши, новые специальности. Не потому что «пузырь» — это до кризиса были пузыри. Сейчас просто кушать что-то надо, а делать ничего не умею — буду датаопсом или айопсом, иначе помру с голода, а девопсом я быть не умею, по крайней мере ответы на вопросы собеседований из гугла я изучить не смог.

Я смотрю на это порно и думаю только об одном — как найти такой уютный сарай, чтобы запереться в нем с единомышленниками, и делать на них настоящий софт, а не порно с хелло ворлдами на сотне инстансов с хадупом для обслуживания десятка клиентов, который обращаются к системе максимум 12 часов в день, но систему мы же будем делать 24/7, мы же серьезная энтерпрайз бигдата.

PS: но да, скорее у меня просто горит жопа, потому что на этом празднике жизни я лишний.

byko3y ★★★★
()
Последнее исправление: byko3y (всего исправлений: 1)
Ответ на: комментарий от byko3y

Да, у разных специальностей разные навыки, но в контексте нашего обсуждения находятся никакие не специальности и не разные — это ватокаты, которые разобрали себе по наборе колес, у кого-то квадратные, у кого-то треугольные, у кого-то овальные, и вот теперь они осваивают новые рынки, новые ниши, новые специальности. Не потому что «пузырь» — это до кризиса были пузыри. Сейчас просто кушать что-то надо, а делать ничего не умею — буду датаопсом или айопсом, иначе помру с голода, а девопсом я быть не умею, по крайней мере ответы на вопросы собеседований из гугла я изучить не смог.

Я смотрю на это порно и думаю только об одном — как найти такой уютный сарай, чтобы запереться в нем с единомышленниками, и делать на них настоящий софт, а не порно с хелло ворлдами на сотне инстансов с хадупом для обслуживания десятка клиентов, который обращаются к системе максимум 12 часов в день, но систему мы же будем делать 24/7, мы же серьезная энтерпрайз бигдата.

https://www.youtube.com/watch?v=d1vRLfuF-wM

CaveRat ★★
()
Ответ на: комментарий от ugoday

Зато те, кто смогут (или смогут создать впечатление, что смогли), будут грести деньги лопатой

Ну да, с этого и нужно было начинать разговор. Все девопсовые замуты, как правило, изначально являются созданием впечатления, поскольку без микросервисов большинство задач делаются быстрее и проще. Я сейчас не имею в виду «без контейнеров», и тем более «без cgroups». Ну и я сомневаюсь, что это прямо-таки жирная отрасль, потому что в условиях ИИ поведение системы станет насколько непредсказуемым, что ее уже самый чудесный специалист не вытянет, а значит даже делать вид работоспособности не получится.

byko3y ★★★★
()
Последнее исправление: byko3y (всего исправлений: 1)
Ответ на: комментарий от byko3y

«пузырь» — это до кризиса были пузыри. Сейчас просто кушать что-то надо

Что за кризис?

«Пузырь» IT по моим прикидкам будет раздуваться еще лет 70 минимум.

Но скорее всего бесконечно.

grim ★★☆☆
()
Последнее исправление: grim (всего исправлений: 1)
Ответ на: комментарий от grim

«пузырь» — это до кризиса были пузыри. Сейчас просто кушать что-то надо

Что за кризис?

Экономический кризис. 1933 год, 1971 год, 2008 год, 2020 год. Пузыри лопаются, кому должен — всем прощаю. Кризис 2020 года был замаскирован короной, но не перестал быть кризисом от этого. В 2001 было локальное лопание доткомов и уже тогда было ясно, что надвигается большой писец, который оформился только в 2008. В 2021, насколько мне известно, кризис еще не закончился, а значит пузыри продолжат лопаться, люди продолжат терять работу. Да, во время кризиса их можно пытаться надувать заново, но результатом будет только то, что они в основном сразу же лопнут.

byko3y ★★★★
()
Ответ на: комментарий от byko3y

Экономический кризис. 1933 год, 1971 год, 2008 год, 2020 год

Кризис 2020 года в IT?

Вы надеюсь не о 2020 до нашей эры говорите?

В 2021, насколько мне известно, кризис еще не закончился, а значит пузыри продолжат лопаться, люди продолжат терять работу.

Мы все еще о IT?

Кто теряет работу?

В 2020 с началом карантина мне клиент контракт урезал.

Но сейчас я чарджу больше чем тогда.

Все вернулось на круги своя и когда я говорю агенту, что не не ищу контракт мне предлагают $2k если я им помогу найти нормального кандидата.

grim ★★☆☆
()
Последнее исправление: grim (всего исправлений: 1)
Ответ на: комментарий от grim

Экономический кризис. 1933 год, 1971 год, 2008 год, 2020 год

Кризис 2020 года в IT?

Не в IT, а в мировой экономике. Да, в кризисе 2020 года было характерное перетекание экономики в онлайн, из-за чего на фоне спада в остальных отраслях в IT возник даже некоторый рост. Но если твой пузырь не онлайн, то ты приехал.

byko3y ★★★★
()
Ответ на: комментарий от WitcherGeralt

а я уж обрадовался, что переживу современный этап развития айти (девляпсов и т.д.) и можно будет снова потихоньку в профессию втягиваться))

p.s.

девляпсов. no offence intended. сам работал.

crypt ★★★★★
()
Последнее исправление: crypt (всего исправлений: 2)
Ответ на: комментарий от byko3y

IT возник даже некоторый рост.

Вот и я о чем.

А мировая экономика уже в рост пошла.

Чего и вам желаю ;)

grim ★★☆☆
()

DataOps (DATA Operations, датаопс) — это концепция и набор практик непрерывной интеграции данных между процессами, командами и системами для повышения эффективности корпоративного управления или отраслевого взаимодействия за счет распределенного сбора, централизованной аналитики и гибкой политики доступа к информации с учетом ее конфиденциальности, ограничений на использование и соблюдения целостности.

Собачья работа. Занимался этим, пока не перешёл в рабочую специальность (на завод).

iZEN ★★★★★
()
Ответ на: комментарий от crypt

Объективно же нужны. Любой старший разраб или сисадмин полностью заменяют любого девопса, но ведь и своей работы достаточно. Пусть себе настраивать кубики с CI и мониторингом, хорошо же.

WitcherGeralt ★★
()
Ответ на: комментарий от WitcherGeralt

Любой старший разраб или сисадмин полностью заменяют любого девопса, но ведь и своей работы достаточно. Пусть себе настраивать кубики с CI и мониторингом, хорошо же

Кокой парк серверов должен быть, чтобы настройка кубиков с CI и мониторингом начала отсвечивать? Любая серьезная задача по обновлению/перекраиванию системы потребует вмешательства разрабов-админов. У нас в конторе есть девопёс, и я честно до сих пор не знаю, чем он занимается — я только знаю, что сервер периодически лежит, как периодически лежал и до него.

byko3y ★★★★
()
Ответ на: комментарий от ugoday

Вы определитесь, вам «быстрее и проще» или «грести бабло лопатой»

В случае мелких контор это одно и то же. Когда бизнес разрастается и серверов становится очень много, то там уже начинают массово вылазить кастомные решения, и админы в такие конторы нужны такие, что утрут нос многим программистам.

byko3y ★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.