LINUX.ORG.RU
ФорумTalks

AWS и в частности S3 как vendor lock

 , , ,


0

1

N месяцев назад мне ставили в упрек то, что якобы аналоги сервисов AWS есть у кучи других провайдеров. Ну есть же да? Сколько альтернативных реализаций S3, да? Как бы не так. Который месяц ковыря S3, я прихожу к однозначному выводу: интерфейсы AWS определены через реализацию, то есть, нет никаких общих абстрактных протоколов, разработанных для конкретных задач. Вместо этого протекает деталь реализации здесь, протекает костыль тут, здесь устаревший параметр, которым уже давно никто не пользуется, а здесь новый параметры, которым ЕЩЁ никто не пользуется, и по итогу портирование минимально сложной системы на базе S3 с одной площадки на другую требует целой команды макак с напильниками.

Раньше я не решался высказать эту мысль, потому что у меня небыло железных пруфов, но сейчас они есть, по крайней мере по отношению к S3. Даже достаточно продвинутые реализации S3 API в Yandex.Cloud или Ceph имеют огромное число несовместимостей с AWS.

Как бы это не могло звучать странно, тем не менее, эту картину я вижу далеко не первый раз. Это не тупая ошибка, а точный расчет — так развивали свои решения как минимум Oracle, SAP, Microsoft, а именно — холили и лелеяли каждый маленький костыль, для поддержки которого приходилось выделять отдельного программиста, ровно для одной цели — чтобы никто не мог реверс-инженернуть твою софтину и написать альтернативу, таким образом уведя клиентов. IBM сделало независимый от реализации стандарт PC? Intel сказал огромное спасибо и монопольно основался в нише.

К тому же, с маркетинговой точки зрения чем больше пунктов с фичанеймами в брошюрках — тем лучше смотрится продукт. Почесать левой рукой левое ухо — замечательная фича. Клиент приходит с запросом «мне нужно почесать левое ухо правой рукой» — «извините, поддержка такой фичи у нас не планируется».

И только не нужно мне говорить, что вот же есть где-то Джон и Фрэнком, которым позарез нужен ваш костыль 1997 года выпуска, без которого они не могут жить. Могут. Разработчик мог сэкономить на поддержке этого костыля, потеряв лояльность пары клиентов — это допустимая жертва. Однако, фактор vendor-lock-а за счет бесконечной поверхности интерфейса В УСЛОВИЯХ ИЗБЫТКА ФИНАНСИРОВАНИЯ слишком привлекателен. Я хочу подчеркнуть фактор избытка финансирования, потому что при недостатке финансирования клиенты Джон с Фрэнком будут мгновенно посланы, руководство ни одной минуты не будет размышлять про какую-то совместимость, доверие клиентов, и прочие пустые слова, лишь поддержка будет отвечать дежурное «мы работатаем над этим, оставайтесь пожалуйста на связи». Всё, о чем будет думать руководство — это как сократить издержки. чтобы выйти на прибыль.

Мне удивляет только тот факт, что подобные соображения никто не пишет на каждом заборе. Ведь это просто священные заповеди коммерческой разработки, но даже я до недавних пор не рисковал оглашать их публично. Страшно то, что эти заповеди «с молоком матери» впитали многие разработчики, и следуют им, даже не понимая, что эти заповеди существуют. «Я должен поддерживать совместимость ради совместимости. Моя совместимость должна быть совместимой. Даже если я обосрался в минорном релизе, который скачало 10 человек — я буду эту ошибку тащить следующие 10 лет разработки, потому что могу».

Кстати, если вдруг у кого-то есть блоги-книжки-статьи, аналогичные этому сообщению — буду благодарен за ссылку. Заранее хочу иключить из списка благодарности заполеннные водой книжки манагеров, ничего не соображающих в коммерческой разработке — это большая часть массы макулатуры мне совершенно не интересна.

★★★★

Последнее исправление: byko3y (всего исправлений: 1)

Ответ на: комментарий от crypt

ТС конкретно не может смотреть на архитектурную картину и отсюда ему совершенно не понятно, почему AWS вырвался вперед

Кстати, я тут уже тезисно себе заметки делаю, отвечая на этот вопрос:

  • много фич. Больше фич. Еще больше фич. Не важно, какого они качества и кому нужны — важно иметь много фич;
  • мнимая экономия, «-20% скидка только сегодня» — они очень давно в совершенстве овладели этим приемом, за счет чего научились продавать 3-кратно переоцененный товар со скидкой 30%, таким образом положив 100% наценки себе в карман;
  • при попытке выбраться из сервиса клиента должна поджидать какая-то западня, хотя бы минимальная, то есть, если предыдущий пункт был пряником, то это кнут;
  • самое главное — грамотный пиар, предыдущие три пункта политики должны подаваться правильной публики под правильным соусом, формируя по итогу идеологию, информационный пузырь, в рамках которой единственное правильное решение — отдать амазону все ваши деньги;
  • при этом маркетологи принимают активное участие в процессе разработки, подсказывая тупым аутичным разработчикам, что не нужно пытаться улучшать интерфейсы (снимать вендорлок), а вместо этого нужно бы сделать биллинг для реализации разных тарифных планов (мнимая экономия) и реализовать больше ненужных фич.

Я ему пытаюсь сказать, что это нормально, что с ним и в жизни такое может случиться, ничего тут собственно такого страшного и нет. На что он отвечает: никогда! я никогда не буду пользоваться Amazon и никогда не женюсь!

Вопрос не в зависимости, а в степени. Ну типа вот я зависим от еды и от кислорода. Хочу жить в вакууме! Да, это абсурд, но ты в ответ скатываешься в «езжай в Либерию и становись рабом — ты все равно будешь от чего-то зависеть». Что от жены можно уйти, развестить — не, не слышал, только рабство под каблуком.

byko3y ★★★★
() автор топика
Последнее исправление: byko3y (всего исправлений: 1)
Ответ на: комментарий от abcq

Как по мне, тс все понятно, его просто подбешивает амазон с его сервисами, ну бывает

Как по мне, ТС хочет самоутвердиться, обсирая сильных.

Идеальных сервисов нет, его со временем бы и B2 стало подбешивать, я уверен что и у них можно найти огрехи если задаться целью

С очень большой вероятностью ТС скатится в «HTTP — устаревшее говно с плохой структурированностью запросов и необходимостью каждый раз побайтово парсить текст на сервере» и «облачные хранилища давно никто не использует для простого хранения файла как атомарной сущности. В том числе сам AWS часто применяет S3 как БД. Но для блочно-структурированной информации классические облака плохо подходят».

Конкретно этот тред я вообще начинал потому, что мне захотелось ответить на высказанные N месяцев назад тезисы про «Amazon никого не лочит, не хочешь — уходи к аналогичному провайдеру» — но это вопиющая ложь, AWS сильно лочат и имеют кучу несовместимостей. Даже S3 плох осовместим с альтернативами, а если ваша система использует большое число AWS-сервисов, то проблема усугубляется в геометрической прогрессии с каждым новым сервисом. Честно говоря, я даже не собирался разбираться, за счет чего там изначально AWS взлетел. Но результатом треда я доволен. Хотя и пахать мне пришлось почти в одно рыло — зато вместе веселее.

byko3y ★★★★
() автор топика
Ответ на: комментарий от abcq

А еще я писал что когда ее не читают получаются такие забавные вещи как были с уязвимость логфоржи, так что я не переобулся, а просто констатировал факты того, как дело обстоит в индустрии, я нигде не говорил что именно так и надо делать и что все будет хорошо если так делать. Вы снова додумываете чего нет, и извращаете смысл высказанного удобной только для вас стороной

Я вообще-то писал, что как раз являюсь одним из немногочисленных человеков в галактике, который читает доки амазона и глубоко понимает смысл написанного там. Но подобных мне на просторах интернетов я просто не видел. Может быть в яндексе, backblaze, гугле подобные мне и сидят, но я с ними не встречался.

В ваших словах нет ничего кроме домыслов, типичное «если бы да ка бы» вам нечем крыть, конкретики у вас нет

Ты мне Чубайса напоминаешь. Тот тоже рассказывает сказки так, будто не помнит, что говорилось пять минут назад. Тем не менее «пять минут назад» я приводил конкретные цифры сравнения стоимости EC2 и аналогичного хостинга, показав, что EC2 в разы дороже. Какой еще «домысел» тебе привести? Рассказать про то, что у амазона один из самых дорогих трафиков в индустрии? Я должен весь тред приводить железобетонные цифры, чтобы потом ты мне отвечал «да это всё выдумки, не было никаких фактов». Тезис про «переусложненность как способ вендорлока» спорен, да, но я так и написал, что переусложненным AWS делали не только для вендорлока, но как фактор вендорлока сложность неоспорима, поскольку с десятка сервисов AWS ускакать к конкуренту очевидно сложнее, чем сменить простой железячный хостинг.

byko3y ★★★★
() автор топика
Последнее исправление: byko3y (всего исправлений: 1)
Ответ на: комментарий от byko3y

То что вы себя нахваливаете для меня это не секрет, но как это контраргументирует что вы додумали то, чего я не говорил и приписали мне эти слова, ну являетесь и являетесь шо бубнить то? https://repost.aws/community пишите прямо в комьюнити группы по продуктам, хотя скорее всего вас с вашей конспирологией там сразу забанят по причине флуд и не техническая дискуссия, но можете попробовать зайти именно с технической стороны вопроса, может быть даже узнаете то, чего в документации не написано, если повезет.

abcq ★★
()
Ответ на: комментарий от byko3y

То есть, ты как бы намекаешь, что в амазоне что-то там сделали кое-как, выкинули в прод, мол «пользуйтесь, нам не нужно», а потом такие «ух ты, оно взлетело! людишки покупают, да еще и по две штуки».

Я ничего такого не писал.

Но тут проскакивал аргумент про «техническое превосходство решения».

И такого я тоже не писал. Я ни с кем их не сравнивал. Я просто писал что тратить свои силы на обеспечение лёгкости ухода клиентов к конкурентам - никому не нужно.

Ты там вообще обчитался заокеанских библий успешного манагера?

Нет, я вообще не читаю ничью графоманию.

Нет никаких «разработчиков фри софтины»

Есть. Разработчик это тот кто её разрабатывает.

принадлежит

Это тут ни при чём вообще. Но может и принадлежать.

своим

собственность

См. выше, это всё опять твои выдумки.

Вобщем, по всем пунктам ты отвечаешь как-то невпопад, приписываешь мне тезисы которых у меня не было, и непонятно что пытаешься донести вообще.

PS. Амазон я, если что, как и всех централизаторов-околомонополистов, не люблю, никакими его сервисами никогда не пользовался и не собираюсь, как они устроены (ну кроме общеизвестного что там какой-то хостинг) не изучал.

firkax ★★★★★
()
Последнее исправление: firkax (всего исправлений: 2)
Ответ на: комментарий от byko3y

ты все равно будешь от чего-то зависеть

именно. если ты думаешь, что разведешься и перестанешь зависеть, то ты не понимаешь жизни. перестанешь зависеть от жены - будешь зависеть от чего-то еще.

то же в случае с сервисами. кому-то удобнее зависеть от инфраструктуры и не зависеть от мега-уникального спеца в своем штате.

crypt ★★★★★
()
Последнее исправление: crypt (всего исправлений: 2)
Ответ на: комментарий от abcq

https://repost.aws/community пишите прямо в комьюнити группы по продуктам, хотя скорее всего вас с вашей конспирологией там сразу забанят по причине флуд и не техническая дискуссия, но можете попробовать зайти именно с технической стороны вопроса, может быть даже узнаете то, чего в документации не написано, если повезет

У тебя совсем остатки мозгов маркетологи сожрали? Как ты собрался искать истины на площадке самого Амазона, который всю свою историю занимается впариванием кала разных сортов? Это как прийти на форум правительства Украины (России/Китая/США/etc) и искать правды по поводу военных преступлений. А вот технические обсуждения на stackoverflow и разных блогах мне как раз сильно помогли.

ПОЧЕМУ ВООБЩЕ AMAZON СОЗДАЛ ЭТУ ПЛОЩАДКУ? Есть stackoverflow, про который все знают, там уже есть разделы про AWS, вынесите свое публичное общение туда. Свою площадку создали ровно для того, чтобы скрывать внутреннюю информацию, ограничивать доступ к ответам, и цензурировать обсуждение, потому что на stackoverflow ты можешь трогать только собственные ответы, и, как я уже писал, именно stackoverflow стал для меня важным каналом утечки информации в виде наблюдений пользователей AWS по поводу странностей работы сервисов.

byko3y ★★★★
() автор топика
Ответ на: комментарий от firkax

То есть, ты как бы намекаешь, что в амазоне что-то там сделали кое-как, выкинули в прод, мол «пользуйтесь, нам не нужно», а потом такие «ух ты, оно взлетело! людишки покупают, да еще и по две штуки».

Я ничего такого не писал

Ну тогда давай поясни мне, почему тогда Amazon не создал собственный протокол вместо HTTP? Они ведь с SOAP даже попытались это сделать. То есть, чтобы ты даже в самом светлом сне не смог предположить, что каким-то питоном ты сможешь через простые запросы взаимодействовать с AWS — только суровый SDK, залоченный на AWS. Все-таки они были вынуждены следовать стандартам, потому что иначе получался совсем трешак.

Да, можно сказать «на стандартном HTTP/XML проще реализовывать решение». Однако, аутентификация запросов по TLS тоже упрощает разработку решения. Костыльная самопальная аутентификация усложнила протокол, сделала разработку клиента и сервера более дорогой и сложной — что вступает в противоречие с твоим тезисом. То есть, когда амазон считает выгодным, он усложняет разработку, а когда простое заменяемое решение им удобно — они говорят «ну мы просто взяли что было доступно».

Еще один пример:

https://docs.oasis-open.org/kmip/kmip-spec/v2.0/os/kmip-spec-v2.0-os.html#_To... — KMIP, первый релиз стандарта в 2010
https://docs.aws.amazon.com/kms/latest/APIReference/API_Decrypt.html — аналогичная операция в Amazon KMS, первый релиз в 2014 году.

API совершенно не похожи и не совместимы. Давай, оправдай это своим «естественным ходом разработки». Хотя, может быть для амазона игнорирование готовых решений и создание собственных велосипедов и является «естественным ходом», но мне видится, что этот естественный ход удорожает разработку и поддержку, а это уже выглядит как минимум странно, это уже совсем не «зачем им тратить больше ресурсов на разработку», которое ты предлагаешь.

Я просто писал что тратить свои силы на обеспечение лёгкости ухода клиентов к конкурентам - никому не нужно

Просто напиши «вендорлок им выгоден, и если особенность реализации этот вендорлок дает — им незачем эту особенность исправлять, даже если она усложняет разработку» — я соглашусь, потому что думаю так же. Точно так же делал Microsoft с виндой, плакал, кололся, но продолжал тратить астрономические ресурсы на поддержание совместимости с безнадежно кривым и устаревшим софтом, но при этом, конечно же, не давал возможности этот софт запускать на старой системе или VM с какой-нибудь льготной лицензией (как они в отдельные моменты все-таки делали, между прочим) — нет, по итогу ты должен купить только самую новую ОСь, поставить на нее старый софт, и радоваться тому, что у тебя теперь старый софт работает на новом железе. А ресурсы на эту совместимость они тратили реально астрономические, они каждую из популярных на то время софтин брали отдельно, тестировали, и отлаживали, создавая специальные профили совместимости под эту отдельную софтину.

Если это не vendor lock-in, то что тогда? Компания должна прийти к клиенту в дом ночью, приставить нож к горлу и шептать «падла, уйдешь к другому поставщику — я вырежу всю свою семью»? Или тратить весь бюджет только на реализацию вендорлока? Нет, конечно же они даже на вендорлоке экономят, но «экономный вендорлок» не перестает быть самим собой.

Разработчик это тот кто её разрабатывает

Я разрабатываю ядро Linux. Всё, линукс теперь мой?

byko3y ★★★★
() автор топика
Ответ на: комментарий от crypt

то же в случае с сервисами. кому-то удобнее зависеть от инфраструктуры и не зависеть от мега-уникального спеца в своем штате

Вот это уже намного конкретнее аргумент. Проблема в том, что если ты с подачи амазона лепишь микросервисную архитектуру, то автоматически становишься рабом спеца, амазоновского или своего. Заметь, что фейсбук сделал свой сервис на PHP+MySQL, и вообще не парится по этому поводу. Более того, если у тебя будет действительно серьезная система, то ты неизбежно придешь к собственному спецу — никто тебе из амазона архитектора не выдаст.

byko3y ★★★★
() автор топика
Ответ на: комментарий от byko3y

У тебя совсем остатки мозгов маркетологи сожрали? Как ты собрался искать истины на площадке самого Амазона

Повеселили, видимо не у меня, а у вас рен-тв. Поиск истины, вам что снова 16? И уж точно ЛОР не место для поиска, так хотя бы могут быть причастные люди к непосредственной разработке и поддержке, ну хотя бы чисто в теории, а тут их точно нет.

abcq ★★
()
Ответ на: комментарий от byko3y

Хотя, может быть для амазона игнорирование готовых решений и создание собственных велосипедов и является «естественным ходом»

Уже как минимум пару раз было сказано что есть факторы для этого и это как минимум нежелание брать чужие наработки чтобы потом не оказаться в суде и тратить тонны денег на судебные тяжбы и совсем не факт что им подходили эти готовые решения, что они вообще о них знали. Вы с такой легкостью отметаете любые факторы которые могли быть, не имя пруфов относительно своих предположений, что не имеет никакого смысла вообще с вами вступать в дискуссию, у вас на все однобокое видение и при этом исключительно оно «правильное».

Если кратко подытожить, все что вы делаете в этом треде - это разгоняете на том факте, что ни у кого нет достоверной информации о тех или иных решениях которые были приняты амазоном в процессе своего существования и в процессе разработки своих продуктов.

abcq ★★
()
Ответ на: комментарий от abcq

Повеселили, видимо не у меня, а у вас рен-тв. Поиск истины, вам что снова 16? И уж точно ЛОР не место для поиска, так хотя бы могут быть причастные люди к непосредственной разработке и поддержке, ну хотя бы чисто в теории, а тут их точно нет

А ты, видимо, вкладывался в МММ, а потом Мавроди доказывал, что он не прав и должен бы тебе вернуть хотя бы вложенные деньги. Сначала ты пишешь про «очевидно всем», но теперь в упор отказываешься признавать назначение собственной модерируемой площадки.

так хотя бы могут быть причастные люди к непосредственной разработке и поддержке, ну хотя бы чисто в теории, а тут их точно нет.

https://www.cnn.com/2022/02/12/business/amazon-employee-bribery-scheme/index.... — Former Amazon employee sentenced to federal prison for involvement in bribery scheme

Это уровень, чтобы ты понимал. Как и во многих подобных конторах, есть шестерки, которые взаимозаменяемы, ничего не решают и выполняют инструкции, и есть верховные жулики, которые всё знают, но никому не расскажут, потому что сами же и сядут за решетку. И поверх этого всего NDA, не забываем. Но ты пишешь мне так, будто ни о чем подобном никогда не слышал.

byko3y ★★★★
() автор топика
Ответ на: комментарий от byko3y

Да, можно сказать «на стандартном HTTP/XML проще реализовывать решение».

Так и есть.

Однако, аутентификация запросов по TLS тоже упрощает разработку решения. Костыльная самопальная аутентификация усложнила протокол, сделала разработку клиента и сервера более дорогой и сложной — что вступает в противоречие с твоим тезисом.

Эм, нет. Я бы тоже свою аутентификацию делал. И безо всяких подоплёк. Даже более того, ты фразой выше скорее всего сам и ответил: на стандартном HTTP/XML проще реализовывать. У них же аутентификация через HTTP/XML, да? (я если что не знаю, но такой вариант мне видится самым логичным продолжением, я угадал?).

KMIP, первый релиз стандарта в 2010

Первый раз вижу эту штуку. Они, возможно, тоже её не видели или не посчитали нужным разбираться в малоизвестном стандарте.

Просто напиши «вендорлок им выгоден, и если особенность реализации этот вендорлок дает — им незачем эту особенность исправлять, даже если она усложняет разработку» — я соглашусь, потому что думаю так же.

Ну, да. Но он тут побочный эффект а не самоцель.

но продолжал тратить астрономические ресурсы на поддержание совместимости с безнадежно кривым и устаревшим софтом,

Ну и молодцы. Не надо путать вендорлок (бесполезные специально добавленные проблемы) и «сделаем качественный продукт, который остальным будет влом копировать».

не давал возможности этот софт запускать на старой системе

Что за глупости, кто ж запретит то?

Я разрабатываю ядро Linux. Всё, линукс теперь мой?

Это значит что ты - разработчик линукса (один из). Как видишь, у фри софта есть разработчик. Про «мой не мой» - это уже твои домыслы, повторюсь, я ни разу не писал про собственность.

firkax ★★★★★
()
Ответ на: комментарий от abcq

Уже как минимум пару раз было сказано что есть факторы для этого и это как минимум нежелание брать чужие наработки чтобы потом не оказаться в суде и тратить тонны денег на судебные тяжбы и совсем не факт что им подходили эти готовые решения, что они вообще о них знали

За пользование TLS кого-то там судили? Ты смеешься надо мной? KMIP точно такой же открытый стандарт, платные только реализации, которые можно сделать свои (а амазон сделал свой KMS).

Вы с такой легкостью отметаете любые факторы которые могли быть, не имя пруфов относительно своих предположений

Конечно, может быть Безос в одно утро проснулся, потянулся, и сказал «так, TLS использовать не будем, будем лепить свои велосипеды». Это вариант возможный, но крайне маловероятный. С большой вероятностью все-таки разработка шла по простому прямолинейному сценарию. Особенно шанс этот повышается с ростом числа рассматриваемых случаев. Если здесь «скорее всего вендорлок, но это не точно», там «вендорлок, но не точно», и тут и там, то оказывается, что шанс, что это так звёзды совпали — ничтожен, а с очень большой вероятностью кто-то целенаправлено ведет такую политику.

Грубо говоря, есть какой-то шанс, что челвоек вышел в подъезд с ножом, случайно упал, ткнул себя ножом в живот, а потом перекувыркнулся, и при кувырке ткнул себя ножиком второй раз в бок. Да, шанс есть, он настолько ничтожный . что рассматривать его не имеет смысла. И вот ты мне пишешь, что якобы я с легкостью отметаю подобный сценарий, ведь у меня нет пруфов, ведь я не присутствовал лично там, и нет свидетелей, которые видели бы второго человека в подъезде, а значит вполне возможно, что это челвоек сам себя случайно два раза пырнул ножом.

все что вы делаете в этом треде - это разгоняете на том факте, что ни у кого нет достоверной информации о тех или иных решениях которые были приняты амазоном в процессе своего существования и в процессе разработки своих продуктов

Прикинь, в жизни ты не можешь знать всего обо всем. Приходится строить догадки на основе частичной и косвенной инфы. Так вся жизнь устроена. Как ты вообще выходишь из дома, не убедившись, что в подъезде не стоит убийца — понятия не имею. У тебя камеры наружного наблюдения стоят? Под кровать отдельную камеру тоже поставил?

byko3y ★★★★
() автор топика
Ответ на: комментарий от firkax

Я бы тоже свою аутентификацию делал. И безо всяких подоплёк. Даже более того, ты фразой выше скорее всего сам и ответил: на стандартном HTTP/XML проще реализовывать.

Давай, в общих чертах обрисуй простую схему аутентификации запросов, которую ты предлагаешь. Только чур не подглядывать в справку по API.

Первый раз вижу эту штуку. Они, возможно, тоже её не видели или не посчитали нужным разбираться в малоизвестном стандарте

Такой-себе аргумент. HSM давно занимаешься?

Ну, да. Но он тут побочный эффект а не самоцель

Ну а запредельные цены на исходящий трафик — это побочный эффект или самоцель? Как бы да, побочная необходимость реализовать работающий сервис — вполне оправдана, не спорю, без нее вендорлочить будет не на что.

Не надо путать вендорлок (бесполезные специально добавленные проблемы) и «сделаем качественный продукт, который остальным будет влом копировать»

Ты в курсе, что у антимонопольного комитета есть статья, по которой за «бесполезные специально добавленные проблемы» фирма-изготовитель получит штраф, пропорциональный объему продаж? Никто в штатах не делает проблемы «специально», но зато есть валом руководителей, которые буду с искренним удивлением тебе говорить «ой, а кто это сделал, какое безобразие... а кто это сделал?». И потому ты звучишь, как адвокат, который рассказывает про производственную необходимость, хотя очевидно, что какой-то острой производственной необходимости делать плохо и сложно не было, они могли в любой момент заметить проблему и исправить, более того, они точно заметили ее, но специально оставили проблему на ровном месте, имея этому «оправдание».

Качественный продукт? Это тот, у которого GUI в ядре, даже в NT, и потому у ядра область атаки запредельная? Причем, даже у NeXTSTEP и производной Mac OS такого трэшака не было. А ты виндой 95 пользовался? Я помню, как мне нужно было перезагружать компьютер для того, чтобы выйти из турбопаскаля. Это была сознательная жертва надежности, стабильности, и в какой-то степени удобства с целью заманить как можно большее число людей на еще более сложную и безальтернативную платформу. Причем, NeXTSTEP как раз не изобретал велосипедов, они взял уже проверенную технологию Display PostScript. Как раз винда была низкопробным куском дерьма, который было тяжело скопировать из-за высокой сложности и большого числа подводных камней — но формально умышленность доказать не получится, потому что они найдут сто оправданий, почему могли сделать так и только так.

Хотя из мемуаров сотрудников мы уже знаем, что разрабам в MS построение запутанной архитектуры с кучей костылей НАМЕРЕННО ПРЕПОДАВАЛОСЬ, поскольку построенная таким образом реализация естественным образом приводит к вендорлоку. Примерно в то же время, в девяностых годах, начались развиваться технологии запланированного устаревания в автомобилестроении. По крайней мере в штатах и европе. Они настолько успешно развились, что японский автопром чуть было не похоронил весь американский — данный конфликт был мирно урегулирован после кратковременного оскаливания зубов в виде угроз пошлин и введения безумных стандартов к потребительским авто, без соблюдения которых запрещен импорт авто — эти стандарты действуют по сей день.

Более строгие законы штатов приводят к тому, что нарушения этих законов становятся тоньше, но от этого коррупции в штатах не становится меньше, чем в России. Да-да, взяточничества и распилов в штатах даже больше, чем в России, но словить за руку, доказать факт намного сложнее, потому что технологии коррупции эволюционно развивались поколениями. Если же ты являешься сотрудником коммерческой фирмы, то у тебя еще меньше ответственности за то, что ты делаешь. Как бы да, ты прав в том, что «зачем коммерческой фирме отпускать клиента?» — но давай будем называть вещи своими именами: они сознательно и целенаправлено ставят палки в колеса клиентам, но не во вред себе и так, чтобы это нельзя было доказать. Иногда доказать становится возможно, тогда фирма платит штраф, и дальше старается делать так, чтобы доказать умысел было невозможно.

не давал возможности этот софт запускать на старой системе

Что за глупости, кто ж запретит то?

Факт отсутствия поддержки нового железа старой системой. Как ты понимаешь, фирма-разработчик постарается максимально отстраниться от проблемы, будто она вообще не знает, что кто-то сидит со старым софтом, мол «почему мы должны поддерживать софт, который уже не поддерживаем?». Причем, делать они этого не будут даже за деньги. Просто посмотри на ситуацию с win 7 vs 10, где людей просто-таки заставляют ставить десятку, намеренно отключая в драйверах поддержку семерки несмотря на то, что никаких объективных причин для этого нет. Или малоизвестный инцедент с meltdown mitigation, которая сломала ряд драйверов, но MS даже не чухается что-то там чинить, мол «зачем нам тратить ресурсы. Покупайте десятку».

byko3y ★★★★
() автор топика
Ответ на: комментарий от byko3y

Давай, в общих чертах обрисуй простую схему аутентификации запросов, которую ты предлагаешь. Только чур не подглядывать в справку по API.

Я никакую не предлагаю, и даже толком не в курсе какие именно там запросы. Общеизвестные способы это либо тупо пароль (постоянный или сессионный), либо что-то типа hash(salt+data) с секретным salt, либо цифровая подпись на основе какого-нить алгоритма с открытым ключом на всё содержание запроса.

Такой-себе аргумент. HSM давно занимаешься?

Посмотрел в яндексе что это такое. Нет, производством криптографических брелков я не занимаюсь. Но не вижу в них ничего сложного, и если бы занимался (для своих нужд) - вряд ли бы стал искать какие-то стандарты и пытаться в них втиснуться. Есть математика, надо её реализовать, всё.

Ну а запредельные цены на исходящий трафик — это побочный эффект или самоцель

Высокие цены при высоком спросе это цель любого бизнеса.

И потому ты звучишь, как адвокат, который рассказывает про производственную необходимость, хотя очевидно, что какой-то острой производственной необходимости делать плохо и сложно не было, они могли в любой момент заметить проблему и исправить, более того, они точно заметили ее, но специально оставили проблему на ровном месте, имея этому «оправдание».

Повторюсь, мне, чисто со стороны, это всё видится именно как «сделали как проще и технически приятнее». И я не знаю про какую проблему идёт речь.

Качественный продукт? Это тот, у которого GUI в ядре, даже в NT

Я не про винду в целом а про их обратную совместимость (впрочем, бывшую, в современных виндах и её испортили).

А ты виндой 95 пользовался? Я помню, как мне нужно было перезагружать компьютер для того, чтобы выйти из турбопаскаля

Пользовался, упомянутой проблемы не имел. Наоборот, весь дос-софт работал прекрасно и даже имел обратно-совместимый доступ ко всему железу, как полагается дос-софту.

Факт отсутствия поддержки нового железа старой системой.

Причём тут новое железо? Запускаешь старый софт на старой системе и старом железе. И вообще это всё оффтоп уже, причём тут амазон?

firkax ★★★★★
()
Ответ на: комментарий от byko3y

Безосу вообще плевать что там у него делается, лишь бы деньги приносило, а оно приносит.

Спеки на жвм тоже открытые и не возбраняется делать свои реализации, но потом выясняется что оракл чет не доволен гуглом, не будьте таким наивным.

Вот вы и не знаете, но выдаете свои домыслы за чистую монету. Это бесполезная беседа в общем-то.

abcq ★★
()
Последнее исправление: abcq (всего исправлений: 1)
Ответ на: комментарий от firkax

Общеизвестные способы это либо тупо пароль (постоянный или сессионный), либо что-то типа hash(salt+data) с секретным salt, либо цифровая подпись на основе какого-нить алгоритма с открытым ключом на всё содержание запроса

Я соснифал твой пароль или хэш пароля, и отправил свои данные с твоим паролем. Дальше что?

Посмотрел в яндексе что это такое. Нет, производством криптографических брелков я не занимаюсь. Но не вижу в них ничего сложного, и если бы занимался (для своих нужд) - вряд ли бы стал искать какие-то стандарты и пытаться в них втиснуться. Есть математика, надо её реализовать, всё

Так вот, если бы ты занимался HSM (как это делает Amazon, между прочим), то KMIP для тебя был бы как азбука. Но почему-то Амазон предпочел писать собственную азбуку.

Ну а запредельные цены на исходящий трафик — это побочный эффект или самоцель

Высокие цены при высоком спросе это цель любого бизнеса

Речь идет не про трафик вообще, а именно про ИСХОДЯЩИЙ. Вход рубль — выход десять. Когда лох понимает, что его поимели — уже поздно, приходится платить либо за сервисы, либо за трафик для внешних сервисов или миграцию. А скрытых цен у амазона валом — при всём желании даже после чтения документации тебе будет сложно сказать, сколько будет стоить работа некоего достаточно сложного сервиса.

Повторюсь, мне, чисто со стороны, это всё видится именно как «сделали как проще и технически приятнее». И я не знаю про какую проблему идёт речь

Повторюсь, мне, чисто со стороны, это всё видится именно как «сделали как проще и технически приятнее». И я не знаю про какую проблему идёт речь.

Это актуально только для самых первых поделок MS, когда она была никому не известной конторкой. Уже в девяностых эта ситуация изменилась, и с каждым годом она усугублялась. Защищенный режим в i386 уже был, но вместо оси с защищенным режимом они решили усложнять MS DOS, пока не выяснилось, что это уже ни в какие ворота не лезет, полученная ОС рискует вывалиться из кучи ниш, для которых требуется надежность и стабильность.

Я не про винду в целом а про их обратную совместимость (впрочем, бывшую, в современных виндах и её испортили)

В офисе абсолютно новый формат документов для обратной совместимости сделали? Почему-то когда им нужно — так сразу можно сделать аккуратно, а как были тотальными монополистами, так сразу «мы тут совместимость поддерживаем, не мешайте нам».

Пользовался, упомянутой проблемы не имел. Наоборот, весь дос-софт работал прекрасно и даже имел обратно-совместимый доступ ко всему железу, как полагается дос-софту

Блин, я недавно на виртуалку 95 ставил, первым делом у меня упало несколько приложений. Впрочем, синего экрана я не увидел, да. Зато увидели посетители презентации Win 98:
https://www.youtube.com/watch?v=yeUyxjLhAxU

Запускаешь старый софт на старой системе и старом железе. И вообще это всё оффтоп уже, причём тут амазон?

Железо не вечно: механика изнашивается, кондеры вздуваются. Дальше что? Перепаивать плату? Только потому, что поставщик ОС хочет, чтобы ты купил его новую ОС? Естественно, многие выберут новую ОС — на это и ставка.

Амазон тут при том, что подсаживание клиентов на софт имеет богатую историю. Да, они подсаживают на свои сервисы людей как могут, как получается, как позволяют законы — это нормальное поведение коммерса. Злобный ли он при этом или не очень? Не мое дело решать. Мое дело лишь сообщить, что вообще-то ситуация имеет место.

byko3y ★★★★
() автор топика
Ответ на: комментарий от byko3y

Я соснифал твой пароль или хэш пароля, и отправил свои данные с твоим паролем. Дальше что?

Пароли в открытом виде сейчас обычно не используют. Если их и шлют напрямую - то через шифрованные туннели типа ssl или ssh. Если надо авторизовать криптобрелком то пароль не подойдёт, см. остальные два варианта. А причём тут хэш пароля я вообще не понял, это почти бесполезная штука.

Так вот, если бы ты занимался HSM (как это делает Amazon, между прочим), то KMIP для тебя был бы как азбука. Но почему-то Амазон предпочел писать собственную азбуку.

Нет. Это тоже самое как SSL назвать азбукой для шифрования TCP-соединений (многие считают что это дефолтный или даже единственный способ потокового шифрования, и суют эту вебную пакость где ни попадя).

Речь идет не про трафик вообще, а именно про ИСХОДЯЩИЙ. Вход рубль — выход десять. Когда лох понимает, что его поимели — уже поздно

Когда тебя УЖЕ поимели - всегда поздно. На этот случай есть простое правило - не пользоваться коммерческими услугами ИТ-гигантов ни под каким предлогом. Кто решил его нарушить - сам виноват. Цены на трафик тут - только детали.

Это актуально только для самых первых поделок MS,

Причём тут мс, речь была про амазон.

В офисе абсолютно новый формат документов для обратной совместимости сделали?

Причём тут офис, речь была про винду.

Блин, я недавно на виртуалку 95 ставил, первым делом у меня упало несколько приложений.

Какая беда, только причём тут это?

Железо не вечно: механика изнашивается, кондеры вздуваются.

Да вообще ужас. Только к тому времени как этот аспект станет значимым, ты сменишь всё по совсем другим причинам.

firkax ★★★★★
()
Ответ на: комментарий от abcq

Безосу вообще плевать что там у него делается, лишь бы деньги приносило, а оно приносит

Ты на что намекаешь? «Я ничо, AWS как-то самое возникло, я только успевал деньги получать»? AWS — это 70% маркетинга, 20% разработки, и 10% железа. Как бы да, при такой картине, действительно, пофигу, как оно там под капотом работает — лишь бы лох не мог уйти с нашего сервиса на сервис конкурента.

Спеки на жвм тоже открытые и не возбраняется делать свои реализации, но потом выясняется что оракл чет не доволен гуглом, не будьте таким наивным

Как я тебя удивлю, если ты узнаешь, что JRE является платной? Там всё вусмерть огорожено, Sun планировало захватить мир, просунув жабу в каждую щелку, как якобы бесплатный инструмент решающий все проблемы — вот прямо как AWS. Это потом всплывают скрытые цены, потом выясняется, что хотя JEE и публично, но еще более проприетарно и платно.

byko3y ★★★★
() автор топика
Ответ на: комментарий от firkax

Пароли в открытом виде сейчас обычно не используют. Если их и шлют напрямую - то через шифрованные туннели типа ssl или ssh.

SSL нынче никто не пользуется — везде только TLS. О котором я писал изначально, если чо. И там всё упирается в то, что ты отправишь пароль на аутентичный сервер AWS, а не на сервер Васи Пупкина.

А причём тут хэш пароля я вообще не понял, это почти бесполезная штука

Ну а что ты имел в виду под «hash(salt+data) с секретным salt»?

Так вот, если бы ты занимался HSM (как это делает Amazon, между прочим), то KMIP для тебя был бы как азбука. Но почему-то Амазон предпочел писать собственную азбуку.

Нет. Это тоже самое как SSL назвать азбукой для шифрования TCP-соединений (многие считают что это дефолтный или даже единственный способ потокового шифрования, и суют эту вебную пакость где ни попадя)

Я тебе твержу о том, что если ты хочешь пользоваться HSM, то найти готовую железяку, которая бы работала по KMIP-совместимому протоколу, намного проще, чем писать собственный велосипед, который по итогу будет транслировать вызовы API в тот же KMIP — вряд ли Amazon изготавливает собственные HSM.

Это неочевидно, но я изначально спорил с тезисом про «с амазона легко спрыгнуть на альтернативного провайдера».

Повторюсь, мне, чисто со стороны, это всё видится именно как «сделали как проще и технически приятнее». И я не знаю про какую проблему идёт речь.

Причём тут мс, речь была про амазон

А, ты про это... Как я отвечал тебе изначально — и да, и нет, поскольку да, они упрощали кое-где, но кое-где усложняли.

В офисе абсолютно новый формат документов для обратной совместимости сделали?

Причём тут офис, речь была про винду

У меня не так много жестких фактов, чтобы просто по одной винде их бесконечно вываливать. Офис — это продукт настолько же важный для MS, как и винда, это два столпа, на которых зиждется софтовое наследие MS. И не в последнюю очередь у винды была роль запускалки офиса... Ну и еще запускалки игрушек под DirectX, тот самый, который сделан поперек OpenGL, because I can. Причем, первые версии DirectX были максимально ублюдочные, игры под седьмую-восьмую версию на современной винде-железе стабильно работают неправильно или очень медленно — вот и расскажи мне больше про «удобнее и качественнее» и «техническая необходимость».

Какая беда, только причём тут это?

Ну ведь именно MS сделало золотым стандартом глючный падающий софт. А AWS сделало стандартом бессмысленное переусложнение и крайне неэффективное использование ресурсов серверов.

Только к тому времени как этот аспект станет значимым, ты сменишь всё по совсем другим причинам

Да, потому что появилось более мощное и дешевое железо. Которое я не могу купить, потому что на нем не запустится мой софт. Это ведь был один из коньков Linux, которая запускалась на раритетах.

byko3y ★★★★
() автор топика
Ответ на: комментарий от byko3y

Ага, просыпается Безос с утра и такой, ну в общем с сегодняшнего дня я буду совать свой нос в любой мой бизнес, буду вникать в каждый вопрос, сам лично принимать участия в обсуждении технических деталей и т.д. и т.п. Самому не смешно?

У меня такое чувство что вы только себя удивляете все время, и чем дальше тем все чудесатей. Мне нравится как вы мои же слова мне назад возвращаете но только как будто это не я вам привел пример с жвм что бесплатный сыр только в мышеловке, а как будто вы мне ими же и контраргументируете непонятно что ) И вообще-то речь шла не про жре, а про жвм, и уж если на то пошло, платная она не вся и не столько, а платная лишь та ее часть которая развивалась саноракл, вы как будто только после разморозки и забыли что сан открыла джаву когда схлопнулась, не всю конечно, но до какой-то степени и теперь это называется опенждк. А ораклу остается только тот пласт который не открыт + сертифицированное решение + гарантии и поддержка, то что они продают и то, что по сути продавала сан до них.

abcq ★★
()
Ответ на: комментарий от abcq

Ага, просыпается Безос с утра и такой, ну в общем с сегодняшнего дня я буду совать свой нос в любой мой бизнес, буду вникать в каждый вопрос, сам лично принимать участия в обсуждении технических деталей и т.д. и т.п. Самому не смешно?

Мне нравится такой подход, но давай серьезно рассмотрим, что сделал Безос. Прежде всего, ищея создания AWS была вообще не его, задумку принес Барр, и Безос, естественно, одобрил эту халтурку. Но и Барр над AWS работал не сам, были манагеры, архитекторы, исполнители. Изначально ведь амазон был монолитом на Perl/Mason и C++, потом его поделили на две части, потом еще на хрен знает сколько частей с независимыми командами разработки. Каждая команда занимается своим сервисом от начала до конца, наверх лишь докладывает результаты и получает новые задания. А наверху уже сидят людишки, которые отчитываются перед Безосом/Барром о достигнутых успехах и обсуждают планы развития, в частности «как и на ком мы будем зарабатывать», после чего сами детализуют этот план и дают разнарядки на отдельные команды.

У меня такое чувство что вы только себя удивляете все время, и чем дальше тем все чудесатей. Мне нравится как вы мои же слова мне назад возвращаете но только как будто это не я вам привел пример с жвм что бесплатный сыр только в мышеловке, а как будто вы мне ими же и контраргументируете непонятно что

Ну так а что ты сам хотел мне контраргументировать примером с JVM? KMIP не разрабатывал Sun, стандарт свободный. Всё, вопрос решен?

byko3y ★★★★
() автор топика

Хотя я понимаю, что это сообщение только для того, чтобы разжечь троллинг, но сам давно перестал понимать, зачем люди используют AWS.

Когда-то ходил миф, что это дешевле своей инфраструктуры, или других выделенных серверов. Это миф. AWS — дорого, очень дорого. Тем более, на минимальном уровне оплаты (без поддержки) могут быть необъяснимые глюки. У меня такое было: были совершенно необъяснимые глюки с Amazon RDS, которые возникали месяцами. А если перейти на уровень с поддержкой, то оплата стала бы не золотой, а платиновой. Мы и золотую еле держали. В итоге, плюнули, и я перенёс всю инфраструктуру на выделенные сервера Digital Ocean. Платить стали на поряок меньше. Я совершенно точно это знаю, т.к. перед переносом записал сколько биллинг AWS насчитал за последние месяцы, чтобы потом сравнить с Digital Ocean. Цифры вообще несопоставимые. При этом времени на поддержку стало уходить меньше, т.к. почему-то всё стало работать без глюков и необходимости несколько раз в неделю вручную что-то подкручивать, подпиливать.

Что касается Microsoft, то я здесь в одном треде уже высказывался, что Microsoft намеренно делает отвратительные недокументированные API с кучей подводных камней. Меня один фанат Microsoft, который непонятно, что здесь делает, принялся переубеждать.

Просто не хочу рассказывать, где работаю, но мы работаем, с определенной, не самой распространенной областью WinAPI. И в этой области отвратительная документация, по которой невозможно ничего понять, и которая нередко противоречит реальному поведению API. Может быть, у Microsoft, при всех её ресурсах, просто не хватает времени на написание качественной доки и синхронизации её при изменениях в API. Но что-то мне подсказывает, что дело не только в этом.

emorozov
()
Ответ на: комментарий от emorozov

Вообще, заметил, что у многих западных менеджеров алгоритм выбора языка/фреймворка/хостинга очень простой: то, что на слуху, и с проплаченной рекламой всюду, то, с точки зрения менеджера и хорошо.

Мои западные менеджеры часто любили просто сыпать перед заказчиками набором buzzwords: «У нас тут всё на AWS, сертифицировано по ISO, и поиск на ElasticSearch». Потом менеджер устраивает разнос (уже без заказчиков, конечно): «Почему поиск медленно работает?» Отвечаешь, что данных слишком много, индексы неоптимальные, надо пилить тут и там, в ответ гневная тирада: «Но ведь мы используем ELASTICSEARCH!!!» Они всё время считают, что buzzwords типа AWS и всего прочего — серебряная пуля, решающая любые проблемы, и в детали вникать не хотят. Возможно, что это лично мой опыт.

Но я не знаю, чем иным объяснить, что каждый жук со своим hello world лезет обязательно в AWS, где переплачивает в несколько раз за хостинг пары облезлых страниц, на которые заходят 2.5 человека в месяц. Я понимаю, что у них деньги с печатного станка лопатой разбрасывают, но всё равно сложно понять этот стадный инстинкт. И всё-таки деньги есть деньги, там же культ денег, вроде как должны стараться рационально их использовать…

emorozov
()
Ответ на: комментарий от emorozov

минимальном уровне оплаты (без поддержки) могут быть необъяснимые глюки. У меня такое было: были совершенно необъяснимые глюки с Amazon RDS, которые возникали месяцами

Кокого характера глюки? Тормозит на ровном месте? Там хитрожопая система ограничения ппотребления ресурсов для нищуков.

Если там и правда глюки плана «не работает, хотя должно», то это веселый контраргумент рассказам про «просто всё работает».

byko3y ★★★★
() автор топика
Ответ на: комментарий от emorozov

Вообще, заметил, что у многих западных менеджеров алгоритм выбора языка/фреймворка/хостинга очень простой: то, что на слуху, и с проплаченной рекламой всюду, то, с точки зрения менеджера и хорошо

Я тоже этому сначала удивлялся, но чуть притормози и давай подумаем сами с позиции манагера: если ты собираешься построить свой проект на решении некой фирмы, то какую фирму ты предпочтешь выбрать? Васю Пупкина, который полгода назад возник на рынке, какой-нибудь опенсорс, поддерживаемый двумя с половиной челами, или коммерчески успешное решение, которое годами известно на рынке? Коммерческий успех значит, что у этой фирмы тупо есть деньги на поддержку и разработку решения — как в свое время MS выдавило с рынка конкурентов с более качественными решениями, за счет того, что сначала продавала говно задешево, а потом накопила ресурсов и подняла качество.

Но я не знаю, чем иным объяснить, что каждый жук со своим hello world лезет обязательно в AWS, где переплачивает в несколько раз за хостинг пары облезлых страниц, на которые заходят 2.5 человека в месяц. Я понимаю, что у них деньги с печатного станка лопатой разбрасывают, но всё равно сложно понять этот стадный инстинкт. И всё-таки деньги есть деньги, там же культ денег, вроде как должны стараться рационально их использовать

«Нам все равно чем пользоваться» — это аргумент очень многих пользователей AWS. Я не случайно выше называл его «облачным хостингом для домохозяек», потому что это так и есть. У людей просто нет желания/времени искать какой-то там хостинг, который бы сэкономил пять долларов.

byko3y ★★★★
() автор топика
Ответ на: комментарий от byko3y

Если там и правда глюки плана «не работает, хотя должно», то это веселый контраргумент рассказам про «просто всё работает».

Была очень слабозагруженная база MySQL. Размером где-то в 10-15 Гб. Добавления, обновления - очень редкие. Удаления - почти никогда. В основном, выборки. База для не очень нагруженного сайта.

Её размер постоянно рос на десятки гигов в неделю. Беспричинно. Постоянно вставала колом, приходилось покупать у Amazon дополнительное место, которое заканчивалось ещё быстрее. Я использовал все найденные диагностики, все параметры показывали, что с базой всё в порядке. Размеры всех таблиц и индексов были в норме. Куда девалось пропавшее место, было непонятно.

Конечно, надо было обратиться в поддержку, но я так понял, что это можно было сделать только за дополнительные деньги, в наш tier поддержка не входила. В общем, заплатив Amazon сумасшедшие деньги за RDS (база распухла едва ли не до терабайт), я в итоге перенёс сайт вместе с базой на один VPS Digital Ocean за $5/месяц. Проблема исчезла навсегда, уже года 4 он там работает без единого вмешательства.

emorozov
()
Ответ на: комментарий от byko3y

У людей просто нет желания/времени искать какой-то там хостинг, который бы сэкономил пять долларов.

В том-то и дело, что разница не про экономию пяти долларов, а пятиста и более. Каждый месяц. И 500 это для небольшой компании, которой не нужна большая инфраструктура. Подозреваю, что в большой компании, в которой много инфраструктуры, разница в счетах будет в тысячи и в десятки тысяч.

Хотя, с другой стороны, для американских стартапов, которые завалены свеженапечатанными деньгами, разницы, наверное, всё равно нет, т.к. это меньше зарплаты одного разработчика или сопоставимо с ней…

emorozov
()
Ответ на: комментарий от emorozov

Её размер постоянно рос на десятки гигов в неделю. Беспричинно. Постоянно вставала колом, приходилось покупать у Amazon дополнительное место, которое заканчивалось ещё быстрее

Хочется ответить словами оратора выше «они не специально, им просто нет смысла тратить лишние ресурсы на то, чтобы клиенту было проще пользоваться и мигрировать».

byko3y ★★★★
() автор топика

Это 10% разработки и 90% маркетинга.

им тупо БЫЛО ВСЁ РАВНО ЧТО ПРОДАВАТЬ.

Я хочу поинтересоваться у докладчика - а в чём заключается научная новизна работы?

LamerOk ★★★★★
()
Ответ на: комментарий от byko3y

MS в свое время выкинули всё ядро доса, сделали новое ядро

Купили:

Microsoft hired a group of developers from Digital Equipment Corporation led by Dave Cutler to build Windows NT, and many elements of the design reflect earlier DEC experience with Cutler’s VMS,[21] VAXELN and RSX-11, but also an unreleased object-based operating system developed by Dave Cutler at Digital codenamed MICA.[22]…

While creating Windows NT, Microsoft developers rewrote VMS in C. …, DEC engineers almost immediately noticed the two operating systems’ internal similarities; parts of VAX/VMS Internals and Data Structures, published by Digital Press, accurately describe Windows NT internals using VMS terms. Instead of a lawsuit, Microsoft agreed to pay DEC $65–100 million, help market VMS, train Digital personnel on Windows NT, and continue Windows NT support for DEC Alpha.[21]

У MS есть только один широко известный продукт, рождённый прямо в недрах, а не купленный на рынке «успешный стартап» - это офис.

LamerOk ★★★★★
()
Ответ на: комментарий от byko3y

Понятие cloud возникло в 80-90-х годах,

Ага. Помню чумовую фишку Dos Navigator’а - когда копируешь файл на клауд, можно было в тетрис поиграть.

LamerOk ★★★★★
()
Ответ на: комментарий от LamerOk

Я хочу поинтересоваться у докладчика - а в чём заключается научная новизна работы?

В вендорлоковости. Среди широких масс ходит поверье, что с AWS можно соскочить. А оказывается, что нельзя. Есть куча AWS-совместимых хостингов, но выясняется, что они не так уж и совместимы. Даже самый старый сервис, S3, имеет кучу несовместимостей с S3-совместимыми сервисами. Причем. амазон прилагает все доступные и оправданные усилия для того, чтобы ситуация именно такой и оставалась, то есть, чтобы пользователи подсаживались на сервисы, а потом внезапно выясняли, что соскочить с них очень дорого, сильно дороже. чем они думали.

byko3y ★★★★
() автор топика
Ответ на: комментарий от LamerOk

MS в свое время выкинули всё ядро доса, сделали новое ядро
Купили
У MS есть только один широко известный продукт, рождённый прямо в недрах, а не купленный на рынке «успешный стартап» - это офис.

Да хоть бы и купили — сегодня все всё аутсорсят, я сам сейчас на аутсорс работаю. Но это можно сделать, другое дело, что в амазоне не хотят, потому что «пипл хавает».

byko3y ★★★★
() автор топика
Ответ на: комментарий от byko3y

В вендорлоковости. Среди широких масс ходит поверье, что с AWS можно соскочить. А оказывается, что нельзя.

Это ты америку открыл. Любой, кто тыкал палкой в авс чуть более, чем 5 минут, допетрит до этого своим умом. И единственная широкая масса, которая активно шитпостит про безшовную миграцию из облака в облако - это, в общем-то, ты. Многие поставщики заявляют о совместимости каких-то своих отдельных сервисов с сервисами других поставщиков, но то такое, и все знают, что это просто реклама из серии «у нас почти так же как и там».

Самое же главное, что очень мало кому нужен исключительно гуглояндексдиск на S3. Нужна пачка сервисов, дополняющих друг друга настолько плотно, что бы сформировать фактически программную платформу, на базе которой уже можно реализовать обычный веб-чат-магазин - убийцу вконтакта-ютуба-тиктока или что там модно убивать в 2К22. И миграция с одной облачной платформы на другую - это всем понятное переписывание проекта «почти с нуля».

То есть ты, в общем-то, воюешь с мельницей, которую сам себе придумал.

Ну, а теперь давай я покажу тебе ошибку в твоих рассуждениях. Ты её, конечно, не осознаешь, но это будут уже не мои проблемы. Итак,

S3 нужен только для бигдаты. Вообще без вариантов. Если кто-то пытается использовать S3 для хранения своей коллекции ROM-ов Dendi, то он поехавший.
Я уже и с той стороны захожу, и с этой — ну не могут люди понять, о чем я пишу,
Потому что, внезапно, распределенные системы никому не нужны.

Никто не может понять, что за херь ты несёшь, потому что людям нужны распределённые системы, но не те, про которые ты упарываешься. Пример нужной людям «распределённой системы» на базе S3 - хранилище рассматривается как условно-бесконечный диск, куда клиент-сервис единожды загружает унылый файл, а дальше через клаудфронт оно раздаётся на публику. Это ничего общего не имеет с твоей шизой про бигдату, и с бигдатой вообще. Это просто самый обычный унылый уёб / мобилка любых сортов.

Бесконечность объёма в сочетании с отсутствием бородача в свитере с прожжёнными оленями и рассматривается конечным пользователем как «облачность» / «распределённость» / «масштабируемость». И это оно и есть - владелец облака продал потребителю свою экспертизу в кабелях, серверах, балансировщиках, репликациях и бэкапах, а потребитель в свою очередь проаутсорсил всю эту фигню вендору.

P.S. Шизики с CAS-теоремами и распределённым консенсусом последние лет десять переехали из баз данных на блокчейны - мож, тебе туда податься? Там ты найдёшь родственные души.

LamerOk ★★★★★
()
Последнее исправление: LamerOk (всего исправлений: 1)
Ответ на: комментарий от LamerOk

Пример нужной людям «распределённой системы» на базе S3 - хранилище рассматривается как условно-бесконечный диск, куда клиент-сервис единожды загружает унылый файл, а дальше через клаудфронт оно раздаётся на публику

Чувствуется рука мастера, который не одну сотню сортиров вилкой вычистил до блеска. Я давно ждал адекватного ответа по сути, но такое ощущение, будто все адекваты то ли куда-то убежали, то ли не хотят кормить тролля.

Ты допустил неточность, потому что S3 — это совсем не «бесконечный диск», это веб-файлопомойка с сопутствующими серьезными ограничениями на операции. В этом плане S3 даже до WebDAV не дотягивает, в котором есть блокирование и перемещение файлов. У AWS есть дископодобные сервисы (EBS), которые в разы дороже S3. При этом Backblaze продает 4U сервера на 500 ТБ (то есть, 250 ТБ RAID 1 массивом), а у Hetzner есть только галимые 200 ТБ, которых, естественно, мало кому хватает.

Это ничего общего не имеет с твоей шизой про бигдату, и с бигдатой вообще. Это просто самый обычный унылый уёб / мобилка любых сортов

А вот здесь ты отстал от моды, потому что S3 нынче внатуре начали использовать для хранения БД, ну там даталейки всякие, хотя сами разрабы AWS были в шоке, мол «вы чё там, совсем поехавшие? Оно же не предназначено для БД совсем!». Тем не менее, адаптер S3 для ClickHouse имеется.

Бесконечность объёма в сочетании с отсутствием бородача в свитере с прожжёнными оленями и рассматривается конечным пользователем как «облачность» / «распределённость» / «масштабируемость»

Ты знаешь, мне это напоминает слепых людей, которые говорят, что «солнце — это когда тепло и птички поют». То есть, они никогда в жизни своими глазами не видели распределенности и масштабируемости, но поскольку все эти слова говорят — я тоже буду их говорить. Классическая цитата по теме от Dan Ariely:

Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it…

Но здесь ты сам попадаешь в ловушку маркетологов: если секс людям привлекателен сам по себе, то чем людям может быть привлекательна Big Data или распределенность? Теме вменяется в обязанность хотеть быть распределенной крипточейновой бигдатой, но ты сам не понимаешь почему. Зато понимаешь, что заказчик считает себя обязанным быть распределенной бигдатой, потому ты можешь ему продать AWS.

Шизики с распределённым консенсусом последние лет десять переехали из баз данных на блокчейны - мож, тебе туда податься? Там ты найдёшь родственные души

Что-то в блокчейнах какой-то трешак, всякие биотехнологии на блокчейнах или еще какие-то франкенштейны, которые на первый взгляд представляют из себя случайные сочетания слов — я все-таки больше прикладник-продуктовик, мне хочется видеть, что моим продуктом пользуются, а не только финансируют его разработку.

Кстати, я почему-то не слышал ни про какую эпидемию шизиков с консенсусами. Когда она была-то? Или ты сам факт популяризации Raft-а воспринимаешь как «эпидемию консенсусов»?

byko3y ★★★★
() автор топика
Ответ на: комментарий от abcq

https://en.wikipedia.org/wiki/Backblaze

In September 2015, Backblaze launched a new product, B2 Cloud Storage

Через 10 лет после S3 разродились.

А насколько они огромные и крутые игроки облачного рынка вполне понятно по их капитализации, благо IPO же было.

As of April 2022 Backblaze has a market cap of $0.30 Billion.

Для примера старый добрый риселлер s3

As of April 2022 Dropbox has a market cap of $8.79 Billion.

aedeph_ ★★
()
Ответ на: комментарий от aedeph_

dropbox ещё и яркий пример vendor lock от ТСа - 10 лет сидели на s3, а потом спокойно, хоть и не без приключений, уехали в свои ЦОДы. Но пздть не мешки ворочать, это да.

aedeph_ ★★
()
Ответ на: комментарий от aedeph_

dropbox ещё и яркий пример vendor lock от ТСа - 10 лет сидели на s3, а потом спокойно, хоть и не без приключений, уехали в свои ЦОДы. Но пздть не мешки ворочать, это да

Ты почему-то упоминаешь дропбокс, хотя кроме дропбокса были сотни файлопомоек, про которое никто сегодня не вспомнит. Инста тоже уехала на сервера лицокниги, но стоило им это весьма дорого.

byko3y ★★★★
() автор топика
Ответ на: комментарий от byko3y

это веб-файлопомойка с сопутствующими серьезными ограничениями на операции

Ну я же перечислил ровно две операции, которые интересуют 99% потребителя - закачать и раздавать.

А вот здесь ты отстал от моды, потому что S3 нынче внатуре начали использовать для хранения БД,

См. выше.

мне это напоминает слепых людей, которые говорят, что «солнце — это когда тепло и птички поют».

Да. Именно так оно и есть - людям нужен свет и щебетанье птичек. А что там за жёлтый карлик или сверхновая за ними стоит - всем похер.

то чем людям может быть привлекательна Big Data или распределенность?

Последнее - тем, что это не «мы проаутсорсили половину нашего IT стороннему подрядчику, которого в глаза не видели», а «мы используем передовые технологии для надёжности и отказоустойчивости под высокими нагрузками». Видишь разницу? А для маркетинга она есть.

, я почему-то не слышал ни про какую эпидемию шизиков с консенсусами.

Лет десять назад византийские генералы брали тебя штурмом, стоило открыть любую околоайтишную страничку.

Что-то в блокчейнах какой-то трешак,

Дай дураку блокчейн и ты будешь вспоминать о хрустале, как о самых светлых днях.

LamerOk ★★★★★
()
Ответ на: комментарий от LamerOk

Ну я же перечислил ровно две операции, которые интересуют 99% потребителя - закачать и раздавать

Что закачать? Смишные картинки и стратегические запасы котиков можно разместить на одном сервере. Даже крупный сервис может хранить тонны файлов в одном месте безо всяких S3. Проблемы начинаются примерно с сотен терабайт — а что может столько весить?

Последнее - тем, что это не «мы проаутсорсили половину нашего IT стороннему подрядчику, которого в глаза не видели», а «мы используем передовые технологии для надёжности и отказоустойчивости под высокими нагрузками». Видишь разницу? А для маркетинга она есть

Что мешает заявить то же самое, не имея толком ничего по факту? Собственно, как и делают очень часто.

Лет десять назад византийские генералы брали тебя штурмом, стоило открыть любую околоайтишную страничку

Ну да, десять лет назад как раз возникли блокчейны, которые решают задачу византийских генералов, и только-только появились ZooKeeper/Zab и Raft, до которых люди считали, что ничего лучше монги не бывает — я все-таки в IT вкатывался примерно в это время, так что пронаблюдать нашествия распределенщиков не смог.

byko3y ★★★★
() автор топика
Ответ на: комментарий от byko3y

можно разместить на одном сервере
Проблемы начинаются примерно с сотен терабайт

Ну, а теперь давай я покажу тебе ошибку в твоих рассуждениях. Ты её, конечно, не осознаешь, но это будут уже не мои проблемы.

Ты можешь отрицать реальность сколь угодно долго, но да 99,9(9)% объёма данных на S3 - это смишные картинки и стратегические запасы котиков.

И причины тебе уже называли 100500 раз - можно обойтись без сервера, хоть одного, хоть десяти, и бородатых оленей в свитерах в придачу.

LamerOk ★★★★★
()
Ответ на: комментарий от LamerOk

Ты можешь отрицать реальность сколь угодно долго, но да 99,9(9)% объёма данных на S3 - это смишные картинки и стратегические запасы котиков.
И причины тебе уже называли 100500 раз - можно обойтись без сервера, хоть одного, хоть десяти, и бородатых оленей в свитерах в придачу

Я ни одной наносекунды не спорю с тем, что пользователям нужен унылый уеб. Я спорю с тем, что это якобы какое-то отношение имееет к масштабируемости, распределенности, бигдатовости, и прочему. Клиент/манагер/девопес налепит сайтик в AWS, который потом ляжет на неделю с потерей всех данных от одной командой, потому что никто не поставил галочку «делать бэкапы». Безграничность пространства там только как у Коклюшкина «моя благодарность не будет знать границ» — то есть, забесплатно клиент получит только столько, сколько не жалко. Короче говоря ВЕБСКЕЙЛ:

 — Ваше решение вебскейл?
 — Что такое вебскейл?
 — Ну вот AWS — это вебскейл. MongoDB — вебскейл. Kubernetes — вебскейл. Я и спрашиваю: ваше решение вебскейл?

Заказчик мог прямо так и сказать: я не хочу ни в чем разбираться, не хочу никого нанимать, просто хочу отправить SMS на короткий номер и получить готовое кастомное решение задач моего бизнеса " под ключ". При чем тут масштабируемость? При чем тут распределенность? Первый мой крупный коммерческий проект как раз был об этом: десктопная софтина, которая решает многие популярные задачи бизнеса, сама бэкапится на сервер, и стоит копейки — вот что нужно людям.

Заказчик — дебил, сам не знает, что хочет, но мы-то грамотные люди, в этих ваших комплюктерах разбираемся, знаем где у мышки лево-право, давайте называть вещи своими именами.

byko3y ★★★★
() автор топика
Ответ на: комментарий от byko3y

Я спорю с тем, что это якобы какое-то отношение имееет к масштабируемости, распределенности,

  1. Доказывай, почему раздача одного и того же файла с разных хостов, не является «распределённостью».
  2. Доказывай, почему автоматическое увеличение хостов из п.1 не является «масштабируемостью».
LamerOk ★★★★★
()
Ответ на: комментарий от LamerOk

Доказывай, почему раздача одного и того же файла с разных хостов, не является «распределённостью»

С какого перепуга некий Squid, поставленным админом Васей Пупкиным между инетом и внутренней сетью, становится часть распределенной системы фейсбука? Или гугла? Или амазона? Он взаимодействует с остальной системой так же, как обычный клиент. В этом плане «распределенным» является сам интернет, а не устройство сервера. То, что прокси может поставить сам фейсбук/гугл/амазон для той же цели (снижения трафика) не является неотъемлимым и выдающимся свойством самого исходного сервера — как бы потому примитивные CDN и применяют вместо каких-то более продвинутых решений, ведь можно (почти) не тратиться на доработку сервера.

Доказывай, почему автоматическое увеличение хостов из п.1 не является «масштабируемостью»

Есил каждый клиент работает со своим собственным набором уникальных файлов, да хотя бы PHP страницы, динамически генерируемые на каждый запрос, то никакой CDN тебе не поможет.

byko3y ★★★★
() автор топика
Последнее исправление: byko3y (всего исправлений: 1)
Ответ на: комментарий от byko3y

С какого перепуга некий Squid,

Какая разница, что именно является распределённым? Хоть netcat. Если обслуживает соединения параллельно боле, чем на одном хосте = распределённый.

Есил каждый клиент работает со своим собственным набором уникальных файлов,

  1. А если не уникальных - то поможет. Но это не про масштабируемость.

да хотя бы PHP страницы, динамически генерируемые на каждый запрос

  1. Если они запускаются на новом сервере обслуживать новые запросы - то = масштабируемость.
LamerOk ★★★★★
()
Ответ на: комментарий от LamerOk

Какая разница, что именно является распределённым? Хоть netcat. Если обслуживает соединения параллельно боле, чем на одном хосте = распределённый

Ты подключаешься к интернету через роутер, роутер делает NAT, обрабатывая соединения от тебя, изменяет содержимое пересылаемых пакетов и отправляет их в интернет.... где по пути то же самое может быть выполенно несколько раз. И это, это сразу «обслуживает соединения параллельно несколько хостов»? Спасибо амазону за роутеры.

Еще раз: все эти прокладки не являются заслугой и преимуществом конечного сервера, который представляет из себя единственную машину хранящую один файл. Если один этот сервер ляжет, то лягут все кэши/CDN — вот и вся распределенность, вот и вся масштабируемость. Короче говоря, распределенность и масштабируемость — это когда «опять всё упало». И я сомневаюсь, что именно в таком виде клиент хотел свой уеб.

да хотя бы PHP страницы, динамически генерируемые на каждый запрос

Если они запускаются на новом сервере обслуживать новые запросы - то = масштабируемость

Уже лучше, уже хотя бы не прикидываешься мешком картошки. Но распределенные воркеры на PHP — это не «просто поставил и работаешь». Чтобы оно хорошо работало распределенно, нужна центральная БД, нужны кэши — то есть, классическая архитектура Facebook из говна и палок, которую вообще-то напряжно разрабатывать и поддерживать, а особенно мигрировать на новую версию. В Facebook миграции делают эпиками — написанными руками инструкциями по переводу БД в разломанное состояние и для сборки в новое юзабельное.

byko3y ★★★★
() автор топика
Ответ на: комментарий от byko3y

Если обслуживает соединения параллельно боле, чем на одном хосте = распределённый.

через роутер, роутер … И это, это сразу «обслуживает соединения параллельно несколько хостов»?

Проспись, алконавт. Тебе русским языком сказали, что именно является распределённым. Причём тут твой бессвязный бред про роутеры?

Чтобы оно хорошо работало
центральная БД,
нужны кэши

Это всё твои бредовые фантазии, на которое производителям соцсетей для владельцев породистых кошек совершенно насрать.

LamerOk ★★★★★
()
Последнее исправление: LamerOk (всего исправлений: 1)
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.