LINUX.ORG.RU

Архивы репозиториев Ubuntu переносятся на S3

 ,


0

1

Для поддержания надежности работы официальных зеркал репозиториев Ubuntu, компания Canonical приняла решение о переносе хранилища на Amazon S3 и раздаче файлов пользователям с помощью сервиса Amazon Elastic Cloud 2.

Приготовления к этому шагу велись еще с апреля. 13 июня перенос был совершен для восточной части США (регион us-east-1), 5 июля были выполнены оставшиеся операции для остальных регионов (запад США, Европа, Азия, Южная Америка).

Однако в связи с обнаружившимся багом в реализации HTTP сервиса для S3, при получении файлов могут возникать ошибки 403, 404 и 416. В частности, пользователи Ubuntu 11.04 при обновлении apt meta-data могут получить ошибки 403, а пользователи Ubuntu 10.04, 11.10 и 12.04, возможно, получат несоответствие размеров файлов и хэш-сумм.

Пока Amazon устраняет проблемы, вы можете отключить туннелирование в apt, выполнив:

$ echo ‘Acquire::http::Pipeline-Depth “0″;’ |
sudo tee /etc/apt/apt.conf.d/99-no-pipelining

Проблема уже решена для us-east-1, если у вас возникнут проблемы при обновлении, вы можете отправить сообщение в багтрекер Ubuntu.

>>> Подробности

★★★★★

Проверено: JB ()

К примеру, в Майкрософте 80.000 (грубо скажем) человек и бюджет over90000 миллиардов, большое влияние на вендоров, а у Каноникала что? Всего (опять таки грубо) 300 человек, включая программеров-индусов и бюджет, скажем всего 1 миллиард.

Уж как бы эта Каноникал впоследствии не продалась либо Гуглу либо Мелким. Наиболее вероятно первое.

lyrix87 ()
Ответ на: комментарий от anonymous

Не выпендривается, тихо и мирно выпускает слаку с 1993-го, в отличие от кучи понтов Шатлврота.

lyrix87 ()
Ответ на: комментарий от po1s0n

Кстати, что мешает написать torrent транспорт для apt?

Они уже написаны. И они не нужны.

Lighting ★★★★★ ()
Ответ на: комментарий от ZenitharChampion

ubuntu пообещала когда нибудь перейти на амазон и уже перенесла туда целый файл.

druganddrop-2 ★★ ()
Ответ на: комментарий от anonymous

Ночью наши ученые изменят лицензию вашего репозитория и вся твоя убунта будет в ж**е! ты с кем шутишь *ля?

po1s0n ()

А как же их Ubuntu One? Нельзя было back-end использовать для раздачи репозиториев? :-)

rtvd ★★★★★ ()

Кстати, сервис Ubuntu One давно на Амазоне.

firestarter ★★★☆ ()
Ответ на: комментарий от maxcom

это приготовления к стремительному рывку, которй они пообещали партнерам

VladimirMalyk ★★★★★ ()
Ответ на: комментарий от kost-bebix

Мне вот что странно — они ведь пиарят всякие свои «построй своё облако на убунту», а тут получается, что сами же и не осилили.

Цена!

Fix: построй свое ПРИВАТНОЕ облако на убунте.

Только общая стоимость встанет несколько больше того же облака на Амазоне. Так что если приватность не важна (а для публичных репозиториев приватность вообще не характеристика), то использование облаков - способ снизить издержки. Если же важна приватность (что не про данный случай), то нужно поднимать частное облако.

VoDA ★★ ()
Ответ на: комментарий от VoDA

С какого это вдруг цена будет выше? Ты вместо амазона покупаешь более дешёвое железо, где разворачиваешь OpenStack. Наоборот, амазон берёт больше денег за то, что они за тебя занимаются шардингами, репликами и прочим.

kost-bebix ★★ ()
Ответ на: комментарий от VoDA

А как же их Ubuntu One? Нельзя было back-end использовать для раздачи репозиториев? :-)

А зачем? KISS собственно ;)

Не знаю зачем. Зачем они якобы свое облако делают? Впрочем, видимо оно - эдакое облако в квадрате, если даже в Ubuntu One в качестве back-end используются сервисы Amazon.

rtvd ★★★★★ ()
Ответ на: комментарий от kost-bebix

С какого это вдруг цена будет выше? Ты вместо амазона покупаешь более дешёвое железо, где разворачиваешь OpenStack. Наоборот, амазон берёт больше денег за то, что они за тебя занимаются шардингами, репликами и прочим.

Ты диаграмму OpenStack deployment видел? Думаешь действительно будет дешевле поставить это чудовище самому? ЕМНИП они настойчиво рекомендуют поднимать его в пяти географически распределённых data centres и жезело там должно быть весьма неслабым. Плюс всё это хозяйство надо как-то админить. И я очень удивлюсь, если там не будет зверских багов в софте, из-за которых тебе прийдется немало платить за поддержку.

rtvd ★★★★★ ()

Ну и ладно, если проблем с доступом не будет то ок.

anonymous ()

что за хрень. скорость апдейтов ваще никакая 2-3 мегабита всего. молодцы - много серваков уронили

andrew667 ★★★★★ ()
Ответ на: комментарий от kost-bebix

С какого это вдруг цена будет выше? Ты вместо амазона покупаешь более дешёвое железо, где разворачиваешь OpenStack. Наоборот, амазон берёт больше денег за то, что они за тебя занимаются шардингами, репликами и прочим.

оптовые закупки всегда дешевле мало-оптовых или розничных. дальше в цену своего облака идет ЗП всех админов и программистов на этом занятых + налоги + аренда помещений.

собственно снижение цены есть следствие «массовости» или конвейера (на котором еще Генрих Форд зарабатывал)

VoDA ★★ ()
Ответ на: комментарий от rtvd

Не знаю зачем. Зачем они якобы свое облако делают? Впрочем, видимо оно - эдакое облако в квадрате, если даже в Ubuntu One в качестве back-end используются сервисы Amazon.

свое облако они делают для тех кто желает облачные технологии, но заботится о приватности (и делает приватные облака).

для центральных linux репозиториев приватность не нужна - они специально открыты, потому место их размещения (приватное или публичное облако) есть выбор между ценой того и другого.

VoDA ★★ ()
Ответ на: комментарий от rtvd

Ты диаграмму OpenStack deployment видел? Думаешь действительно будет дешевле поставить это чудовище самому? ЕМНИП они настойчиво рекомендуют поднимать его в пяти географически распределённых data centres и жезело там должно быть весьма неслабым. Плюс всё это хозяйство надо как-то админить.

жестяк. а на одном дата-центре такое поднимать бессмысленно или таки есть бонусы?

VoDA ★★ ()
Ответ на: комментарий от VoDA

жестяк. а на одном дата-центре такое поднимать бессмысленно или таки есть бонусы?

Если у тебя только один data centre, то пожара достаточно для того, чтобы убить всё, что у тебя есть, и бизнес, что на это завязан.

Конечно, your mileage may vary. И если под data centre подразумевается подвесная полка в туалете, то соображения безопасности бизнеса рассматривать не обязательно.

Могу предположить, что число пять в качестве минимального количества data centres там появилось не просто так. Это, скажем так, магическое число в некоторых реализациях Paxos.

rtvd ★★★★★ ()
Ответ на: комментарий от VoDA

собственно снижение цены есть следствие «массовости» или конвейера

то есть в небольшом датацентре смысла нет

andrew667 ★★★★★ ()
Ответ на: комментарий от keinas

даже в grep исправляют ошибки, есть примеры софта или сервиса в которых не было ошибок?

Почему даже? grep - штука не такая простая как кажется. Хорошую реализацию за пару дней не напишешь. А проверить её еще сложнее.

rtvd ★★★★★ ()
Ответ на: комментарий от rtvd

Ну, один из сервисом убунту, на котором они зарабатывают деньги — как раз установка этого самого OpenStack. По поводу железа — всю кухню можно поставить и на локальной машине (а как еще разрабатывать?), собственно. Для администрироваться есть утилита, и как если ей чего-то не хватает — значит надо допиливать.

Короче я понимаю, что им банально проще на s3 сесть, но если они взялись поддерживать и пиарить OpenStack — это прекрасный шанс его «потестировать».

kost-bebix ★★ ()
Ответ на: комментарий от kost-bebix

Ну, один из сервисом убунту, на котором они зарабатывают деньги — как раз установка этого самого OpenStack. По поводу железа — всю кухню можно поставить и на локальной машине (а как еще разрабатывать?), собственно. Для администрироваться есть утилита, и как если ей чего-то не хватает — значит надо допиливать.

Если OpenStack нужен лишь для того, чтобы писать под него софт, то локальной машины может и хватит. Точно также, как хватит её для много чего ещё.

И что с того? Облака нужны не для того, чтобы под них софт писать, а чтобы решать на них реальные задачи. Вот тут и возникают вопросы, что же рациональнее: поднимать своё облако или арендовать чужое, пользоваться OpenStack или еще чем-то. Я утверждаю, что своё облако поднимать сложно и дорого (естественно, не на поиграться, а для решения практических задач).

rtvd ★★★★★ ()
Ответ на: комментарий от VoDA

:) ты очень крут, что развёл такие красивые теории про массовые конвейеры, оптовые, мало-оптовые закупки, зарплаты админов, налоги на аренду помещений, но в реальности амазон не является настолько уж дешёвым сервисом, и аренду помещений никто не предлагал делать (а использовать существующие дата-центры и хостинг-провайдеров), з/п админов также считать достаточно сложно, как и сложно считать, на сколько накладнее было бы им сетапить OpenStack вместо амазона.

ну и, наконец, это был бы хороший пиар и площадка для практики использования OpenStack, здесь вообще посчитать потенциальную выгоду невозможно.

kost-bebix ★★ ()
Ответ на: комментарий от rtvd

Ну, может быть и сложно и дорого. Но один из сервисов Каноникал — как раз такие облака разворачивать, а значит им выгодно показать, что облако такое они развернуть в состоянии, и использовать его для реального продакшна (раздачи собственных пакетов, а также можно для Ubuntu One того же).

kost-bebix ★★ ()
Ответ на: комментарий от chg

Андроид взлетел вместе со взлетом платформу, не сравнивайте.

chenger ★★ ()
Ответ на: комментарий от powerpc

Amazon o_O
Это первый шаг к ubuntuStore?

забавно) это теперь такая новая школа Ъ? мало того, что amazon s3 никак не ассоциируется с какими-бы то ни было store-ами, так еще и не вкурсе, что именно ubuntu store уже больше года продает приложения :)

autonomous ★★★★ ()
Ответ на: комментарий от kost-bebix

Ну, может быть и сложно и дорого. Но один из сервисов Каноникал — как раз такие облака разворачивать, а значит им выгодно показать, что облако такое они развернуть в состоянии, и использовать его для реального продакшна (раздачи собственных пакетов, а также можно для Ubuntu One того же).

ОК. Тогда почему же для этой задачи они используют инфраструктуру Amazon а не свою? Не осилили своё облако поднять? :-)

Что до «сложно и дорого»... Да, разворачивание облаков - один из сервисов Каноникл. Им выгодно пиарить это, и рубить на этом сервисе бабки. Но это не значит, что их решение является экономически эффективным или несложным. Скорее даже наоборот. Если их облака - кривой отстой, то никто кроме них их поднять и поддерживать не сможет. Так что у Каноникл будет источник дохода. Если бы облака были созданы хорошо, то их поднять мог бы и младенец. И тогда никто бы не отстёгивал Канониклу, т.к. все равно весь софт - бесплатный и доступный.

rtvd ★★★★★ ()
Ответ на: комментарий от rtvd

жестяк. а на одном дата-центре такое поднимать бессмысленно или таки есть бонусы?

Если у тебя только один data centre, то пожара достаточно для того, чтобы убить всё, что у тебя есть, и бизнес, что на это завязан.

собственно пожара в основном здании часто достаточно чтобы убить бизнес. даже если сам DC остался жив.

ну и понимание, что у бизнеса только ОДИН дата-центр дает представление о его размере.

VoDA ★★ ()
Ответ на: комментарий от andrew667

собственно снижение цены есть следствие «массовости» или конвейера

то есть в небольшом датацентре смысла нет

я говорил о ЦЕНЕ. это простой и понятный критерий. А вот критерий «смысл» для каждого свой. Для кого то основной «смысл» это цена, для другого «смысл» выражается в приватности, а для третьего дата-центр должен быть таким, чтобы не мешать флеймить на ЛОРе.

PS удельная стоимость использования серверной единицы в малом датацентре выше, чем в большом.

VoDA ★★ ()
Ответ на: комментарий от kost-bebix

:) ты очень крут,

Спасибо. У меня еще экономическое образование в довесок к техническому. )))

но в реальности амазон не является настолько уж дешёвым сервисом,

Возможно.

и аренду помещений никто не предлагал делать (а использовать существующие дата-центры и хостинг-провайдеров),

Когда считается ТСО, то считаются ВСЕ затраты, а не только вновь появляющиеся. И собственно никто не мешает прекратить аренду НЕ ИСПОЛЬЗУЮЩИХСЯ дата-центров после переноса обработки на внешнего провайдера. Таким образом в ТСО решения входит и аренда и сервера и админы.

з/п админов также считать достаточно сложно, как и сложно считать, на сколько накладнее было бы им сетапить OpenStack вместо амазона.

Ты не поверишь ;) дело не в том, насколько накладнее, а в том СКОЛЬКО админов нужно, их уровень И ИХ ЗАРПЛАТА. И более квалифицированный админ обычно хочет больше, потому чаще админ умеющий сетапить OpenStack стоит дороже админа со знаниями амазона.

VoDA ★★ ()
Ответ на: комментарий от VoDA

Ты не поверишь ;) дело не в том, насколько накладнее, а в том СКОЛЬКО админов нужно, их уровень И ИХ ЗАРПЛАТА. И более квалифицированный админ обычно хочет больше, потому чаще админ умеющий сетапить OpenStack стоит дороже админа со знаниями амазона.

Вот этот момент мне и не понятен. В смысле, в обеих задачах достаточно одного админа (мне так кажется). По поводу того, что в OpenStack требуется выше квалификация админа — совершенно не факт.

Ну и, собственно, учитывая, что Каноникал предоставляет платную услугу сетапа OpenStack у других — это отличная возможность попрактиковать еще одного админа на OpenStack (либо же он уже опытный и сделает всё и так).

В общем, уверен, что в Каноникал не дураки сидят, просто мне не очевидны причины типа «это дороже» без конкретных слов со стороны кого-то из каноникала. Возможно, когда-нибудь где-то почитаю кого-то из них по этому поводу.

kost-bebix ★★ ()
Ответ на: комментарий от rtvd

Что до «сложно и дорого»... Да, разворачивание облаков - один из сервисов Каноникл. Им выгодно пиарить это, и рубить на этом сервисе бабки. Но это не значит, что их решение является экономически эффективным или несложным. Скорее даже наоборот. Если их облака - кривой отстой, то никто кроме них их поднять и поддерживать не сможет. Так что у Каноникл будет источник дохода. Если бы облака были созданы хорошо, то их поднять мог бы и младенец. И тогда никто бы не отстёгивал Канониклу, т.к. все равно весь софт - бесплатный и доступный.

Ну что за бред :)

kost-bebix ★★ ()
Ответ на: комментарий от VoDA

собственно пожара в основном здании часто достаточно чтобы убить бизнес. даже если сам DC остался жив.

Смотря что за бизнес. Если сотрудники и информация сохранились, то снять новое помещение и закупить необходимое оборудование все же проще, чем начинать всё сначала.

ну и понимание, что у бизнеса только ОДИН дата-центр дает представление о его размере.

Или о размере, или о том, какая у них политика в плане восстановлении после ЧП.

Даже маленький бизнес может арендовать пару 1U мест в географически разнесённых DC. Это лучше, чем хранить все яйца в одной корзинке. Ну а если и на это нет ресурсов, то есть всякие там Google Documents и подобные сервисы.

rtvd ★★★★★ ()
Ответ на: комментарий от rtvd

Очень конструктивный комментарий. Возражения по-существу будут? :)

Дааа. Комментарий в стиле «виндоус специально глючным делают, надо пойти в windows.ini и поставить bugs=off, всё начнёт летать». А главное — _конструктивный_.

kost-bebix ★★ ()
Ответ на: комментарий от kost-bebix

Дааа. Комментарий в стиле «виндоус специально глючным делают, надо пойти в windows.ini и поставить bugs=off, всё начнёт летать». А главное — _конструктивный_.

Ничего подобного я не утверждал.

rtvd ★★★★★ ()
Ответ на: комментарий от rtvd

Если их облака - кривой отстой, то никто кроме них их поднять и поддерживать не сможет. Так что у Каноникл будет источник дохода. Если бы облака были созданы хорошо, то их поднять мог бы и младенец. И тогда никто бы не отстёгивал Канониклу, т.к. все равно весь софт - бесплатный и доступный.

Странно, мне показалось, что цитата выше именно об этом.

kost-bebix ★★ ()
Ответ на: комментарий от kost-bebix

Но один из сервисов Каноникал — как раз такие облака разворачивать, а значит им выгодно показать, что облако такое они развернуть в состоянии, и использовать его для реального продакшна (раздачи собственных пакетов, а также можно для Ubuntu One того же).

Amazon S3 - это прежде всего готовый, неограниченный, дублируемый между географически распределёнными ДЦ, с content delivery network - относительно низкоуровневый IaaS. Ubuntu One, как и например dropbox - конечные пользовательские приложения, с гуишечками. Каноникал делает софт, она не занимается железом и ДЦ. Амазон занимается и он лидер. Самый ближайший партнёр Каноникал, кто мог бы сделать собственную альтернативу полностью на их софте - Dell. И они это делают, но всё ещё зачаточно, а у Амазона готовый развитый сервис (и для EC2 есть убунта, которую Каноникал попиаривает, так что им нет смысла не работать с Амазон, наоборот).

Aman ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.