LINUX.ORG.RU

[s3]вопрос о list objects

 


0

0

есть амазон сторадж. в нем куча папок вида.

...
2011-11-01-0
...
2011-11-01-9
2011-11-02-0
...
2010-11-02-0

list objects выдает результат с не более чем 1000 записей. если нужно дальше, в добавляем параметр marker c значеним последнего item`a с предыдущего chunk'a.

мне рекомендуют делать list с параметром prefix и значением даты (новый запос для новой даты). говорят так быстрее

меня интересую папки указанного вида и все что в них

какой способ займет больше времени? ruby + aws/s3 gem

ps: количество папок в бакете идет на десятки тысяч.

★★★★★

Если тебе просто «забрать всё», то по чанкам быстрее будет (не будет поиска на стороне облака), но больше трафика. Если только определённый диапазон то префиксом, нехай облако грузится.

iBliss
()
Ответ на: комментарий от iBliss

диапазон у меня нельзя представить одним префиксом (напр 2011-11-16 - 2010-07-29, или все старее 2011-10-01). поэтому и стоит вопрос перебирать ли по дням или запросить все.

ZuBB ★★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.