LINUX.ORG.RU

[s3]вопрос о list objects

 


0

0

есть амазон сторадж. в нем куча папок вида.

...
2011-11-01-0
...
2011-11-01-9
2011-11-02-0
...
2010-11-02-0

list objects выдает результат с не более чем 1000 записей. если нужно дальше, в добавляем параметр marker c значеним последнего item`a с предыдущего chunk'a.

мне рекомендуют делать list с параметром prefix и значением даты (новый запос для новой даты). говорят так быстрее

меня интересую папки указанного вида и все что в них

какой способ займет больше времени? ruby + aws/s3 gem

ps: количество папок в бакете идет на десятки тысяч.

★★★★★

Если тебе просто «забрать всё», то по чанкам быстрее будет (не будет поиска на стороне облака), но больше трафика. Если только определённый диапазон то префиксом, нехай облако грузится.

iBliss ★
()
Ответ на: комментарий от iBliss

диапазон у меня нельзя представить одним префиксом (напр 2011-11-16 - 2010-07-29, или все старее 2011-10-01). поэтому и стоит вопрос перебирать ли по дням или запросить все.

ZuBB ★★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему: топик перемещен в архив.