LINUX.ORG.RU

загрузка объектов + метаданные реализация?

 


0

1

Всем добра. Подскажите кто минимально располагает данными?

Есть задача загружать объекты, включающие метаданные, такие как, размер, вес, цвет, другие данные, не важно в хранилище объектов.

Есть ли хоть какая то информация, может примерное решение на основе Minio, Hadoop другие opensource? Как подобное реализовать? Объектов в час не менее 1000 будет загружаться…

Поставил сервер на Minio Ubuntu 18.04 по сути получил хранилище, что и как реализовать дальше, без понятия от слова совсем… 8-(

Идти ли в сторону разработки на том же Python или есть какое то решение, кто что знает, поделитесь?

Спасибо.

А в чем проблема-то? Покажи MWE, где у тебя не получилось этого сделать. Если объектов много, просто в БД их помещай. А в каком виде хранить — уже другой вопрос. Цвет можно в виде строки хранить (с его названием), можно в RGB, можно в HSV и т.д., и т.п.

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от Eddy_Em

Спасибо. Я о том, опыта нет в работе с MINIO как загрузить объект? Кроме как выбрать https://yadi.sk/i/qyBTUdiiAoG2ag создал тест бакет, что дальше? Как то загружать через URI REST или как?

Еще момент, как привязать туда же тот же Elasticsearch для индексации? Либо чем то другим индексировать?

Дайте любой пример использования, как загрузить и получить объект по его метаданным? К примеру надо загрузить картинку с метаданными цвет синий, как потом сделать поиск по цвету синий и получить объект?

К сожалению пока нет представления, примеров в сети не нашел, куча статей, из которых сделал вывод, что писать свою обвязку на python или еще чем то?

Спасибо!

alexpebody
() автор топика
Ответ на: комментарий от alexpebody

опыта нет в работе с MINIO

Ну тогда два пути: либо изучать документацию, либо не использовать этот minio. В minio я — не помощник, я всегда работаю на более низком уровне (максимум ­— nginx или апач в роли веб-сервера, а к ним CGI или демоны).

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от Eddy_Em

Нашел как и говорил minio.PutObjectOptions Allows user to set optional custom metadata, content headers, encryption keys and number of threads for multipart upload operation.

Как реализовать - хз.

https://docs.min.io/docs/golang-client-api-reference.html

нет нигде ни слова, как загружать объекты и метаданные.

alexpebody
() автор топика
Ответ на: комментарий от alexpebody
Ответ на: комментарий от alexpebody

Есть хоть какой пример реализации положить объект с метаданными и получить объект по метаданным? СПАСИБО!

alexpebody
() автор топика
Ответ на: комментарий от alexpebody

Есть хоть какой пример реализации положить объект с метаданными и получить объект по метаданным?

Насколько я помню S3 не позволяет искать объекты по метаданным. Надо обращаться к каждому объекту, чтобы получить его метаданные.

Наверное, лучше поискать другую реализацию для хранилища, а не S3.

vvn_black ★★★★★
()

очень сильно зависит от модели доступа к этим метаданным: надо по ним искать или нет.

Так то можно положить их рядом в соседние файлики в том же minio.

Если по ним искать, то возможно нужна БД рядом.

Одного другого не исключает.

max_lapshin ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.