LINUX.ORG.RU

Яндекс.Диск закэшировал мой хомяк?

 , , ,


0

1

Вчера произошла поразительная история. Я решил закинуть с компа в облако музыкальный альбом, чтобы скачать его на телефон. 350 мегабайт примерно. У меня небыстрый интернет, а на выход очень небыстрый. Скопировал перетаскиванием и включил принудительную синхронизацию, т.к. иногда он тормозит и сам не синхронизируется. И тут вжух и почти сразу показывает 100%. Я не поверил, открыл Диск на телефоне и, блин, всё выкачалось, всё на месте. Скачал. А скачивалось оно минуты четыре примерно, это вот нормальная моя скорость. Теперь, внимание, вопрос. Как, как оно вылетело в облако за 5 сек, если при моих скоростях это должно было занять минут 20, а скорее всего и дольше? Что за магия?

Ответ на: комментарий от avgust23

https://habr.com/ru/companies/yandex/articles/186752/

Использование хэш-сумм также позволяет избежать повторной загрузки уже залитых другими пользователями файлов. К примеру, если вы хотите залить на Диск какой-либо популярный видеоролик или установочный файл, а в хранилище Диска уже есть файл с идентичной контрольной суммой, использоваться будет он. Таким образом, даже очень крупные файлы могут быть помещены в хранилище буквально за пару секунд. Это выгодно обеим сторонам: пользователь получает очень быструю загрузку, а мы экономим ресурсы. Всего повторяющиеся файлы составляют около 12 процентов от всех заливаемых.

anonymous
()

Я.Музыка там полно всего.Нафига подобное делать.Облако так бессмысленно использовать.Оно нужно для синхронизации данных.Я другое загружал, типа большие файлы,но зачем синхронизировать музыку?

nicholas_ru
()
Последнее исправление: nicholas_ru (всего исправлений: 1)
Ответ на: комментарий от anonymous

То что хеши двух файлов одинаковые - отнюдь не означает, что и сами файлы одинаковые также.

Это очевидно - так как существует намного меньше разных хешей, чем разных 350-мегабайтовых файлов.

Так что желание топикстартера хранить его файло как есть, вместо подсовыванием уже существующего другого файла с тем же самым хешем - в принципе можно понять.

manul91
()
Последнее исправление: manul91 (всего исправлений: 1)
Ответ на: комментарий от AZJIO

Возможно, если хэши считают поблочно, а не пофайлово. Юзер заплатил за определенное количество гигабайт хранилища. То что Яндекс хочет экономить, его не касается. Вот если бы эта экономия не учитывалась в занимаемом пространстве пользователя, тогда да, смысл был бы. А так, экономить чужие деньги, зачем?

cobold ★★★★★
()
Ответ на: комментарий от James_Holden

Если бы только это, там тупо мейнстрима для народа зачастую нету.

Так о том и речь, что даже мейнстрима вроде Lacuna Coil полностью нету — что уж говорить о каком-нибудь андеграунде. Все эти яндекс-музыки для совсем уж прям неприхотливых. И на Qobuz всего нет, и на Tidal с Deezer тоже, и на Spotify (тут ещё и качество мусорное). И даже если обмазаться подписками на все 5 перечисленных, то на всех них вместе многого не будет. Что-то есть на Bandcamp, а что-то вообще только на физических носителях (ну и на торрентах, где они с этих физических носителей рипнуты).

CrX ★★★★★
()
Последнее исправление: CrX (всего исправлений: 1)
Ответ на: комментарий от mister_me

коллизии

Ну так-то и правда удивительно, как сильно людишки полюбили сжатие с гигабайта до нескольких байт без потерь, и как глубоко внедрили это в самые разные места, даже не считая нужным проверять на возможные коллизии.

Было бы интересно посмотреть что будет, если какой-нибудь Перельман напишет скрипт, по некой затравке бесконечно генерирующий строки с одинаковыми SHA256. Может быть такой процесс будет найден случайно. Вот просто интересно из какого каменного века придется после этого восстанавливать цивилизацию и все такое…

Zeta_Gundam
()
Последнее исправление: Zeta_Gundam (всего исправлений: 1)
Ответ на: комментарий от AZJIO

Символичная ссылка больше подходит по смыслу чем справочная ссылка, хотя в англ. языке может и по-другому

А почему reference link это справочная ссылка, а не ссылочная связь? Это мне кажется яндекс переводчик косячит, deepl лучше переводит это словосочетание - «ссылка на источник».

Loki13 ★★★★★
()
Ответ на: комментарий от Loki13

Это мне кажется яндекс переводчик косячит

Не знаю, по поиску «reference link бд» выдаёт: «Reference link (связь) в базах данных (БД) — это связь между таблицами, которая устанавливается с помощью ограничения внешнего ключа (FOREIGN KEY). Оно позволяет связать строки одной таблицы со строками другой, указывая на первичные ключи.»

Адекватно.

deepl лучше переводит это словосочетание - «ссылка на источник».

Это не лучше и не хуже, это отсутствие контекста. В книге или научной статье reference link — это ссылка на источник, а в БД — связь. Если дать контекст (например «reference link in sql table» или «reference link for a file» написать), то и deepl никаких источников неуместных не вставляет (зато предлагает потешную «ссылочную ссылку» в альтернативах :D). А без контекста как он тебе угадает, что ты хочешь?

CrX ★★★★★
()
Последнее исправление: CrX (всего исправлений: 2)
Ответ на: комментарий от CrX

Я имел ввиду что слово «справочная» и вариант справочная ссылка, который предлагает яндекс переводчик - некорректно в любом случае.

PS: Типа возвращаемого значения ref в C# это как раз передача по ссылке, просто ссылке, без всякой справочности.

Loki13 ★★★★★
()
Последнее исправление: Loki13 (всего исправлений: 1)
Ответ на: комментарий от Loki13

Я имел ввиду что слово «справочная» и вариант справочная ссылка, который предлагает яндекс переводчик - некорректно в любом случае.

А, именно яндекс-переводчик… Да, без контекста у него справочная ссылка, а с контекстом — та самая потешная «ссылочная ссылка в таблице sql» :)

Масло масляное.

Поиск яндекса более адекватные результаты выдаёт. ИМХО, лучше пользоваться им так, когда хочется узнать про термин. Переводчик всё же именно для длинных текстов предназначен.

PS: Типа возвращаемого значения ref в C# это как раз передача по ссылке, просто ссылке, без всякой справочности.

Ну тут опять же из-за контекста. Справочная она — если в конце статьи или книги дана, ссылка для справки. Не в контексте информационных технологий. Если задать контекст, то и яндексовский переводчик никакой «справочной», ни deepl никакой «на источник» не выдают. Вне контекста они понимают одно и то же — именно как будто речь о статье и ссылках в конце, например. Deepl при этом переводит чуть лучше. С контекстом оба убирают это, deepl упорно выдаёт просто «ссылка» без какого-либо прилагательного, предлагая «ссылочную ссылку» в качестве альтернативы, яндекс же ничтоже сумняшеся «ссылочную ссылку» вываливает сразу.


Ну и да, естественно, копировать из яндекса его «справочную ссылку» было глупостью — не тот контекст. Но зря мы это сказали, он сейчас опять будет считать, что «вынужден защищаться»…..

CrX ★★★★★
()
Последнее исправление: CrX (всего исправлений: 1)
Ответ на: комментарий от CrX

Но зря мы это сказали, он сейчас опять будет считать, что «вынужден защищаться»…..

У вас даже нет варианта высказать свою мысль без претензий, как будто надо кого-то унизить вместо найти решение. У вас на лоре есть один человек, который может это сделать, но не всем дано понять.

AZJIO
()
Ответ на: комментарий от AZJIO

Да-да, вероятность, можно еще вспомнить про атомы на Луне… Вероятность того, что случайная фраза окажется цитатой из Шекспира, довольно мала, и ей можно пренебрегать. Но только до того момента, пока вы не встретите самого Шекспира.

UPD:

Если смысл возражения в том, что катаклизм затронет только малую часть пользователей, то тут я, может быть, соглашусь. Но есть и места, где объекты идентифицируются только по хэшу, без проверки размера.

Zeta_Gundam
()
Последнее исправление: Zeta_Gundam (всего исправлений: 1)
Ответ на: комментарий от Zeta_Gundam

Тут есть несколько факторов, которые надо соотносить между собой: вероятность возникновения проблемы; цена, которую придётся заплатить в случае возникновения проблемы; цена, которую придётся заплатить за кардинальное решение проблемы.

Если рассматривать именно баланс этих параметров, то всё встаёт на свои места. Вероятность коллизии крайне низка. При этом если она возникнет, то яндексу ничего не будет — ну извинятся перед пользователем, ну даже если он потеряет там условный миллион-другой — заплатят. Это намного дешевле, чем кардинальное решение проблемы, а помноженное на 10⁻¹⁹, или сколько там — ничтожно. Вот и получается, что смысла отказываться от хэшей в качестве однозначного идентификатора уникального контента яндексу смысла ноль.

Но при этом можно ещё сильнее (на много-много порядков) снизить эту самую вероятность — например, хранить помимо условно sha256 ещё и условно blake. Вероятность, что случайно совпадёт и тот и другой у неидентичных файлов стремится к нулю. Специально сгенерировать файл с коллизией по обоим — тоже кратно сложнее, чем для одного из них (а даже эта задача на данный момент нормально не решается). Если они используют два хэша, то у них будет много времени, когда «условный Перельман найдёт способ генерировать файл заданного размера с коллизией» для одного.

CrX ★★★★★
()
Ответ на: комментарий от avgust23

А эту хрень где-то можно отключить? А то эти кукушачьи мувы мне не нравятся.

Ты такой умный. Хочешь, чтобы яндекс был на устройстве, а непонятной движухи не было :)

Bfgeshka ★★★★★
()
Ответ на: комментарий от CrX

Это всё условности, можно и наоборот написать что кг перьев тяжелее. Килограмм вполне себе мера веса, можешь посмотреть на кучу разных весов - они показывают вес в килограммах. Зануды могут возразить что там не килограммы, а «килограмм-силы», но это никого не интересует. Так вот, килограмм - мера веса. Теперь разберёмся со словом «тяжелее». В физике под словом «тяжелее» понимаются чуть разные вещи. В физике микромира например часто словом «тяжелее» обозначают наличие большей инерционной массы: более тяжёлая одинаково заряженная частица будет слабее отклоняться в магнитном поле (про гравитацию там даже не вспоминают). Ещё под словом «тяжелее» могут понимать большую массу в её энергетическом аспекте: более тяжёлая частица может распасться на две более лёгкие, а избыток массы (которую измеряют в единицах энергии) отдать в кинетическую энергию осколков. В физике не микро, а, совсем наоборот, очень макро мира (астрономии и космологии), под «тяжелее» понимают наличие большей гравитационной массы: более тяжёлая звезда лучше притягивает к себе окружающие её объекты, чем более лёгкая, при равном расстоянии до них от центра звезды. Собственно, нам подойдёт любое их этих определений. Железо, для которого весы покажут «килограмм», будет иметь меньшую массу (то есть, по вышеуказанным определениям, будет легче), чем перья, для которых весы покажут килограмм.

firkax ★★★★★
()
Ответ на: комментарий от ya-betmen

неа, масса и инерция это две разные силы никак не связанные меж собой :)
просто они численно совпадают с точностью емнип до тринаддчатого знака после запятой. были эксперименты по поиску расхождения меры взаимодействия объекта с гравитационным полем и меры взаимодействия объекта для изменения его скорости.

pfg ★★★★★
()
Ответ на: комментарий от James_Holden

кому-то нравится и пикассо… особенно «облачные технолохии» распротранены у далеких от ИТ обывателей :)
для синхронизации файлов на своих устройствах имхо лучше использовать синхфинг или ресилио.

pfg ★★★★★
()
Ответ на: комментарий от firkax

CrX, ты не прав. Любая химическая реакция с ненулевой энергией превращения, а ещё нагляднее - ядерные реакции, покажут тебе, что масса двух тел, сделанных из одинакового набора частиц, может быть разной. А если более строго - то масса тела зависит не только от списка частиц в его составе, но и от их взаимного геометрического расположения, а так же от их взаимных скоростей перемещения.

firkax ★★★★★
()
Ответ на: комментарий от pfg

Массы как бы две, но они равны, поэтому обе называются просто массой, и мы их считаем одним и тем же. Одна про инерцию, другая про гравитационный заряд. Со второй в принципе легко представить отрицательную массу, тело с таковой будет не притягиваться, а отталкиваться от тел с нормальной, причём от более массивных сильнее. То есть будет тупо как с электромагнитным взаимодействием — только с гравитационным. Это ничем не запрещено (хотя и никаких подтверждений существования такого в нашей вселенной нет). С той массой, что мера инерции, сложнее.

CrX ★★★★★
()
Ответ на: комментарий от firkax

Любая химическая реакция с ненулевой энергией превращения, а ещё нагляднее - ядерные реакции, покажут тебе, что масса двух тел, сделанных из одинакового набора частиц, может быть разной.

Не покажут, там часть массы перейдёт в энергию, или энергии в массу, E=mc².

А если более строго - то масса тела зависит не только от списка частиц в его составе, но и от их взаимного геометрического расположения, а так же от их взаимных скоростей перемещения.

Это не так.

CrX ★★★★★
()
Ответ на: комментарий от CrX

Вот именно, часть массы перейдёт в энергию, но список частиц в состве тела останется как был. Частицы те же, весят они (по отдельности) столько же, масса тела уменьшилась.

firkax ★★★★★
()
Ответ на: комментарий от firkax

Вот именно, часть массы перейдёт в энергию, но список частиц в состве тела останется как был.

В том и дело, что не останется.

Частицы те же, весят они (по отдельности) столько же

Если часть массы перешла в энергию, то не те же, и весят не столько же (хотя, казалось бы, причём вообще тут вес…). Если произошли какие-то реакции, то изменился и состав частиц, часть из них превратились в другие, но суммарно энергия всей системы осталось той же.

CrX ★★★★★
()
Ответ на: комментарий от CrX

В том и дело, что нет. У тебя было два ядра дейтерия (каждый = протон + нейтрон), ты их склеил в ядро гелия (2p+2n). Масса ядра гелия меньше чем две массы ядер дейтерия (а масса ядра дейтерия меньше чем сумма масс протона и нейтрона). Или ещё более простой пример: система из двух неподвижных частиц, электрон+позитрон, расположенные на расстоянии 1см друг от друга, и такая же система, но расположенные на расстоянии 2см. У второй масса чуть больше.

firkax ★★★★★
()
Последнее исправление: firkax (всего исправлений: 1)
Ответ на: комментарий от firkax

В том и дело, что нет. У тебя было два ядра дейтерия (каждый = протон + нейтрон), ты их склеил в ядро гелия (2p+2n). Масса ядра гелия меньше чем две массы ядер дейтерия.

А, ты об этом. Ну да, справедливое замечание. Ты прав.

На это можно по-разному смотреть. В том числе и считая, что взаимодействие между нуклонами в ядре как таковое имеет отрицательную массу. Но да, я признаю, что формально был неправ, заявляя про сумму масс частиц (и это явно читалось как чисто математическая сумма).

CrX ★★★★★
()
Ответ на: комментарий от anonymous

четыре разные «частицы», ни один из них не является частью другого.

Я поясню, что он имел в виду.

Ядро дейтерия — это нейтрон и протон. Ядро гелия — это 2 нейтрона и 2 протона.

2 ядра дейтерия — это тоже нейтрон и протон, и нейтрон и протон (или 2 нейтрона и 2 протона).

Но 2 нейтрона и 2 протона в виде альфа-частицы (aka ядра гелия) не равны по массе 2 нейтронам и 2 протонам в виде двух ядер дейтерия.

CrX ★★★★★
()
Ответ на: комментарий от CrX

Ядро дейтерия — это нейтрон и протон

Не эксперт по КХД. Но это не так. Есть ещё частицы-переносчики взаимодействия. Само ядро это не смесь протонов и нейтронов, это смесь более мелких частиц - кварков, удерживаемых частицами-переносчиками взаимодействия.

anonymous
()