LINUX.ORG.RU

Яндекс.Диск закэшировал мой хомяк?

 , , ,


0

1

Вчера произошла поразительная история. Я решил закинуть с компа в облако музыкальный альбом, чтобы скачать его на телефон. 350 мегабайт примерно. У меня небыстрый интернет, а на выход очень небыстрый. Скопировал перетаскиванием и включил принудительную синхронизацию, т.к. иногда он тормозит и сам не синхронизируется. И тут вжух и почти сразу показывает 100%. Я не поверил, открыл Диск на телефоне и, блин, всё выкачалось, всё на месте. Скачал. А скачивалось оно минуты четыре примерно, это вот нормальная моя скорость. Теперь, внимание, вопрос. Как, как оно вылетело в облако за 5 сек, если при моих скоростях это должно было занять минут 20, а скорее всего и дольше? Что за магия?

Предположу, что файлы с теми же контрольными суммами у них уже имелись.

Учитывая, что это «музыкальный альбом», можно предположить, что это не собственный рип, а соответственно не уникальные файлы, и кто-то их на яндекс-диск уже сохранял.

CrX ★★★★★
()
Последнее исправление: CrX (всего исправлений: 1)
Ответ на: комментарий от avgust23

Хеши могут быть в виде базы данных, в виде Radix Tree. Пытаешься отправить файл, то в твоём компе яндекс-диск вычисляет хэш файла и отдаёт его серверу на поиск его в базе данных, он мгновенно его находит и вместо закачивания помещает симлинк в твоё облако.

AZJIO
()
Последнее исправление: AZJIO (всего исправлений: 1)
Ответ на: комментарий от AZJIO

помещает симлинк в твоё облако

Там почти наверняка не симлинки, и файлы хранятся вовсе не под своими именами, а просто файлы с хэшами и записи в БД. Но в остальном да, именно в этом скорее всего и объяснение.

CrX ★★★★★
()
Ответ на: комментарий от firkax

Какой ещё симлинк 🤦

Символическая ссылка - данные привязаны через базу данных, но ты наверно и так знаешь, и пытаешься сейчас доказать что термин в файловой системе это что-то другое, не тоже самое что общее понятие символично и ссылка, а что-то точно приобретённое понятие с файловой системой.

Кстати, только я хотел изменить сообщение, как тут уже прокомментировали. Я думаю там сложнее, для таких больших файлов достаточно передать размер, чтобы узнать существует ли такой размер в базе и при наличии уже проверить хеш, так как размер вычислять не нужно, он уже есть в файловой системе.

AZJIO
()
Ответ на: комментарий от avgust23

Нет, чтобы он переносил в облако именно мои файлы, а не идентичные от себя.

А чем отличаются твои файлы от не твоих при одинаковом хеше? То есть гарантией совпадения цифровой информации один в один.

AZJIO
()
Ответ на: комментарий от avgust23

Ты случаем не тот чувак, который мне доказывал (не на ЛОРе), что FLAC, рипнутый с лицензионного диска звучит лучше, чем FLAC, рипнутый с болванки, при том, что два файла идентичны?

CrX ★★★★★
()
Последнее исправление: CrX (всего исправлений: 1)
Ответ на: комментарий от LongLiveUbuntu

Нет, ну ламповый усилок действительно будет звучать по-другому. Обычно, по крайней мере. Хотя сейчас и цифрой можно заэмулировать такой же характер «окрашивания» АЧХ, как у лампы. Но при прочих равных здесь-то разница как раз будет.

Про прогрев проводов, конечно, замануха, но тут хоть понять можно, оно «сложно», тут физику знать надо. Но когда человек видит/слышит разницу между двумя идентичными наборами байтиков, при этом видя, что они идентичные и не отрицая этого факта, но говоря, что всё равно разница есть — это уже совсем клиника.

Вот у ТС что-то в этом духе. Хотя больше на вредность похоже — типа «я платил им за услугу, пусть гоняют байтики по сети, канал занимают, а то совсем охренели сволочи!».

ТС, если так хочешь насолить провайдеру облака, просто измени теги, или сконвертирую свои флаки в wav, а потом обратно во flac, с -8ep и последней версией. Он наверняка не так в оригинале сжат, и файлы будут отличаться. И будет тебе так желаемое гоняние байтиков по сети в течение 4 минут.

А вообще это всё бородатый анекдот напоминает: https://www.anekdot.ru/id/-41921034/

CrX ★★★★★
()
Последнее исправление: CrX (всего исправлений: 1)
Ответ на: комментарий от avgust23

Ты просишь нелепого. Бесполезной траты электроэнергии и трафика.

Примерно вот как допустим заказал ты продукты домой, живёшь на 10 этаже, в доме есть лифт. Но ты в комментариях к заказу пишешь, «подниматься по лестнице на 10 этаж». Курьер обязан подняться, даже если лифта нет, за это даже доплату не берут. Но это бесполезная трата сил — ведь можно было воспользоваться лифтом, и результат доставки был бы тот же (сами продукты никак не изменились, ни их состав, ни даже положение в переданных тебе пакетах). Вот это примерно то же самое.

CrX ★★★★★
()
Последнее исправление: CrX (всего исправлений: 1)
Ответ на: комментарий от CrX

У меня не тот тракт, чтобы разбираться в сортах флаков. Я для пробы скачал флак 24-192(2Гб один альбом) и дсд128(3Гб один альбом) и ни-че-го, ангелы не запели с небес. П.С. Это не Яндекса сеть, а Ростелекома.

avgust23
() автор топика
Ответ на: комментарий от antonio-an

UUID

Они не докладывают, но можно логически понять, если люди там крутые программисты то скорее всего они напишут лучше тебя, а значит можно гипотетически представить поведение. Если у них система из жёстких дисков, а на жёстком диске в корне файлы, то их UUID это номер диска в системе плюс сгенерированное уникальное имя файла, или тупо счётчик 1, 2, 3 и т.д. Возможно у них специальная файловая система разработанная под быстрый доступ к файлу, без папок.

База данных может иметь поля хеш, размер, число аккаунтов имеющих файл и таблица аккаунтов с датами заливки на сервер, количество полного скачивания, количество неполного скачивания, число просмотров (без скачивания) и т.д. и т.п.

AZJIO
()
Ответ на: комментарий от avgust23

Человек имеет право на безобидные заскоки. Для нас, может быть, идиотизм, а ему приносит удовольствие и скрашивает жизнь.

Я бы для таких ответил, что просто интернет лаганул и отправил для вас на скорости 1 терабайт в секунду, мы потом исправимся и снова вам будет отдавать по 1 Мб в секунду.

AZJIO
()

Проще и быстрее всего закидывать большие медиа-файлы на телефон через adb.

https://android.stackexchange.com/questions/230389/how-to-push-a-file-to-internal-storage

В ответе показан пример для одного файла, на самом деле, через adb можно и каталоги целиком закидывать.

Chiffchaff
()
Ответ на: комментарий от avgust23

Человек имеет право на безобидные заскоки

На ваше заблуждение отвечу так: вы верите в то, что файл не так играет, не тот ремикс, не те музыканты и вам бы хотелось точной копии что находится у вас. Но можете успокоится вам отправляется точная копия как у вас, там даже кашлять зрители в зале будут в том же моменте и с тем же усердием. Цифровая копия это не копия на магнитофоне имеющая потери качества. Цифровая копия это один и тот же файл. Что тяжелее килограмм перьев или килограмм железа? Килограмм это эталонная величина, это одно и тоже число 1000 грамм. Весы вас могут обмануть, но число 1000 не изменится на 1001, килограмм так и останется 1000 грамм, а не 1001 грамм.

AZJIO
()
Ответ на: комментарий от yandrey

reference

Символичная ссылка больше подходит по смыслу чем справочная ссылка, хотя в англ. языке может и по-другому. Мы же используем понятие не ссылки в интернете, о которой говорят «рефер» источник прихода, а о системе базы данных на жёстком диске.

AZJIO
()
Ответ на: комментарий от cobold

Раз есть желание, то не тупи, а добавь какой-нибудь тэг в треки, хэши поменяются

Он просто сделает бесполезное дело, потратит свои силы и время и потратит место на яндексе, система, которая призвана экономить.

AZJIO
()
Ответ на: комментарий от yandrey

man cpтам есть –link, –reflink, –symbolic-link

Зачем мне ман в рамках линукса? Я знал о понятии «символично» до появления компьютеров.

Если вы не можете мыслить абстрактно, приводить аналогии, зачем это распространять в разговоре.

Символическая ссылка это ссылка на объект из разных мест, чтобы не плодить копии объекта. Эта система применяется и в яндексе, не важно как это выполнено в их программном движке.

AZJIO
()
Последнее исправление: AZJIO (всего исправлений: 3)
Ответ на: комментарий от AZJIO

Что тяжелее килограмм перьев или килограмм железа?

Килограмм железа тяжелее в земных условиях. Килограмм — мера массы, а тяжесть (вес) — это сила. В случае с перьями больше объём, а поэтому архимедова сила, действующая в противоположную сторону будет выше, поэтому килограмм железа будет давить на весы (ну или на руку человеку, например) сильнее, чем килограмм перьев — то есть, будет тяжелее ;)

Вот если в эту задачку добавить, что мы на Луне, тогда всё будет верно.

CrX ★★★★★
()
Ответ на: комментарий от CrX

будет давить на весы (ну или на руку человеку, например) сильнее

А мы не вводили понятия давления на руку, мягче или на площадь. Даже я представил что в реальности невозможно получить точно 1 кг, так как атом может перевалить весы на другую сторону, хотя только что недоставало немного, пол атома. В итоге опять ввёл в заблуждение и пытался выкарабкаться из этого заблуждения методом цифр. Ну есть модель идеального конденсатора и реального, в реально добавляются сопротивление диэлектрика и сопротивление провода и тут опять как объяснить что такое виртуальный конденсатор. Короче нет ни одного примера, чтобы показать, что числа не пахнут и нет у них ауры, что одно число в виде единиц и нулей равно другому числу, то это равенство без каких либо физических отклонений. Как 5 равно 5, так и трек будет один и тот же как и 5 напечатанное AZJIO не отличается от 5 напечатанное CrX. Кто-то скажет что надо ещё посмотреть шрифт в браузере.

AZJIO
()
Последнее исправление: AZJIO (всего исправлений: 3)
Ответ на: комментарий от AZJIO

Короче нет ни одного примера, чтобы показать, что числа не пахнут и нет у них ауры, что одно число в виде единиц и нулей равно другому числу, то это равенство без каких либо физических отклонений. Как 5 равно 5, так и трек будет один и тот же как и 5 напечатанное AZJIO не отличается от 5 напечатанное CrX. Кто-то скажет что надо ещё посмотреть шрифт в браузере.

Да, здесь всё верно. Я лишь указал, что пример с тяжестью не очень удачный (по крайней мере в рамках земной атмосферы, если добавить, что мы на Луне, он работает), но не оспаривал сам тезис, который этот пример был призван иллюстрировать.

А мы не вводили понятия давления на руку

Было понятие «тяжелее». Оно означает больший вес. Когда речь идёт про массу, говорят массивнее. А вес в физике определяется как сила, с которой тело действует на опору или подвес, препятствующие падению.

CrX ★★★★★
()
Последнее исправление: CrX (всего исправлений: 1)

Помню я так когда-то джекраббита на перформанс тестил. Лью туда данные текст+картинки, лью и смотрю перформанс прямо дикий. А потом смотрю размер хранилища не меняется почти. Пришлось коменты в картинках налету рандомизировать, а то эта умная зараза не сохраняла картинки при совпадении.

ya-betmen ★★★★★
()
Ответ на: комментарий от CrX

Если вам в магазине сдали 5 рублей сдачи, будут ли эти 5 рублей перемещённые из кассы магазина в карман иметь другую величину, например превратиться в 1000 рублей?

Будет ли результат 5 (в вычислении 2+3) на калькуляторе CASIO отличаться от результата 5 (в вычислении 2+3) на калькуляторе в линуксе? Является ли 5 в CASIO, какой то иной величиной в отличии от 5 в gcalc линукса?

AZJIO
()
Последнее исправление: AZJIO (всего исправлений: 2)
Ответ на: комментарий от AZJIO

Нет и нет.

К чему эти вопросы? Я же сказал, я с этим тезисом не спорю и пытался донести до ТС ровно то же, что и ты. Критика была только по поводу иллюстрации через тяжесть. Она в земных условиях не работает. И нет, тебе не обязательно нужно «защищаться», как тебе вечно кажется. Достаточно просто перенести пример на Луну, и он будет работать. Ну или «тяжелее» заменить на «массивнее», но так, кажется, пропадает красота примера.

CrX ★★★★★
()
Ответ на: комментарий от AZJIO

Ну ты несколько привёл, они подходят, как и мой анекдот про «пива нет». Он ещё и прикольно иллюстрирует, что надпись одинаковая, но читатель (заливатель файлов) якобы видит разницу :)

CrX ★★★★★
()