почему NodeJS заново грузит большие файлы после одной минуты?

Память у ноды закончилась, она по дефотлу не выжирает больше 1.7 ГБ. Кто-то пишет загружаемое в буфер. Или чини такое непотребство, или запускай с ключом --max-old-space-size=x, где x - число мегабайт.

попробовал с этим флагом, не помогло, не думаю что проблема в памяти ноды. дело в том что размер файла не влияет на этот инцидент. скорее во времени сколько нужно чтобы файл был загружен.

я ограничил себе интернет и после одной минуты загрузилось 20мб, а потом заново началась загрузка

да кстати, файл пишется сразу на диск, а не в буфер.

я ограничил себе интернет и после одной минуты загрузилось 20мб

Тогда походу кто-то соединение рвёт через минуту. Заливать гигабайты по http вообще такое себе удовольствие.

да кстати, файл пишется сразу на диск, а не в буфер.

Хорошо, а то было бы совсем печально.

да такое себе, ну это как бы сервис такой. а то что, что-то рвёт соединение, не знаю пробовал на нескольких серваках, даже на новых где нечего не было тронуто.

Что в логах он пишет? Какие либы используются в проекте? Какая версия ноды?

пробовал даже всякие лимиты поставить у реквестов, у всего в общем, нечего не помогло, дело именно в загрузке файла

пробовал даже всякие лимиты поставить у реквестов

Какие именно? Какая версия ноды?

ничего, чтобы дало мне информаций. вот так заканчивается загрузка файла на пол пути, и начинается заново.

Express-file-upload: Uploading files->_movie.mp4, bytes:610074486...
Express-file-upload: Uploading files->_movie.mp4, bytes:610090870...
Express-file-upload: Uploading files->_movie.mp4, bytes:610107254...
Express-file-upload: New upload started files->_movie.mp4, bytes:0
Express-file-upload: Uploading files->_movie.mp4, bytes:16246...
Express-file-upload: Uploading files->_movie.mp4, bytes:32630...
Express-file-upload: Uploading files->_movie.mp4, bytes:49014...

--http-server-default-timeout какой-нибудь эффект даёт?

типа сколько будет жить реквест и вроде такого, что относится к http

пробовал несколько lib: express-fileupload, busboy в таком примере, еще NestJS внутренняя библиотека

req.pipe(req.busboy); // Pipe it trough busboy
 
    req.busboy.on('file', (fieldname, file, filename) => {
        console.log(`Upload of '${filename}' started`);
 
        // Create a write stream of the new file
        const fstream = fs.createWriteStream(path.join(uploadPath, filename));
        
        file.pipe(fstream);
 
        // On finish of the upload
        fstream.on('close', () => {
            console.log(`Upload of '${filename}' finished`);
            res.redirect('back');
        });
    });

Вот еще, походу дело в нём:
https://www.npmjs.com/package/express-fileupload#available-options

uploadTimeout 60000(default)

да крутился часок вокруг него), дело в том что он срабатывает после того как я отключаю запрос ручками, а не со старта загрузки, а жалко

версия ноды 14.7.0 насчет –http-server-default-timeout если это server.timeout(1000) то да пробовал, если так то нет, сейчас смотрю

да крутился часок вокруг него)

А если включить debug, что выдаёт?

Upload timeout ${field}->${filename}, bytes:${getFileSize()} вот это выдает, только после того как я отключу реквест, а не после старта загрузки

то есть я имел ввиду, отключу реквест и например через 10-60 секунд он покажется, сколько там указано

Вот такой
https://www.npmjs.com/package/express-rate-limit
мидлвари там нету?

нету там таково, кажется проблема в версии ноды, на 10 все хорошо сработало, сейчас протестирую детально, посмотрим что получиться

Там эти лимиты тоже выставили не просто так, а чтобы не дудосили. Возможно таки есть смысл переделать на вебсокеты, а не воевать с нодой.

понимаешь, этот софт потом компилируется и ставиться клиентам на локальных серваках, где закрытая сеть и нету таких вот ддос атак а что насчет вебсокетов, таково вроде не слышал, через них заливают файлы?

в итоге, после 12 версий ноды это уже не работает, а в 12 все хорошо, так что буду пока его использовать. вообще большой бекенд на ноде писать дело такое…

crutch_master спасибо за помощь

таково вроде не слышал, через них заливают файлы?

Да, еще количество загруженного обратно передают. Как-то рекконект можно еще делать по идее.

понимаешь, этот софт потом компилируется и ставиться клиентам на локальных серваках, где закрытая сеть и нету таких вот ддос атак

Это понятно. Просто софт проектируется для общего использования в злом интернете, поэтому после обновления бывают вот такие пляски.

Да, еще количество загруженного обратно передают. Как-то рекконект можно еще делать по идее.

интересная тема, надо будет обязательно с ним ознакомиться.

Это понятно. Просто софт проектируется для общего использования в злом интернете, поэтому после обновления бывают вот такие пляски.

да понимаю, думаю у 14 версии, сделали где то этот флаг, пока буду ждать следующей LTS версий и потом думать что с этим делать)

вообще большой бекенд на ноде писать дело такое…

Да, без разницы. У меня до сих пор ява 8 на проде, потому что на новой яве всё развалится. А в другом месте ява аж с патчем не выше n. Обычный ынтерпрайз.

а из новых языков что нибудь пробовал? может для бекенда вместо ноды что нибудь посоветуешь

Ну, сейчас го в моде, но я его не трогал даже. В плане обновлений особо без разницы на чём бекэнд писать, результат будет примерно один и тот же. Го тоже постареет, обрастёт либами в которых будут всё переделывать каждый релиз.

ну да, в плане постоянство трудно найти платформу где можно будет обосноваться.

Лет через 60 может сделают что-нибудь, где будет нормальная сеть, даты, типизация и пакеты.

я сейчас думаю, может в сторону Java податься, все таки Enterprise в основном на нем пишут, просто единственное производительность смущает, на слабеньких серверах

я сейчас думаю, может в сторону Java податься

Там надо знать дохера всего. Дерьма наделали столько, что на ноде можно два раза заново написать, пока разбираешься. Вот ты сейчас колупался с таймаутом реквеста, а там придётся так каждый раз и в 10 раз больше со всем, что должно работать хоть как-то отлично от того, под что делали фреймворк. Из-за этого разработка медленная, вдумчивая, делать кнопочку месяц - это реальность, а не какой-то анекдот. А благодаря потоку вайтишников с курсов платить скоро будут как пхпшникам. Аннотации скатывают код в тоже самое, что и в динамических языках, так что разницы особо нет. Всё собирается, запускается и валится плюясь километровыми стактрейсами.

а может это, отдать загрузку файлов nginx-у, а самому только перемещать удачно-переданный файл? ну, как это привыкли в php. Там настроек всего три штуки, и если нужно - есть api, который возвращает состояние процесса загрузки

Дык так и делают в тру архитектурах, а не херней маются. ТС нуб и гигабайты слать по http в ноду или питон - это надо быть совсем того

пока не знаю, система рассчитана работу без nginx, просто ставишь один бинарник, запускаешь, вводишь данные бд и все работает. вообще было бы хорошо, пока подумаю

сервис не такой, фильмы надо загружать, только при установке сервера, когда клиент первый раз будет загружать фильмы и потом уже раз в месяц по 2-3 фильма

Ниче не понял, какой не такой. Разделять архитектуру нужно. А не на ноду лить файло. Лей в нжинкс и прочитай про очереди сообщений - через них ноде шли месседж о залитом файле

может кто знает в чем может быть проблема

Упоротый разработчик использует ноду для загрузки файлов вместо например nginx-big-upload.

я думаю, что использование node.js тут неуместно. нода - это из серии сходи в базу, отдай джисонину. или вебсокеты.

Лiл, такое можно наклепать на cgi и очень быстро.

Заливать гигабайты по http вообще такое себе удовольствие

Почему?

Разрыв соединения => gtfo. На всём этом нелегком пути не у одной ноды таймауты на коннект.

А где нет разрыва соединения?

может нельзя передавать файлы более чем на 500 миль

Правильный вопрос - а где похер на разрывы соединения.

Торент?