Задача такая: перекидывать логи по сети, с одного сервера на другой, удалить переданные логи.
Сейчас это делается по ftp.
Но, так как как файлы текстовые и их много (порядка терабайта в день), то меня жаба душит по части утилизации сети.
Какие сейчас самые модные методы сжатия данных (в данном случае это простой текст, так что ожидаю многократый выигрыш по сравнению с ftp)?
В голову приходит tar + gzip+ netcat или tar + gzip + scp, но не знаю как это красиво автоматизировать, да и слишком уж это костыльно