Эффективно копируем гигабайтные файлы по сети в Linux / Unix / Mac OS

Задача переноса больших многогигабайтных файлов с сервера или на сервер возникает нечасто, но — возникает, как правило, при переносе сервера, большом бэкапе чужого проекта и подобных задачах.

Как эффективно выгрузить с сервера, скажем, 10 гигабайт? В этом видео мы поделимся вариантами переноса файлов и расскажем о наиболее быстром способе копирования больших файлов в *nix.

/****************** about ******************/

Меня зовут Алексей Голобурдин, я программирую с 2004 года и на этом канале делюсь своим опытом. Я основатель и руководитель компаний:

[starikoff]

У nc есть один существенный минус. Порт на сервере для передачи данных надо открыть в файрволле, а после передачи не забыть закрыть. А для передачи данных с локального ПК на сервер, надо пробрасывать порт на локальный комп на маршрутизаторе (если конечно сквозная маршрутизация не настроена средствами ВПН или напрямую). Для ssh порт как правило открыт для подключений извне, так что дополнительных лействий совершать не придется.


Далее, хорошо сжимаемые данные (текстовики, образы виртуалок, дампы баз) принято гонять в сжатом виде. Жать можно на лету, либо встроенными в scp инструментами, либо жать сторонними утилитами вроде pigz и гонять данные через ssh и пайпы. Например так:
Подобным способом можно не только гонять файлы, но и переливать образ на удаленное устройство.

[HELLO_AGAIN]

Подобные видео очень даже интересны! Благодарю!

[vasiliynet]

Огонь! Как и в комментах ниже, тоже в основном через rsync льем. Мелочевку, так и вообще в mc по F5 удобней :)

[aleksandrdevelopment]

Очень крутые и действительно полезные видосы!

[eugenstakhursky]

Спасибо дружище, интересно, буду пробовать! С меня лайк и подписка)

[markplay]

Спасибо, мне пригодится, я не знал= )

[RuchejAlex]

Когда он начал передавать файлы, у меня видео залагало.

[VadimMolchanov]

Класс, красивое использование утилит!

[AlieXAndreX]

Блин! Как охрененно, а я то думал как мне по быстрому передать виртуалку на другой сервак. Спасибо!

[dnykwqc]

Каканы всем привет - классное приветствие я такого ещё не слыхал

[nikolaysokolov]

Обалдеть). Только для трассировки http get/post использовал. Не знал, что можно файлы передавать по сети.

[olegff]

Благодарю за видео. netcat вообще швейцарский нож - мало чего из него сделать _нельзя_ 8)

[scarsboy]

Вполне не плохо, в локальной сети на удалённых серверах хорошо файлы перекидывать

[feoeqph]

а мне чет кажется rsync быстрее, сравни скорости в след видео, или это допиши)

[DmitryLopatkov]

nc прикольно. есть ещё rcp, оно может копировать без шифрования (или для scp задать шифрование слабее дефолтного, чтобы меньше процессор грузить, в него обычно упирается скорость). А ещё можно на стороне источника взмахом пера поднять питонячий вебсервер (с корнем в каталоге где запускается команда, по умолчанию на порту 8000 и всех доступных интерфейсах, но можно задать если надо) и с него по http забрать любым удобным клиентом.
python -m $(python -c 'import sys; print("http.server" if sys.version_info[:2] > (2, 7) else "SimpleHTTPServer")')
Serving HTTP on 0.0.0.0 port 8000 ...

[abyrvag]

Спасибо! Пользуюсь NFS для передачи если в одной сети.

[bfiwidv]

знал о ней, но на принимающей стороне писал питоновский скрипт на сокетах для приёма файлов. Для копирования большого количества файлов вы что выберете. nc или rsync?

[rabotavsem_biz]

какая разница в скорости передачи, если передавать через файл зиллу используя sftp ?

[LinuxbyDmitry]

rsync, пожалуй самый не удобный инструмент), но для передачи например сайта размером 500 гигов, на мой взгляд лучше чем rsync не найти. Правда он частенько разрывает соединение, но если написать не сложный скрипт, то он будет возобновлять передачу сам и в обще поможет в организации передачи.
rsync может налету сжимать и шифровать данные, проконтролирует целостность файлов и структуры директорий, да и сама доставка будет гарантированной.
Пользуюсь на работе rsync, в качестве быстрого (инкрементного способа), копирование всякого рода софта, юзер документов и т.д.. Проверяет на изменения более 200 гигов за несколько секунд, с около десяти ПК и копирует только изменения или новые файлы, старые (которых нет в оригинале) в моём случае удаляет.

[GrinRuslan]

не знал о такой штуке. до этого использовал только scp