LA 데이터 센터의 Linux 서버에서 NY 데이터 센터의 다른 Linux 서버로 10MB 링크를 통해 75 기가 바이트 tgz (mysql lvm 스냅 샷)를 복사하려고합니다.

200-300 시간 사이에서 변동하는 rsync 또는 scp로 약 20-30Kb / s를 얻습니다.

현재 두 번째 데이터 센터가 아직 활성화되지 않았기 때문에 비교적 조용한 링크입니다. 작은 파일 전송으로 뛰어난 속도를 얻었습니다.

나는 구글을 통해 찾은 다른 tcp 튜닝 가이드를 따랐다. (아마도 잘못된 가이드를 읽고 있을지도 모른다.)

tar + netcat 터널 팁을 보았지만 작은 파일의 LOTS에만 유용하며 파일 전송이 효과적으로 완료되면 업데이트하지 않는다는 것을 이해합니다.

하드 드라이브 배송에 의지하기 전에 누구에게나 좋은 정보가 있습니까?

업데이트 :
글쎄 … 그것은 결국 링크 일 수 있습니다 🙁 아래 내 테스트 참조 …

NY에서 LA로 환승 :

빈 파일을 가져옵니다.

[nathan@laobnas test]$ dd if=/dev/zero of=FROM_LA_TEST bs=1k count=4700000
4700000+0 records in
4700000+0 records out
4812800000 bytes (4.8 GB) copied, 29.412 seconds, 164 MB/s
[nathan@laobnas test]$ scp -C obnas:/obbkup/test/FROM_NY_TEST .
FROM_NY_TEST                                    3%  146MB   9.4MB/s   07:52 ETA

스냅 샷 타르볼을 가져옵니다.

[nathan@obnas db_backup]$ ls -la db_dump.08120922.tar.gz
-rw-r--r-- 1 root root 30428904033 Aug 12 22:42 db_dump.08120922.tar.gz

[nathan@laobnas test]$ scp -C obnas:/obbkup/db_backup/db_dump.08120922.tar.gz .
db_dump.08120922.tar.gz            0%   56MB 574.3KB/s 14:20:40 ET

LA에서 NY로 환승 :

빈 파일을 가져옵니다.

[nathan@obnas test]$ dd if=/dev/zero of=FROM_NY_TEST bs=1k count=4700000
4700000+0 records in
4700000+0 records out
4812800000 bytes (4.8 GB) copied, 29.2501 seconds, 165 MB/s
[nathan@obnas test]$ scp -C laobnas:/obbkup/test/FROM_LA_TEST .
FROM_LA_TEST                                    0% 6008KB 497.1KB/s 2:37:22 ETA

스냅 샷 타르볼을 가져옵니다.

[nathan@laobnas db_backup]$ ls -la db_dump_08120901.tar.gz
-rw-r--r-- 1 root root 31090827509 Aug 12 21:21 db_dump_08120901.tar.gz

[nathan@obnas test]$ scp -C laobnas:/obbkup/db_backup/db_dump_08120901.tar.gz .
db_dump_08120901.tar.gz                0%  324KB  26.8KB/s 314:11:38 ETA

링크를 MPLS / 이더넷 10MB 링크로 표시 한 우리 시설을 운영하는 사람들과 함께 할 것입니다. (으 rug하다)

답변

rsync --progress file1 file2 user@remotemachine:/destination/directory

split --bytes=2000000000 your_file.tgz

cat your_file* > your_remote_file.tgz

server $ nc -l -p 5000> outfile.tgz

client $ nc -q0 server.example.com 5000 <infile.tgz

netcat -l -p 2342 | tar -C /target/dir -xzf -

tar czf * | netcat target_box 2342