Linux에서 Linux로, 10TB 전송? 으로 이동해야하는 약

나는 이전의 비슷한 질문을 모두 보았지만 대답은 모든 곳에서 온 것처럼 보였으며 아무도 많은 데이터를 옮기지 않았습니다 (100GB는 10TB와 다릅니다).

하나의 RAID 배열에서 다른 기가비트 이더넷, 무료 백과 사전, XFS 파일 시스템 으로 이동해야하는 약 10TB가 있습니다. 나의 가장 큰 관심사는 이송이 중간에 멈추고 쉽게 재개 할 수 없다는 것입니다. 속도는 좋지만 전송을 보장하는 것이 훨씬 중요합니다.

일반적으로 tar와 netcat을 사용했지만 최근에 이동중인 RAID 어레이는 매우 비정상적이므로 프로세스 중간에 중단되면 복구하고 다시 시작할 수 있어야합니다. rsync를 보고해야합니까 ?

이것에 대해 조금 더 살펴보면 rsync가 너무 느릴 것이라고 생각하며 30 이상 이 걸리는 것을 피하고 싶습니다 . 이제 netcat으로 전송을 모니터링 / 다시 시작하는 방법에 대한 제안을 찾고 있습니다.



답변

그래, rsync

홀수 볼 밖에서 DRBD의 비동기 기능이 최근에 나왔습니다.


답변

테이프로 가득 찬 스테이션 왜건의 대역폭을 과소 평가하지 마십시오. 10TB는 비교적 저렴한 소비자 급 NAS 장비로 실현 가능할 것입니다 (예 : 2TB). 이것이 일회성이라면 반 수동 프로세스가 실행 가능할 수 있으며 2TB NAS는 수백 달러에 불과합니다.

진행중인 프로세스가 필요한 경우 초기 전송을 완료 한 후 RSYNC를 설정할 수 있습니다.


답변

몇 달 전에 이런 종류의 일을해야했습니다. 병렬 rsync를 사용하여 프로세스 속도를 높였습니다. 파일을 분할하여 전송 / 동기화하고 언제든지 다시 시작할 수 있습니다. 병렬 rsync 스크립트는 아래 링크를 참조하십시오.

https://gist.github.com/rcoup/5358786


답변

복사 할 데이터로 서버에서 FTP 서버를 설정하고 수신 측에서 “재개”가있는 FTP 클라이언트를 사용할 수 있습니다. 필자는 Filezilla 서버와 클라이언트를 사용하며 클라이언트의 “재개”기능을 자주 사용하며 항상 장애없이 작동했습니다.


답변