20TB의 데이터를 벼락 배열에 복사해야합니다. 데이터가있는 상자에는 벼락 연결이 없으므로 로컬 1GB 네트워크를 사용해야합니다. (예, 시간이 오래 걸립니다).
Filezilla / sftp를 사용하려고 시도했지만 대기열이 너무 커지면 충돌했습니다. rsync 또는 scp가 갈 길입니까?
답변
rsync는 좋은 방법입니다 (scp는 기능이 적을수록 거의 동일합니다). 이 -Z옵션 을 사용하여 zlib 압축을 활성화 할 수 있습니다. 드라이브 / 컴퓨터의 속도에 따라 압축되지 않은 상태로 전송하는 것보다, 예를 들어 네트워크 링크가 포화 된 경우보다 빠를 수 있습니다. 아카이브 모드 옵션을 -a사용하여 심볼릭 링크, 권한 및 작성 / 수정 시간을 유지하고 디렉토리를 재귀 적으로 복사 할 수 있습니다. 복사하는 내용에 따라 -E확장 된 속성과 mac 리소스 포크를 유지하는 것이 좋습니다 . 마지막으로 --progress진행 정보를 보여줍니다.
답변
rsync만큼 편재하지는 않았지만 과거에는 “mpscp”라는 도구 호출을 사용했습니다.- http ://www.sandia.gov/MPSCP/mpscp_design.htm
Sandia National Labs는 SSH를 통해 실행되는 파일 복사 도구로, 가까운 시스템간에 고속 네트워크를 포화 시키도록 최적화되어 있습니다 (예 : 10Gb + 또는 Infiniband를 통해 연결된 같은 사이트에있는 두 대의 슈퍼 컴퓨터간에 테라 바이트 단위의 데이터 복사). 잘 작동하지만 설정하기가 약간 어려울 수 있습니다. 테스트에서 rsync보다 2x-3x 더 빠르게 실행되는 것을 쉽게 알았습니다.
답변
rsync를 사용하고 rsyncd와 함께 사용하십시오. rsyncd없이 rsync를 사용하는 경우 ssh를 사용하지 않습니다. 이는 일종의 암호화를 사용한다는 의미입니다. 이전 컴퓨터에서 새 컴퓨터로 데이터를 복사하는 중일 수 있으며 이전 컴퓨터에는 기가비트 이더넷 링크를 포화 상태로 유지할만큼 충분히 빠르게 전송하기 위해 데이터를 암호화하는 CPU가 없을 수 있습니다. 두 방법을 모두 사용하여 파일 배치 전송을 테스트하고 어떤 방법이 더 빠른지 확인하십시오.
같은 이유로 rsync의 압축 옵션을 사용하기 전에 테스트하는 것이 좋습니다. 압축은 구형 하드웨어에서 시도 할 때 기가비트 이더넷 속도를 따라 가지 못할 수있는 CPU를 많이 사용하는 활동입니다. rsync는 15 살짜리 프로그램으로, 제 1 세계 국가에서도 대다수의 사람들이 전화 접속 모뎀을 통해 인터넷에 액세스했을 때 다시 쓰여졌습니다. 네트워크 대역폭과 CPU 트레이드 오프는 그와 크게 달랐습니다.
답변
이 20Tb는 소수의 큰 파일 (예 : 비디오, 몬스터 데이터베이스) 또는 수백만 개의 작은 파일로 패키지되어 있습니까?
작은 파일이 많으면 다시 시작을 위해 rsync를 사용하거나 효율성을 위해 파이프 타르 스트림을 사용합니다 (로트에 대한 하나의 네트워크 연결, 실패하면 처음부터 다시 시작)
tar -cf - * | ( cd newhome; tar -xf - )
원격 폴더가 마운트되어 있어야합니다.
다른 인터페이스로 새 어레이를 직접 연결할 수 있습니까? 로컬 rsync는 ssh를 사용하지 않으므로 해당 실패 지점을 제거하십시오. 예, Firewire 800은 기가비트 이더넷보다 느리지 만 이더넷을 100 %로로드 할 수 없습니다. Firewire로 인해 속도가 더 빠를 수 있습니다. 참고로 박스가 충분히 가까이 있으면 파이어 와이어를 네트워크로 연결할 수도 있습니다. 시스템 환경 설정-> 네트워크에서 인터페이스를 추가하십시오.
답변
또 다른 옵션은 Bittorrent Sync ( http://www.bittorrent.com/sync ) 를 시도하는 것 입니다. WAN을 통해 가족 구성원간에 가족 사진과 비디오를 동기화하는 데 사용했지만 로컬 네트워크에서 작동하지 않을 이유는 없습니다. 그것은 P2P 연결을 사용하므로 dropbox와 같은 것을 사용하려고 할 때와 같이 서버를 통해 데이터가 전송되지 않을 것입니다 (20TB의 보관 공간이 있거나 그렇게 많이 업로드하기를 오래 기다릴 생각은 아닙니다) 데이터!)
또한 여러 플랫폼에서 지원되므로 rsync 및 tar보다 유연성이 뛰어납니다.