수백만 개의 하드 링크로 파일 시스템을 미러링하는 방법? 파일 시스템에는 수백만

현재 한 가지 큰 문제가 있습니다. 고객 중 하나를 위해 파일 시스템을 미러링해야합니다. 그것은 실제로 실제로 문제가되지 않지만 여기에 있습니다 :

이 파일 시스템에는 수백만 개의 하드 링크가있는 하나의 폴더가 있습니다 (예! MILLIONS!). rsync파일 목록을 작성하는 데 4 일 이상이 소요됩니다.

우리는 다음과 같은 rsync옵션을 사용합니다 .

rsync -Havz --progress serverA:/data/cms /data/

누구 든지이 rsync의 속도를 높이거나 대안을 사용하는 방법을 알고 있습니까? dd대상 디스크가 소스보다 작기 때문에 사용할 수 없습니다 .

UPDATE :
원래의 파일 시스템이기 때문에 ext3우리는 노력할 것입니다 dumprestore. 나는 당신을 최신 상태로 유지할 것입니다



답변

양쪽을 rsync 3으로 업그레이드해야합니다. 변경 로그에서 :

- A new incremental-recursion algorithm is now used when rsync is talking
  to another 3.x version.  This starts the transfer going more quickly
  (before all the files have been found), and requires much less memory.
  See the --recursive option in the manpage for some restrictions.

rsync 3.0.0이 출시 된 지 2 년이 지났지 만 안타깝게도 대부분의 엔터프라이즈 배포판은 그보다 오래된 코드를 기반으로하므로 아마도 rsync 2.6을 사용하고있을 것입니다.

당신이 경우 참조 (다른 사람이 문제가되는 경우)의 경우, 되어 이미 rsync에 3을 실행, 당신은 증가 재귀와 호환되지 않는 옵션을 사용하고 있습니다. 매뉴얼 페이지에서 :

    Some options require rsync to know the full file list, so  these
    options  disable the incremental recursion mode.  These include:
    --delete-before,   --delete-after,    --prune-empty-dirs,    and
    --delay-updates.

또한 증분 재귀를 지원하려면 양쪽 에서 rsync 3을 실행해야합니다.


답변

우리는 지금 ext * dump를 사용했습니다. 잘 작동하며 복원 측면도 ext * 일 필요는 없습니다.

장치를 마운트 해제하고 사용하여 오프라인 백업을 수행했습니다 dump vf - /dev/vg0/opt | gzip -c > /mnt/backup/ext3dump.gz.

마지막 줄은 크기, 시간, 속도 및 마지막 inode 수를 나타냅니다.

DUMP: dumping regular inode 47169535
DUMP: dumping regular inode 47169536
DUMP: Volume 1 completed at: Wed Jun 29 05:42:57 2011
DUMP: Volume 1 54393520 blocks (53118.67MB)
DUMP: Volume 1 took 4:16:43
DUMP: Volume 1 transfer rate: 3531 kB/s
DUMP: 54393520 blocks (53118.67MB)
DUMP: finished in 15403 seconds, throughput 3531 kBytes/sec
DUMP: Date of this level  dump: Wed Jun 29 01:24:29 2011
DUMP: Date this dump completed:  Wed Jun 29 05:42:57 2011
DUMP: Average transfer rate: 3531 kB/s
DUMP: DUMP IS DONE


답변

LVM을 사용하고 볼륨의 스냅 샷을 만든 다음 스냅 샷을 백업으로 재 동기화 할 수 있습니다.

또는이 dump 볼륨을 다른 응답과 결합 하여 스냅 샷 볼륨 에서 사용 하여 원래 볼륨을 오프라인으로 만들지 않아도됩니다.


답변