많은 파일에 가장 빠른 압축 방법은 무엇입니까? 있으며 현재이

총 약 100GB에 이르는 약 350,000 개의 매우 작은 파일로 디렉토리를 압축해야합니다. OSX를 사용하고 있으며 현재이 디렉토리를 .zip 파일로 변환하는 표준 “Compress”도구를 사용하고 있습니다. 더 빠른 방법이 있습니까?

답변

디렉토리의 경우 max-compression과 함께 tar파이프를 사용합니다 bzip2.

가는 간단한 방법은 

tar cfj archive.tar.bz2 dir-to-be-archived /

아카이브에서 작은 파일 세트를 가져 오지 않고
필요할 때마다 모든 것을 추출 하려고 계획하는 경우에 효과적 입니다.
그러나, 당신이 경우에 할 수 는 너무 나쁜, 파일의 작은 집합을 얻을합니다.

이러한 아카이브를 호출 filename.tar.bz2하고 ‘ xfj‘옵션으로 추출 하는 것을 선호합니다 .

최대 압축 파이프는 다음과 같습니다. 

tar cf-아카이브 될 디렉토리 / | bzip2 -9-> archive.tar.bz2
# ^ 파이프 타르볼을 여기에서 압축 파일로 아카이브 파일에 넣습니다 ^.

참고 : ‘ bzip2‘방법과 더 많은 압축은 gzip‘ tar cfz‘ 에서 일반보다 느리게 진행 됩니다.

네트워크 속도가 빠르고 아카이브를 다른 머신에 배치
하려는 경우 네트워크에서 파이프를 사용하여 속도를 높일 수 있습니다 (효과적으로 두 머신을 함께 사용). 

타르 CF-dir / | ssh user @ server "bzip2 -9-> /target-path/archive.tar.bz2"
# ^ 네트워크를 통한 파이프 타르볼을 압축하여 ^ 원격 시스템에 보관합니다.

일부 참고 문헌

  1. 리눅스 저널 : 압축 도구 비교 , 2005 년 7 월 28 일
  2. gzip vs. bzip2 , 2003 년 8 월 26 일
  3. 빠른 벤치 마크 : Gzip vs. Bzip2 vs. LZMA , 2005 년 5 월 31 일

답변

이 사람 은 그것에 대해 약간의 연구를했습니다. .zip은 더 큰 파일을 더 빨리 압축하는 것으로 보입니다. 그러나 가장 큰 압축 크기 중 하나를 생성합니다. 그는 Windows 유틸리티를 사용하고있는 것처럼 보이지만 OSX의 유틸리티는 거의 최적화되어 있습니다.

다음 은 수많은 압축 유틸리티가 많은 파일의 속도에 대해 벤치마킹 된 훌륭한 웹 사이트입니다. 해당 사이트에 가장 유용한 유틸리티를 결정하기 위해 볼 수있는 다른 많은 테스트가 있습니다.

대부분의 속도는 사용하는 프로그램과 관련이 있습니다. Windows 용 7zip 유틸리티를 사용했는데 매우 빠릅니다. 그러나 많은 파일을 압축하는 데 시간이 오래 걸리므로 밤새도록 보내주십시오. 또는 전체 내용을 압축하고 압축하지 않을 수도 있습니다 … 개인적으로 큰 아카이브를 압축 해제하는 것을 싫어하므로 원하는 경우 조심해야합니다.

답변

나는 사용하는 것을 선호합니다

tar cf - dir-to-be-archived/ | bzip2 -9 - > archive.tar.bz2

파일을 다른 서버로 옮기고 동시에 덮기

답변