표준 유틸리티를 사용하는 간단한 (명백한 것은 아닙니다) 방법은 run 이외의 대용량 메모리가 필요하지 않습니다 sort. 대부분의 구현에서는 대용량 파일에 대한 특정 최적화 (좋은 외부 정렬 알고리즘)가 있습니다. 이 방법의 장점은 특수 목적 유틸리티 내부의 모든 행을 반복하며 해석되는 언어는 사용하지 않는 것입니다.

<input nl -b a -s : |           # number the lines
sort -t : -k 2 -u |             # sort and uniquify ignoring the line numbers
sort -t : -k 1n |               # sort according to the line numbers
cut -d : -f 2- >output          # remove the line numbers

모든 행이 공백이 아닌 문자로 시작하면 다음 옵션 중 일부를 생략 할 수 있습니다.

<input nl | sort -k 2 -u | sort -k 1n | cut -f 2- >output

대량의 복제의 경우 메모리에 각 줄의 단일 사본 만 저장하면되는 방법이 더 좋습니다. 약간의 해석 오버 헤드가 있기 때문에 매우 간결한 awk 스크립트가 있습니다 (이미 enzotib 게시 ).

<input awk '!seen[$0]++'

덜 간결하게 : !seen[$0] {print} {seen[$0] += 1}즉, 현재 행이 아직 보이지 않으면 인쇄 seen하고이 행 의 카운터를 증가시킵니다 (초기화되지 않은 변수 또는 배열 요소는 숫자 값 0).

긴 줄의 경우 각 줄의 스푸핑 불가능한 체크섬 (예 : 암호화 요약) 만 유지하여 메모리를 절약 할 수 있습니다. 예를 들어 SHA-1을 사용하면 라인 당 20 바이트에 일정한 오버 헤드가 필요합니다. 그러나 컴퓨팅 다이제스트는 다소 느립니다. 이 방법은 빠른 CPU (특히 다이제스트를 계산하는 하드웨어 가속기가있는 CPU)가 있고 파일 크기와 충분한 긴 줄에 비해 많은 메모리가없는 경우에만 유효합니다. 기본 유틸리티는 각 라인에 대한 체크섬을 계산할 수 없습니다. Perl / Python / Ruby /…의 해석 오버 헤드를 부담하거나 전용 컴파일 된 프로그램을 작성해야합니다.

<input perl -MDigest::MD5 -ne '$seen{Digest::MD5::md5($_)}++ or print' >output

답변

sort -u big-csv-file.csv > duplicates-removed.csv

$ perl -ne 'print unless $dup{$_}++;' input_file > output_file

$ awk '{if (++dup[$0] == 1) print $0;}' input_file > output_file

gawk -i inplace '!a[$0]++' file

python -c "import sys; lines = sys.stdin.readlines(); print ''.join(sorted(set(lines)))" < InputFile