sort명령을 사용하는 것이 가장 빠른 옵션 일 것입니다.

그러나 로케일을 C로 수정하고 싶을 것입니다.

sort -u고유 한 행은보고하지 않지만 각 행 세트 중 하나는 동일하게 정렬됩니다. C 로케일에서 두 개의 다른 행이 반드시 같은 정렬을하지는 않지만 GNU 시스템의 대부분의 UTF-8 기반 로케일에서는 그렇지 않습니다.

또한 C 로케일을 사용하면 UTF-8을 구문 분석하고 복잡한 정렬 순서를 처리해야하는 오버 헤드를 피할 수 있으므로 성능이 크게 향상됩니다.

그래서:

LC_ALL=C sort -u file

임시 파일 (사용 -T또는 $TMPDIR환경 변수 사용)에 대해 더 빠른 드라이브 (또는 입력 및 / 또는 출력 파일이있는 것과 다른 드라이브)를 사용 하거나 -S일부 sort구현에서 지원 하는 옵션 을 사용하여 성능을 향상시킬 수도 있습니다. .

일부 유형의 입력 또는 느린 스토리지의 경우, --compress-programGNU 옵션 sort(예 🙂 lzop을 사용하면 스토리지 사용 외에도 성능이 향상 될 수 있습니다.

이제는 올바른 순서가 아니라는 것을 반대하는 사람들에게 (어느 정도는)주의 하십시오 .

나는 인간으로, 내가보고 싶은 것에 동의 스테판를 일종의 사이에 스테판 과 스테파니 ,하지만 :

• 컴퓨터 싶은 스테판을 보낸 후 일종의 é문자 또는 (코드 포인트 또는 바이트 값의 측면에서) 후의 UTF-8 인코딩 종류의 바이트로 (최소 U + 00E9으로 표현 될 때). 그것은 구현하기가 매우 간단하고 엄격한 총 주문 이며 놀라운 것은 아닙니다.

• 로케일의 정렬 순서는 많은 경우 인간에게도 만족스럽지 않을 것입니다. 예를 들어 기본 en_GB.utf8 로케일이있는 시스템의 경우 :

  • Stéphane 과 Stéphane (하나는 U + 00E9, 다른 하나는 eU + 0301)는 동일하게 정렬되지 않습니다.

    $ printf '%b\n' 'Ste\u0301phane' 'St\u00e9phane' | sort -u
    Stéphane
    Stéphane
    

  • 그러나 ③, ①, ②는 모두 동일하게 정렬됩니다 (로케일 정의의 버그).

    $ printf '%s\n' ③ ① ② | sort -u
    ③
    

    여기는 ③이지만, ① 또는 ② 일 수도 있습니다.

따라서 IMO, sort -u고유 한 줄을 원한다면 LC_ALL = C로 항상 원할 것 입니다. 결과 목록을 사용자의 정렬 순서로 정렬하려면 sort다시 파이프로 연결 하십시오.

LC_ALL=C sort -u | sort

LC_ALL=C sort | LC_ALL=C uniq -c | sort -k2

답변