작업중 인 파일에서 찾은 이상한 캐릭터를 식별하려고합니다.

$ cat file
�
$ od file
0000000 005353
0000002
$ od -c file
0000000 353  \n
0000002
$ od -x file
0000000 0aeb
0000002

파일이 ISO-8859 인코딩을 사용하고 있으며 UTF-8로 변환 할 수 없습니다 :

$ iconv -f ISO-8859 -t UTF-8 file
iconv: conversion from `ISO-8859' is not supported
Try `iconv --help' or `iconv --usage' for more information.
$ iconv  -t UTF-8 file
iconv: illegal input sequence at position 0
$ file file
file: ISO-8859 text

내 주요 질문은 어떻게 od여기 의 결과를 해석 할 수 있습니까? 내가 사용하려고 이 페이지 나 다른 문자 표현 사이에 변환 할 수 있습니다, 그러나 하더군요 005353는 “16 진수 코드 포인트는”있는 그대로 卓않는 오른쪽 보이지 0aeb않는 “진수 코드 포인트”로 ૫, 이는 다시, 잘못된 것 같습니다 .

그럼, 어떻게 내가 세 가지 옵션 중 하나를 사용하여 (수 355, 005353또는 0aeb그들이 대표로되어있는 것을 문자 알아)?

그리고 네, 유니 코드 도구를 사용해 보았지만 유효한 UTF 문자가 아닌 것 같습니다.

$ uniprops $(cat file)
U+FFFD ‹�› \N{REPLACEMENT CHARACTER}
    \pS \p{So}
    All Any Assigned Common Zyyy So S Gr_Base Grapheme_Base Graph X_POSIX_Graph
       GrBase Other_Symbol Print X_POSIX_Print Symbol Specials Unicode

유니 코드 U + FFFD 문자에 대한 설명을 이해하면 실제 문자가 아니며 손상된 문자의 자리 표시자가 아닙니다. 파일이 실제로 UTF-8로 인코딩되지 않았으므로 의미가 있습니다.

답변

$ printf "\353\n" | iconv -f ISO-8859-1
ë

$ printf "\353\n" | od -t x1
0000000 eb 0a
0000002

$ echo "in Noël" | iconv -f utf8 -t latin1  | chardet
<stdin>: windows-1252 with confidence 0.73

iconv -f windows-1252  -t utf-8 file

#!/bin/bash
#
# Search in a file, a known (part of a ) String (i.E.: Begrüßung),
# by testing all encodings
#
[[ $# -ne 2 ]] && echo "Usage: encoding-finder.sh FILE fUnKy_CHAR_FOR_SURE_IN_FILE" && exit
FILE=$1
PATTERN=$2
for enc in $( iconv -l | sed 's/..$//')
do
    iconv -f $enc -t UTF-8 $FILE  2>/dev/null | grep -m 1 $PATTERN && echo $enc
done

encodingfinder.sh FILE Begrüßung