[unicode] UTF-8과 유니 코드의 차이점은 무엇입니까?

다른 사람들이 대답을 확장하려면 :

컴퓨터에 이상적으로 표시해야 할 문자가 많은 언어가 많이 있습니다. 유니 코드는 각 문자에 고유 번호 또는 코드 포인트를 할당합니다.

컴퓨터는 바이트와 같은 숫자를 처리합니다. 여기서 약간의 기록을 건너 뛰고 메모리 주소 문제를 무시하면 8 비트 컴퓨터는 8 비트 바이트를 하드웨어에서 쉽게 표현할 수있는 가장 큰 숫자 단위로 취급합니다 .16 비트 컴퓨터는 확장됩니다. 그것은 2 바이트 등입니다.

ASCII와 같은 오래된 문자 인코딩은 (사전) 8 비트 시대에서 왔으며 당시 컴퓨팅에서 지배적 인 언어, 즉 영어를 0에서 127 (7 비트) 범위의 숫자로 작성하려고합니다. 알파벳과 대문자가 아닌 대문자, 숫자 및 문장 부호로 된 26 자로 된 알파벳은 꽤 잘 작동했습니다. ASCII는 영어 이외의 다른 언어의 경우 8 비트로 확장되었지만이 확장으로 사용 가능한 추가 128 개의 숫자 / 코드 포인트는 표시되는 언어에 따라 다른 문자로 매핑됩니다. ISO-8859 표준은이 매핑의 가장 일반적인 형태입니다. ISO-8859-1 및 ISO-8859-15 (ISO-Latin-1, latin1이라고도하며 8888 ISO 표준에는 두 가지 버전이 있습니다).

그러나 둘 이상의 언어로 된 문자를 나타내려면 충분하지 않으므로 사용 가능한 모든 문자를 단일 바이트로 크 래밍하면 작동하지 않습니다.

본질적으로 두 가지 다른 유형의 인코딩이 있습니다. 하나는 더 많은 비트를 추가하여 값 범위를 확장합니다. 이러한 인코딩의 예는 UCS2 (2 바이트 = 16 비트) 및 UCS4 (4 바이트 = 32 비트)입니다. ASCII 및 ISO-8859 표준과 본질적으로 동일한 문제로 어려움을 겪습니다. 한계가 크게 높아도 값 범위가 여전히 제한되어 있기 때문입니다.

다른 유형의 인코딩은 문자 당 가변 바이트 수를 사용하며 가장 일반적으로 알려진 인코딩은 UTF 인코딩입니다. 모든 UTF 인코딩은 대략 동일한 방식으로 작동합니다. UTF-8의 경우 8 비트, UTF-16의 경우 16 비트, UTF-32의 경우 32 비트 인 단위 크기를 선택합니다. 그런 다음 표준에서는 이러한 비트 중 일부를 플래그로 정의합니다. 비트가 설정되면 일련의 단위에서 다음 단위가 동일한 문자의 일부로 간주됩니다. 설정되지 않은 경우 본 기기는 한 문자를 완전히 나타냅니다. 따라서 가장 일반적인 (영어) 문자는 UTF-8에서 1 바이트 (UTF-16에서 2 개, UTF-32에서 4 개) 만 차지하지만 다른 언어 문자는 6 바이트 이상을 차지할 수 있습니다.

멀티 바이트 인코딩 (위의 설명 후에 멀티 유닛이라고 말해야 함)은 상대적으로 공간 효율적이라는 장점이 있지만 하위 문자열 찾기, 비교 등과 같은 작업은 모두 문자를 유니 코드 코드로 디코딩해야한다는 단점이 있습니다. 이러한 작업을 수행하기 전의 포인트 (단축키가 있음)가 있습니다.

UCS 표준과 UTF 표준은 모두 유니 코드에 정의 된대로 코드 포인트를 인코딩합니다. 이론적으로 이러한 인코딩은 인코딩이 지원하는 범위 내에서 임의의 수를 인코딩하는 데 사용될 수 있지만 물론 이러한 인코딩은 유니 코드 코드 포인트를 인코딩하기 위해 만들어졌습니다. 그리고 그것은 그들 사이의 관계입니다.

Windows는 소위 “유니 코드”문자열을 UTF-16 문자열로 처리하지만 대부분의 UNIX는 기본적으로 UTF-8로 기본 설정되어 있습니다. UTF-8의 단위 크기는 ASCII와 같으며 대부분의 프로토콜은 ASCII 시대에 설계되었으므로 HTTP와 같은 통신 프로토콜은 UTF-8에서 가장 잘 작동하는 경향이 있습니다. 반면에 UTF-16은 최고의 평균을 제공합니다. 모든 살아있는 언어를 표현할 때 공간 / 처리 성능을 .

유니 코드 표준은 32 비트로 표현할 수있는 것보다 적은 코드 포인트를 정의합니다. 따라서 모든 실제적인 목적으로 UTF-32와 UCS4는 UTF-32의 다중 단위 문자를 다룰 필요가 없으므로 동일한 인코딩이되었습니다.

희망은 몇 가지 세부 사항을 채 웁니다.

답변

A chinese character:      汉
it's unicode value:       U+6C49
convert 6C49 to binary:   01101100 01001001

Binary format of bytes in sequence

1st Byte    2nd Byte    3rd Byte    4th Byte    Number of Free Bits   Maximum Expressible Unicode Value
0xxxxxxx                                                7             007F hex (127)
110xxxxx    10xxxxxx                                (5+6)=11          07FF hex (2047)
1110xxxx    10xxxxxx    10xxxxxx                  (4+6+6)=16          FFFF hex (65535)
11110xxx    10xxxxxx    10xxxxxx    10xxxxxx    (3+6+6+6)=21          10FFFF hex (1,114,111)

Header  Place holder    Fill in our Binary   Result
1110    xxxx            0110                 11100110
10      xxxxxx          110001               10110001
10      xxxxxx          001001               10001001

11100110 10110001 10001001

A chinese character:      汉
it's unicode value:       U+6C49
convert 6C49 to binary:   01101100 01001001
embed 6C49 as UTF-8:      11100110 10110001 10001001