[unit-testing] 잘못된 utf8 문자열의 예?

Program / 글쓴이

내 코드 중 일부가 잘못된 데이터를 처리하는 방법을 테스트 중이며 유효하지 않은 UTF-8 바이트 시리즈가 필요합니다.

왜 그들이 나쁜지 / 어디서 구했는지에 대한 설명을 게시 할 수 있습니까?

답변

Markus Kuhn의 UTF-8 디코더 기능 및 스트레스 테스트 파일 살펴보기

외로운 시작 바이트, 연속 바이트 누락, 지나치게 긴 시퀀스 등을 포함하여 많은 UTF-8 불규칙성의 예를 찾을 수 있습니다.

답변

PHP에서 :

$examples = array(
    'Valid ASCII' => "a",
    'Valid 2 Octet Sequence' => "\xc3\xb1",
    'Invalid 2 Octet Sequence' => "\xc3\x28",
    'Invalid Sequence Identifier' => "\xa0\xa1",
    'Valid 3 Octet Sequence' => "\xe2\x82\xa1",
    'Invalid 3 Octet Sequence (in 2nd Octet)' => "\xe2\x28\xa1",
    'Invalid 3 Octet Sequence (in 3rd Octet)' => "\xe2\x82\x28",
    'Valid 4 Octet Sequence' => "\xf0\x90\x8c\xbc",
    'Invalid 4 Octet Sequence (in 2nd Octet)' => "\xf0\x28\x8c\xbc",
    'Invalid 4 Octet Sequence (in 3rd Octet)' => "\xf0\x90\x28\xbc",
    'Invalid 4 Octet Sequence (in 4th Octet)' => "\xf0\x28\x8c\x28",
    'Valid 5 Octet Sequence (but not Unicode!)' => "\xf8\xa1\xa1\xa1\xa1",
    'Valid 6 Octet Sequence (but not Unicode!)' => "\xfc\xa1\xa1\xa1\xa1\xa1",
);

에서 http://www.php.net/manual/en/reference.pcre.pattern.modifiers.php#54805

답변

특히 사악했다. 우분투에서 결합 된 것으로 보입니다.

쉼표

답변

잘못된 형식의 바이트 시퀀스 패턴에 대한 아이디어는 올바른 형식의 바이트 시퀀스 테이블에서 얻을 수 있습니다. Unicode Standard 6.2의 ” Table 3-7. Well-Formed UTF-8 Byte Sequences “를 참조하십시오.

    Code Points    First Byte Second Byte Third Byte Fourth Byte
  U+0000 -   U+007F   00 - 7F
  U+0080 -   U+07FF   C2 - DF    80 - BF
  U+0800 -   U+0FFF   E0         A0 - BF     80 - BF
  U+1000 -   U+CFFF   E1 - EC    80 - BF     80 - BF
  U+D000 -   U+D7FF   ED         80 - 9F     80 - BF
  U+E000 -   U+FFFF   EE - EF    80 - BF     80 - BF
 U+10000 -  U+3FFFF   F0         90 - BF     80 - BF    80 - BF
 U+40000 -  U+FFFFF   F1 - F3    80 - BF     80 - BF    80 - BF
U+100000 - U+10FFFF   F4         80 - 8F     80 - BF    80 - BF

다음은 U + 24B62에서 생성 된 예제입니다. 버그 보고서에 사용했습니다. 버그 # 65045 mb_convert_encoding은 올바른 형식의 문자를 중단합니다.

// U+24B62: "\xF0\xA4\xAD\xA2"
"\xF0\xA4\xAD"    ."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2"
"\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD"

후행 바이트 ([0x80, 0xBF]) 범위의 지나치게 단순화 된 것은 다양한 라이브러리에서 볼 수 있습니다.

// U+0800 - U+0FFF
\xE0\x80\x80

// U+D000 - U+D7FF
\xED\xBF\xBF

// U+10000 -  U+3FFFF
\xF0\x80\x80\x80

// U+100000 - U+10FFFF
\xF4\xBF\xBF\xBF

답변

퍼즈 테스트-임의의 옥텟 시퀀스를 생성합니다. 아마도 당신은 조만간 불법적 인 시퀀스를 얻게 될 것입니다.

답변