[string] 문자열에서 문자 수를 얻는 방법은 무엇입니까?

RuneCountInStringutf8 패키지에서 시도해 볼 수 있습니다 .

p의 룬 수를 반환합니다.

이 스크립트 에서 볼 수 있듯이 “월드”의 길이는 6 일 수 있지만 (중국어로 쓰면 “世界”) 룬 수는 2입니다.

package main

import "fmt"
import "unicode/utf8"

func main() {
    fmt.Println("Hello, 世界", len("世界"), utf8.RuneCountInString("世界"))
}

Phrozen 은 주석에 다음을 추가합니다 .

실제로 len()타입 캐스팅만으로 룬을 처리 할 수 있습니다 .
len([]rune("世界"))인쇄 2합니다. 바둑에서 도약 1.3.

그리고 CL 108985 (2018 년 5 월, Go 1.11)로 len([]rune(string))최적화되었습니다. (Fixes 이슈 24923) )

컴파일러는 len([]rune(string))패턴을 자동으로 감지 하여 r : = range 호출로 대체합니다.

문자열에서 룬을 계산하기 위해 새로운 런타임 함수를 추가합니다. 패턴을 감지하도록 컴파일러를 수정하고 len([]rune(string))
새로운 룬 계산 런타임 함수로 대체합니다.

RuneCount/lenruneslice/ASCII                  27.8ns ± 2%  14.5ns ± 3%  -47.70%  (p=0.000 n=10+10)
RuneCount/lenruneslice/Japanese                126ns ± 2%    60ns ± 2%  -52.03%  (p=0.000 n=10+10)
RuneCount/lenruneslice/MixedLength             104ns ± 2%    50ns ± 1%  -51.71%  (p=0.000 n=10+9)

스테판 스타 이거는 블로그 게시물 “을 가리키는 이동의 텍스트 정상화 “

캐릭터는 무엇입니까?

로가에 언급 된 문자열 블로그 게시물 , 문자는 여러 룬에 걸쳐있을 수 있습니다 .
예를 들어, ‘ e‘및 ‘◌́◌́'(급성 “\ u0301”)은 결합하여 ‘é'( e\u0301NFD에서 ” “) 를 형성 할 수 있습니다 . 이 두 룬은 하나의 캐릭터 입니다.

문자의 정의는 응용 프로그램에 따라 다를 수 있습니다. 정규화 를
위해 다음 과 같이 정의합니다.

• 스타터로 시작하는 일련의 룬

• 다른 룬과 수정하거나 뒤로 결합하지 않는 룬
• 빈 스타터가 아닌 런, 즉 룬 문자 (일반적으로 악센트)가 이어질 수 있습니다.

정규화 알고리즘은 한 번에 한 문자 만 처리합니다.

해당 패키지와 해당 Iter유형 을 사용하면 실제 “문자”수는 다음과 같습니다.

package main

import "fmt"
import "golang.org/x/text/unicode/norm"

func main() {
    var ia norm.Iter
    ia.InitString(norm.NFKD, "école")
    nc := 0
    for !ia.Done() {
        nc = nc + 1
        ia.Next()
    }
    fmt.Printf("Number of chars: %d\n", nc)
}

여기서는 유니 코드 정규화 양식 NFKD “호환성 분해”를 사용합니다.

Oliver 의 답변 은 UNICODE TEXT SEGMENTATION 을 특정 중요한 텍스트 요소 (사용자 인식 문자, 단어 및 문장) 사이의 기본 경계를 안정적으로 결정하는 유일한 방법으로 지적합니다.

이를 위해서는 rivo / uniseg 와 같은 외부 라이브러리가 필요합니다.이 라이브러리 는 Unicode Text Segmentation 입니다.

실제로는 ” grapheme cluster “로 계산됩니다 . 여기서 여러 코드 포인트가 하나의 사용자 인식 문자로 결합 될 수 있습니다.

package uniseg

import (
    "fmt"

    "github.com/rivo/uniseg"
)

func main() {
    gr := uniseg.NewGraphemes("??!")
    for gr.Next() {
        fmt.Printf("%x ", gr.Runes())
    }
    // Output: [1f44d 1f3fc] [21]
}

3 개의 룬 (유니 코드 코드 포인트)이 있지만 2 개의 그래 핀입니다.

당신은 “다른 예를 볼 수 있습니다 을 반대로 GO 문자열을 조작하는 방법을? “

??‍?은 하나의 그래프이지만 유니 코드에서 코드 포인트 변환기 까지 4 개의 룬입니다.

• ? : 여성 (1f469)
• 어두운 피부 (1f3fe)
• ZERO WIDTH JOINER (200d)
• 빨간 머리 (1f9b0)

답변

package main

import "fmt"

func main() {
    russian := "Спутник и погром"
    english := "Sputnik & pogrom"

    fmt.Println("count of bytes:",
        len(russian),
        len(english))

    fmt.Println("count of runes:",
        len([]rune(russian)),
        len([]rune(english)))

}

package main

import (
    "regexp"
    "unicode"
    "strings"
)

func main() {

    str := "\u0308" + "a\u0308" + "o\u0308" + "u\u0308"
    str2 := "a" + strings.Repeat("\u0308", 1000)

    println(4 == GraphemeCountInString(str))
    println(4 == GraphemeCountInString2(str))

    println(1 == GraphemeCountInString(str2))
    println(1 == GraphemeCountInString2(str2))

    println(true == IsStreamSafeString(str))
    println(false == IsStreamSafeString(str2))
}


func GraphemeCountInString(str string) int {
    re := regexp.MustCompile("\\PM\\pM*|.")
    return len(re.FindAllString(str, -1))
}

func GraphemeCountInString2(str string) int {

    length := 0
    checked := false
    index := 0

    for _, c := range str {

        if !unicode.Is(unicode.M, c) {
            length++

            if checked == false {
                checked = true
            }

        } else if checked == false {
            length++
        }

        index++
    }

    return length
}

func IsStreamSafeString(str string) bool {
    re := regexp.MustCompile("\\PM\\pM{30,}")
    return !re.MatchString(str)
}

package main

import (
    "bytes"
    "fmt"
    "strings"
    "unicode/utf8"
)

func main() {
    b := "这是个测试"
    len1 := len([]rune(b))
    len2 := bytes.Count([]byte(b), nil) -1
    len3 := strings.Count(b, "") - 1
    len4 := utf8.RuneCountInString(b)
    fmt.Println(len1)
    fmt.Println(len2)
    fmt.Println(len3)
    fmt.Println(len4)

}

fmt.Println(utf8.RuneCountInString("?️‍???")) // Outputs "6".
fmt.Println(len([]rune("?️‍???"))) // Outputs "6".

var ia norm.Iter
ia.InitString(norm.NFKD, "?️‍???")
nc := 0
for !ia.Done() {
    nc = nc + 1
    ia.Next()
}
fmt.Println(nc) // Outputs "6".

fmt.Println(GraphemeCountInString("?️‍???"))  // Outputs "5".
fmt.Println(GraphemeCountInString2("?️‍???")) // Outputs "5".

fmt.Println(uniseg.GraphemeClusterCount("?️‍???")) // Outputs "2".

    en, _ = glyphSmart(data)

    func glyphSmart(text string) (int, int) {
        gc := 0
        dummy := 0
        for ind, _ := range text {
            gc++
            dummy = ind
        }
        dummy = 0
        return gc, dummy
    }