[python] Python : 언어를 결정하는 방법?

TextBlob . NLTK 패키지가 필요하며 Google을 사용합니다.

from textblob import TextBlob
b = TextBlob("bonjour")
b.detect_language()

pip install textblob

다국어 . numpy 및 일부 신비한 라이브러리가 필요하지만 Windows에서는 작동하지 않을 것입니다 . (Windows의 경우 여기 에서 적절한 버전의 PyICU , Morfessor 및 PyCLD2를 가져온 다음 .) 혼합 언어로 텍스트를 감지 할 수 있습니다.pip install downloaded_wheel.whl

from polyglot.detect import Detector

mixed_text = u"""
China (simplified Chinese: 中国; traditional Chinese: 中國),
officially the People's Republic of China (PRC), is a sovereign state
located in East Asia.
"""
for language in Detector(mixed_text).languages:
        print(language)

# name: English     code: en       confidence:  87.0 read bytes:  1154
# name: Chinese     code: zh_Hant  confidence:   5.0 read bytes:  1755
# name: un          code: un       confidence:   0.0 read bytes:     0

pip install polyglot

종속성을 설치하려면 다음을 실행하십시오.
sudo apt-get install python-numpy libicu-dev

chardet 에는 범위 (127-255)에 문자 바이트가있는 경우 언어를 감지하는 기능도 있습니다.

>>> chardet.detect("Я люблю вкусные пампушки".encode('cp1251'))
{'encoding': 'windows-1251', 'confidence': 0.9637267119204621, 'language': 'Russian'}

pip install chardet

langdetect 많은 부분의 텍스트가 필요합니다. 내부적으로 비 결정적 접근 방식을 사용합니다. 즉, 동일한 텍스트 샘플에 대해 다른 결과를 얻습니다. 문서에 따르면 다음 코드를 사용하여 결정해야합니다.

from langdetect import detect, DetectorFactory
DetectorFactory.seed = 0
detect('今一はお前さん')

pip install langdetect

guess_language 사전과 함께이 맞춤법 검사기를 사용하여 매우 짧은 샘플을 감지 할 수 있습니다.

pip install guess_language-spirit

langid 는 두 모듈을 모두 제공합니다.

import langid
langid.classify("This is a test")
# ('en', -54.41310358047485)

및 명령 줄 도구 :

$ langid < README.md

pip install langid

FastText 는 텍스트 분류기이며 언어 분류를위한 적절한 모델 로 176 개 언어를 인식하는 데 사용할 수 있습니다 . 이 모델을 다운로드 한 다음 :

import fasttext
model = fasttext.load_model('lid.176.ftz')
print(model.predict('الشمس تشرق', k=2))  # top 2 matching languages

(('__label__ar', '__label__fa'), array([0.98124713, 0.01265871]))

pip install fasttext

pyCLD3 는 언어 식별을위한 신경망 모델입니다. 이 패키지에는 추론 코드와 학습 된 모델이 포함되어 있습니다.

import cld3
cld3.get_language("影響包含對氣候的變化以及自然資源的枯竭程度")

LanguagePrediction(language='zh', probability=0.999969482421875, is_reliable=True, proportion=1.0)

pip install pycld3